Elke nacht van 22:00 tot 07:00 uur onderhouden we onze servers. Lees wat je merkt Elke nacht onderhoud, 22:00-07:00 uur. Lees meer
Bestellen
Hosting
Domeinnaam
Ondersteuning
Ontdek
Terug naar begrippenlijst

Crawler

Een crawler is een programma dat automatisch webpagina's bezoekt en links volgt, zoals Googlebot van Google.

Crawler

Een crawler is een programma dat automatisch webpagina's opvraagt en de links daarop volgt naar steeds nieuwe pagina's. Zoekmachines bouwen zo hun index: Googlebot haalt je pagina's op, waarna Google ze kan opnemen in de zoekresultaten. Andere namen zijn spider en bot, en web crawler is de Engelse term.

Googlebot bestaat in twee varianten, een voor smartphones en een voor desktops. De meeste verzoeken komen van de mobiele crawler, omdat Google vooral de mobiele versie van je site indexeert. De laatste jaren komen er AI-crawlers bij. GPTBot van OpenAI en ClaudeBot van Anthropic verzamelen tekst om AI-modellen te trainen, terwijl OAI-SearchBot pagina's ophaalt voor de zoekresultaten in ChatGPT. Google gebruikt geen aparte AI-crawler, maar laat je met de naam Google-Extended in robots.txt kiezen of je content voor Gemini gebruikt mag worden.

Met robots.txt stuur je crawlers bij. Een groep met User-agent: GPTBot en Disallow: / vraagt OpenAI je site niet voor training te gebruiken, terwijl Googlebot gewoon blijft komen. Blokkeer je Google-Extended, dan blijf je toch in Google Zoeken staan. Het blijft een verzoek, want nette crawlers houden zich eraan en een nep-Googlebot negeert het. Google raadt aan zo'n bezoeker te controleren met een omgekeerde DNS-lookup, omdat echte Googlebot-adressen op googlebot.com eindigen.

Op je hosting kunnen agressieve crawlers alle PHP-processen van je pakket bezetten, zodat echte bezoekers moeten wachten. Crawlers van SEO-bedrijven zoals AhrefsBot en SemrushBot blokkeer je op hun naam met een paar regels in .htaccess, waarna ze de melding 403 Forbidden krijgen. Laat Googlebot en Bingbot met rust, want die heb je nodig om gevonden te worden.

Geschiedenis

Een van de eerste crawlers was de World Wide Web Wanderer, die in juni 1993 de omvang van het web mat (Wikipedia). Een jaar later bedacht Martijn Koster robots.txt, zodat sitebeheerders crawlers konden vertellen waar ze niet welkom waren.

Belangrijke mijlpalen:

  • 1993: De World Wide Web Wanderer gaat van start
  • 1994: Brian Pinkerton lanceert WebCrawler en Martijn Koster beschrijft robots.txt (Wikipedia)
  • September 2022: Het Robots Exclusion Protocol wordt vastgelegd in RFC 9309
  • Nu: AI-bedrijven publiceren eigen crawlers en robots.txt-namen, zoals GPTBot en OAI-SearchBot (OpenAI)

Bronnen