Je winkelwagen is leeg
Producten die je toevoegt, verschijnen hier.
Een crawler is een programma dat automatisch webpagina's bezoekt en links volgt, zoals Googlebot van Google.
Een crawler is een programma dat automatisch webpagina's opvraagt en de links daarop volgt naar steeds nieuwe pagina's. Zoekmachines bouwen zo hun index: Googlebot haalt je pagina's op, waarna Google ze kan opnemen in de zoekresultaten. Andere namen zijn spider en bot, en web crawler is de Engelse term.
Googlebot bestaat in twee varianten, een voor smartphones en een voor desktops. De meeste verzoeken komen van de mobiele crawler, omdat Google vooral de mobiele versie van je site indexeert. De laatste jaren komen er AI-crawlers bij. GPTBot van OpenAI en ClaudeBot van Anthropic verzamelen tekst om AI-modellen te trainen, terwijl OAI-SearchBot pagina's ophaalt voor de zoekresultaten in ChatGPT. Google gebruikt geen aparte AI-crawler, maar laat je met de naam Google-Extended in robots.txt kiezen of je content voor Gemini gebruikt mag worden.
Met robots.txt stuur je crawlers bij. Een groep met User-agent: GPTBot en Disallow: / vraagt OpenAI je site niet voor training te gebruiken, terwijl Googlebot gewoon blijft komen. Blokkeer je Google-Extended, dan blijf je toch in Google Zoeken staan. Het blijft een verzoek, want nette crawlers houden zich eraan en een nep-Googlebot negeert het. Google raadt aan zo'n bezoeker te controleren met een omgekeerde DNS-lookup, omdat echte Googlebot-adressen op googlebot.com eindigen.
Op je hosting kunnen agressieve crawlers alle PHP-processen van je pakket bezetten, zodat echte bezoekers moeten wachten. Crawlers van SEO-bedrijven zoals AhrefsBot en SemrushBot blokkeer je op hun naam met een paar regels in .htaccess, waarna ze de melding 403 Forbidden krijgen. Laat Googlebot en Bingbot met rust, want die heb je nodig om gevonden te worden.
Een van de eerste crawlers was de World Wide Web Wanderer, die in juni 1993 de omvang van het web mat (Wikipedia). Een jaar later bedacht Martijn Koster robots.txt, zodat sitebeheerders crawlers konden vertellen waar ze niet welkom waren.
Belangrijke mijlpalen: