--- title: "Crawler: wat een webcrawler doet, van Googlebot tot AI" description: "Een crawler is een programma dat automatisch webpagina's bezoekt en links volgt, zoals Googlebot van Google." canonical: https://www.keurigonline.nl/begrippenlijst/crawler last_modified: 2025-12-18 --- [Terug naar begrippenlijst](https://www.keurigonline.nl/begrippenlijst) # Crawler Een crawler is een programma dat automatisch webpagina's bezoekt en links volgt, zoals Googlebot van Google. Een crawler is een programma dat automatisch webpagina's opvraagt en de links daarop volgt naar steeds nieuwe pagina's. Zoekmachines bouwen zo hun index: Googlebot haalt je pagina's op, waarna Google ze kan opnemen in de zoekresultaten. Andere namen zijn spider en bot, en web crawler is de Engelse term. Googlebot bestaat in twee varianten, een voor smartphones en een voor desktops. De meeste verzoeken komen van de mobiele crawler, omdat Google vooral de mobiele versie van je site indexeert. De laatste jaren komen er AI-crawlers bij. GPTBot van OpenAI en ClaudeBot van Anthropic verzamelen tekst om AI-modellen te trainen, terwijl OAI-SearchBot pagina's ophaalt voor de zoekresultaten in ChatGPT. Google gebruikt geen aparte AI-crawler, maar laat je met de naam Google-Extended in robots.txt kiezen of je content voor Gemini gebruikt mag worden. Met robots.txt stuur je crawlers bij. Een groep met User-agent: GPTBot en Disallow: / vraagt OpenAI je site niet voor training te gebruiken, terwijl Googlebot gewoon blijft komen. Blokkeer je Google-Extended, dan blijf je toch in Google Zoeken staan. Het blijft een verzoek, want nette crawlers houden zich eraan en een nep-Googlebot negeert het. Google raadt aan zo'n bezoeker te controleren met een omgekeerde DNS-lookup, omdat echte Googlebot-adressen op googlebot.com eindigen. Op je hosting kunnen agressieve crawlers alle PHP-processen van je pakket bezetten, zodat echte bezoekers moeten wachten. Crawlers van SEO-bedrijven zoals AhrefsBot en SemrushBot blokkeer je op hun naam met een paar regels in .htaccess, waarna ze de melding 403 Forbidden krijgen. Laat Googlebot en Bingbot met rust, want die heb je nodig om gevonden te worden. ## Geschiedenis Een van de eerste crawlers was de World Wide Web Wanderer, die in juni 1993 de omvang van het web mat ([Wikipedia](https://en.wikipedia.org/wiki/World_Wide_Web_Wanderer)). Een jaar later bedacht Martijn Koster robots.txt, zodat sitebeheerders crawlers konden vertellen waar ze niet welkom waren. Belangrijke mijlpalen: - **1993:** De World Wide Web Wanderer gaat van start - **1994:** Brian Pinkerton lanceert WebCrawler en Martijn Koster beschrijft robots.txt ([Wikipedia](https://en.wikipedia.org/wiki/WebCrawler)) - **September 2022:** Het Robots Exclusion Protocol wordt vastgelegd in [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309) - **Nu:** AI-bedrijven publiceren eigen crawlers en robots.txt-namen, zoals GPTBot en OAI-SearchBot ([OpenAI](https://developers.openai.com/api/docs/bots)) ## Bronnen 1. **Google** - [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot) 2. **Google** - [Google's common crawlers](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) 3. **Google** - [Verifying Googlebot and other Google crawlers](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot) 4. **OpenAI** - [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots) 5. **Anthropic** - [Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) 6. **IETF (2022)** - [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) ## Gerelateerde artikelen AI 1 jul 2026 [AI search optimalisatie website: de praktische gids](https://www.keurigonline.nl/blog/ai-search-optimalisatie-website) De markt is klein maar snel groeiend, en de bezoekers die erdoorheen komen zijn van hoge kwaliteit. Wie nu een fundament legt, heeft een meetbare voorsprong als dit kanaal mainstream wordt. ## Hoe AI-zoekmachines werken: fundamenteel anders dan Google Google stuurt een crawler die jouw pagina indexeert en rangschikt op relevantie. AI-zoekmachines werken anders: ze trainen grote taalmodellen op een uitgebreid kennisknipsel van het web en combineren dat met live zoekresultaten. Dit heet **Retrieval-Augmented Generation (RAG)**. De AI haalt bij een zoekvraag actuele bronnen op, trekt er relevante fragmenten uit, en weeft die samen tot een vloeiend antwoord. Het gevolg is een fundamenteel ander "citaat-model". Waar Google een lijst klikbare blauwe links toont, noemt een AI-antwoord bronnen als voetnoot of inline verwijzing. De gebruiker leest het antwoord en klikt soms door naar een bron, maar hoeft dat niet. Jouw website wordt daarmee een citatiebron, niet alleen een klikbestemming.