Het robots.txt bestand is een tekstbestand in de root van je website dat instructies geeft aan webcrawlers (zoals Googlebot) over welke pagina's of mappen ze wel of niet mogen bezoeken.
Voorbeeld:
User-agent: *
Disallow: /wp-admin/
Disallow: /private/
Allow: /
Sitemap: https://example.nl/sitemap.xml
Belangrijk: robots.txt is een verzoek, geen beveiliging. Kwaadwillende bots kunnen het negeren. Gebruik het om crawl budget te optimaliseren, niet om gevoelige informatie te verbergen.
Het bestand moet bereikbaar zijn via https://jouwdomein.nl/robots.txt en verwijst idealiter naar je sitemap.