KeurigOnline
Bestellen
Hosting
Domeinnaam
Ondersteuning
Ontdek
Terug naar begrippenlijst

robots.txt

robots.txt is een bestand dat zoekmachines vertelt welke delen van je site ze mogen crawlen.

Het robots.txt bestand is een tekstbestand in de root van je website dat instructies geeft aan webcrawlers (zoals Googlebot) over welke pagina's of mappen ze wel of niet mogen bezoeken.

Voorbeeld:
User-agent: *
Disallow: /wp-admin/
Disallow: /private/
Allow: /
Sitemap: https://example.nl/sitemap.xml

Belangrijk: robots.txt is een verzoek, geen beveiliging. Kwaadwillende bots kunnen het negeren. Gebruik het om crawl budget te optimaliseren, niet om gevoelige informatie te verbergen.

Het bestand moet bereikbaar zijn via https://jouwdomein.nl/robots.txt en verwijst idealiter naar je sitemap.