Crawl budget verwijst naar het aantal pagina's dat Googlebot (of andere zoekmachine-crawlers) bezoekt op je website binnen een bepaalde periode. Google wijst dit budget toe op basis van de grootte en populariteit van je site.
Voor kleine websites (<10.000 pagina's) is crawl budget zelden een probleem. Voor grote sites is het belangrijk om het budget efficiënt te benutten door:
• Redirect chains te vermijden
• Pagina's zonder waarde te blokkeren via robots.txt
• Snelle laadtijden te garanderen
• Een actuele sitemap te onderhouden
Je kunt crawl-statistieken bekijken in Google Search Console onder 'Instellingen' → 'Crawl-statistieken'.