Vandaag heeft Google aangekondigd te stoppen met het ondersteunen van officieuze richtlijnen zoals nofollow, noindex en crawl-delay in robots.txt.
Dit gaf Google aan middels een Tweet:
Per 1 september 2019 zullen verschillende richtlijnen waaronder nofollow, noindex en crawl-delay niet meer worden ondersteund. Als SEO’er of webmaster is het belangrijk om na te gaan of jouw robots.txt bestand nog voldoet. Het kan zijn dat jij actie moet ondernemen om te zorgen dat er geen ongewenste pagina’s geïndexeerd worden.
Robots.txt is een tekstbestand met instructies voor crawlers. Dit zijn bots die onder andere zoekmachines zoals Google gebruiken om de website te scannen/lezen en indexeren, oftewel opnemen in hun zoekresultaten. In het robots.txt bestand kan worden aangegeven welke gedeelten van een website gecrawld mogen worden. Op deze wijze kunnen ongewenste pagina’s worden uitgesloten zodat deze niet worden geïndexeerd in de zoekmachines.
Als er geen robots.txt bestand aanwezig is, of als er geen relevante richtlijnen zijn gedefinieerd, dan gaan zoekmachines ervan uit dat ze de hele website mogen crawlen.
Er zijn verschillende alternatieven om te voorkomen dat er ongewenste pagina’s geïndexeerd zullen worden door Google.
Nofollow/noindex
Met de richtlijnen nofollow en noindex kan worden aangegeven of een pagina geïndexeerd dient te worden en of de links gevolgd dienen te worden.
nofollow: /map/
noindex: /map/
Google geeft zelf een aantal alternatieven aan als het gaat om de noindex, namelijk:
Crawl-delay
Met crawl-delay kan de crawlsnelheid van de Googlebot worden ingesteld. Dit kan met het aantal verzoeken per seconde worden aangegeven.
crawl-delay: 10
Als alternatief op een regel in robots.txt kan de crawlsnelheid ook in de Search Console worden aangegeven.
Ben je benieuwd of jouw website na 1 september nog goed wordt gecrawld. Met Google’s Robots.txt Testing Tool kom je erachter of jouw robots.txt nog voldoet aan de huidige richtlijnen. Voldoet deze nog niet en wil je graag geholpen worden, schroom dan niet ons te contacten.