Als eigenaar van een website wil je enkel belangrijke pagina’s aan je bezoekers bieden. Deze moeten de meeste aandacht krijgen van zoekmachines als Google. De minder relevante pagina’s van je website, bijvoorbeeld een bedankpagina die verschijnt nadat een bezoeker een bestelling heeft geplaatst, wil je minder aandacht geven. Dit kun je zelf instellen. Hiervoor creëer je een robots txt bestand. In dit bestand staan richtlijnen beschreven die zoekmachines vertellen of ze wel of niet door een bepaalde pagina moeten ‘crawlen’. Door gebruik te maken van een robots txt bestand, wordt de SEO van je website verbeterd.
Het robots txt bestand en crawlers
Het instellen van een robots txt bestand levert je verschillende voordelen op. Je zorgt er met behulp van dit bestand immers voor dat zogeheten crawlers weten hoe ze jouw website kunnen ‘scannen’. Een crawler oftewel spider is een bepaald type software dat op internet naar nieuwe pagina’s zoekt en zijn gevonden informatie in een databasis opslaat. Zoekmachines maken hiervan gebruik om te kunnen begrijpen hoe een website in elkaar zit. Bestaan er geen richtlijnen, dan ‘denkt’ een crawler dat hij de hele website mag scannen. Dit is zoals eerder genoemd lang niet altijd wenselijk.
De voordelen van het gebruik van een robots txt bestand
Het gebruikmaken van een robots txt bestand levert je als eigenaar van een website diverse voordelen op. Zo wordt je website en ook de server minder belast; crawlers worden namelijk gedeeltelijk geweerd. Dit maakt het ook makkelijker voor ze om jouw website te lezen. Ook wordt het crawl-budget niet onnodig verbruikt. Dit budget geeft aan hoe vaak een crawler jouw website maximaal mag bezoeken. Is er geen robots txt bestand aanwezig, dan wordt de hele website gescand en dat is zonde van het budget. Ook worden je pagina’s beter geïndexeerd.
Waar moet je op letten bij het gebruik van een robots txt bestand?
Ga je een robots txt bestand aanmaken, houd er dan rekening mee dat deze niet alleen voor zoekmachines zichtbaar is. Iedereen kan hier gericht naar zoeken, dus laat persoonlijke informatie achterwege. Ook trekken malware bots zich meestal niets van robots txt bestanden aan. Het maken van een robots txt bestand is overigens niet verplicht. Besluit je hiertoe, dan is het belangrijk dat je goed weet hoe je hiermee omgaat. Verkeerd gebruik kan ertoe leiden dat grote delen van je website ontoegankelijk zijn voor zoekmachines. Daarnaast is het verstandig om je sitemap op te nemen in het robots txt bestand, zodat Google direct weet wat de locatie is van je sitemap.
