Nieuws

Google stopt ondersteuning van NoIndex in het robots.txt-bestand

0
Google noindex robots.txt

NoIndex is een attribuut dat gebruikt wordt om web crawlers te vertellen dat ze een specifieke pagina niet mogen indexeren, maar dat is eigenlijk geen officiële richtlijn. Google heeft daarom beslist de ondersteuning voor het NoIndex-attribuut stop te zetten.

Websitebeheerders hebben tot 1 september de tijd om NoIndex te verwijderen uit het robots.txt-bestand en te vervangen door een alternatief.

Geen officiële richtlijn

Hoewel het geen officiële richtlijn is, respecteerden de crawlers van Google het NoIndex-attribuut in de meeste gevallen. Dat is niet langer het geval.

Leestip: Hoe krijg je nieuwe pagina’s snel in Google?

Beheerders die gebruik maken van NoIndex om te voorkomen dat een webpagina geïndexeerd wordt, moeten het attribuut vervangen vóór 1 september vervangen in het robots.txt-bestand. Google geeft zelf enkele alternatieven om crawling te beïnvloeden:

  • NoIndex toevoegen aan de robots metatags in plaats van het robots.txt-bestand
  • 404- en 410 statuscodes: beide codes geven aan dat een pagina niet bestaat, waardoor Google die URL’s verwijderd uit de index
  • Wachtwoorden: webpagina’s die verborgen worden achter een login, worden over het algemeen niet opgenomen in Google’s index
  • Disallow toevoegen aan robots.txt: het Disallow-attribuut blokkeert pagina’s voor web crawlers, wat ervoor zorgt dat de inhoud niet geïndexeerd wordt
  • URL’s verwijderen uit de zoekresultaten via Google Search Console

4 belangrijke voordelen van gastbloggen

Vorig artikel

Breng je klant in beeld met buyer persona’s

Volgend arikel

Je vindt dit vast ook leuk

Commentaren

Laat een bericht achter

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Meer in Nieuws