Melding Google over Robots.txt bestand in zoekresultaten

Google zal nu een nieuwe soort melding tonen in de zoekresultaten als een bepaalde pagina wordt geblokkeerd door robots.txt bestand zo ontdekte Jeroen van Eck.

Als een pagina van een website wordt geblokkeerd door een robots.txt bestand dan zal Google geen omschrijving tonen van de pagina onder de titel in de zoekresultaten. Het kan namelijk zo zijn dat Google een geblokkeerde pagina toch toont in de zoekresultaten vanwege diverse verwijzingen die bestaan. Voor pagina's waarvoor dit van toepassing is zal Google dan nu de tekst 'Er is geen beschrijving beschikbaar voor dit resultaat vanwege robots.txt' tonen. Achter deze tekst staat een link naar meer informatie en in de omschrijving zelf staat een link naar het betreffende robots.txt bestand van de website.

Lees meer over: , ,