Alle berichten over Robots.txt


Foutje, overwinningssite Mitt Romney per ongeluk online gezet

Iedereen weet inmiddels dat Barack Obama nog de komende vier jaar de president van de Verenigde Staten zal blijven en daarmee heeft Mitt Romney dus verloren. Logischerwijs was er een kans dat Mitt Romney de verkiezingen zou winnen en daarom had het campagneteam van de presidentskandidaat alvast een volledige website ingericht in het geval dat… Lees verder

Melding Google over Robots.txt bestand in zoekresultaten

Google zal nu een nieuwe soort melding tonen in de zoekresultaten als een bepaalde pagina wordt geblokkeerd door robots.txt bestand zo ontdekte Jeroen van Eck. Als een pagina van een website wordt geblokkeerd door een robots.txt bestand dan zal Google geen omschrijving tonen van de pagina onder de titel in de zoekresultaten. Het kan namelijk… Lees verder

Robots.txt van HP moet vampieren buiten de deur houden

Vrijwel elke website heeft een Robots.txt bestand, een bestand dat gebruikt wordt om bepaalde informatie door te geven aan zoekmachines zoals de Googlebot. Deze bestanden worden echter ook nog wel eens gebruikt om andere zaken in te vermelden. Zo bevat het Robots.txt bestand van YouTube een bijzondere vermelding, plaatste recent de Engelse krant de Daily… Lees verder

Easter Egg YouTube Robots.txt

Een kleinigheidje in het Robots.txt bestand van YouTube. Het is niet bekend hoe lang de tekst er al instaat maar het Robots.txt van de videowebsite bevat de onderstaande vermeldingen. Het Robots Exclusion Protocol kan gebruikt worden als aanvulling op je website om zo bepaalde informatie door te geven aan zoekmachines zoals de Googlebot. Eerder plaatste… Lees verder

Daily Mail zet vacature in Robots.txt, Webwereld.nl in de bron

De Engelse krant, de Daily Mail heeft een originele manier gevonden om een vacature online te plaatsen. De vacature is te vinden in het robots.txt bestand, een bestand dat gebruikt wordt om zo bepaalde informatie door te geven aan zoekmachines zoals de Googlebot. Normaal gesproken open je dit bestand niet direct maar gezien het feit… Lees verder