Seiten via. robots.txt sperren

Wie ich heute morgen mit etwas Verwunderung beim Stephan lese, gibt es wohl einige Situationen in denen sich der Google Bot nicht zwingend an der Angaben aus der robots.txt hält.

So scheint es in diesem Zusammenhang wohl so zu sein, dass der Bot die Seiten auch dann indexiert, wenn sie zwar in der robots.txt gesperrt sind, aber im Gegenzug von einer anderen Seite direkt verlinkt wurden. Die Ursache für dieses Verhalten ist da wohl eher technischer Natur, denn der Bot folgt bekanntlich der Verlinkung und beginnt sofort mit seiner Arbeit. Er wechselt also nicht erst in das Rootverzeichnis um sich die Daten aus der robots.txt zu holen.

Wenn Ihr also ganz sicher gehen möchtet, dass eure Seiten nicht im Index landen, dann solltet Ihr besser einen zusätzlichen Meta Tag im Quelltext eintragen:

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.