robots.txt für WP

In unserem kleinen Internet treiben sich ein Menge Suchmaschinen und andere Robots herum. Nach eine kleinen Analyse meiner Zugriffslogdateien habe ich festgestellt, dass diese in Ordnern herumschnüffeln in denen sie eigentlich nicht verloren haben. Ich habe zwar nix dagegen wenn mein Weblog bei Google, Yahoo und anderswo gelistet wird, aber es gibt da das ein oder andere Verzeichnis das bitte nicht in den Indizes auftauchen soll. Aus jeden Fall sollte man hier alle Wordpress (oder die eines anderen Weblog Tools) spezifischen Seiten und das Verzeichnis der Logdateien sperren.

Um die verschiedenen Robots auszusperren benötigt man eine robots.txt Datei im Stammverzeichnis. In dieser Datei kann man bestimmt Verzeichnisse sperren oder auch explizit frei geben. Es ist möglich eine Konfiguration für alle Robots gemeinsam oder speziell für einzelne zu erstellen. Eine Anleitung über den genauen Inhalt einer robots.txt Datei finden man bei bjoernsworld.de. Eine Übersicht über die verbreitetsten Robots findet man in der Web Robots Datenbank. Im Netz finden sich auch eine Reihe von Validatoren, mit denen man seine eigene robots.txt Datei überprüfen kann.
Netter Nebeneffekt, auch „Fasterfox“, eine Firefox Erweiterung für „optimiertes Laden von Internetseiten“, kann man damit aussperren. Damit verhindert man das Fasterfox unnötige Seiten lädt.