Neue robots.txt-Features: mehr Macht den Webmastern

Google bringt seinem „Googlebot“ neue Kunststückchen bei und ermöglicht eine wesentlich detailliertere Steuerung von für die Suchmaschinen erlaubten und unerlaubten Inhalten.

Waren bisher noch vollständige URLs mit Protokoll- und Hostangabe notwendig, um die Position von URL-Daten nach Sitemaps-Standard in der robots.txt-Datei anzugeben, kann der Googlebot jetzt auch relative Pfade verarbeiten. Erheblich verbessert wurde auch das robots.txt-Analysetool in den Google Webmaster Tools, das sich nun zu evtl. auftretenden Fehlern genauer äußern kann.

Ebenfalls noch recht neu ist das „unavailable_after“-Kommando für den Googlebot, durch welches einzelne Dateien mit einem Ablaufdatum versehen werden können. Der Wert wird wie folgt entweder in das „Googlebot“-Metatag eingefügt …

<meta name="googlebot" content="unavailable_after:
15-Aug-2007 00:00:00 CET" />
  

… oder – und das ist ebenfalls ein Novum – über den HTTP-Header „X-Robots-Tag“ übertragen, wodurch man im Prinzip beliebige Dateien mit Robots-Steuerinformationen wie „noindex“ oder „nofollow“ versehen ausliefern kann:

X-Robots-Tag:  unavailable_after: 15-Aug-2007 00:00:00 CET

Via: New robots.txt feature and REP Meta Tags aus dem Webmaster Central Blog