Zertifizierte Agentur

Neue robots.txt-Features: mehr Macht den Webmastern

17. August 2007 in Google | keine Kommentare

Google bringt seinem „Googlebot“ neue Kunststückchen bei und ermöglicht eine wesentlich detailliertere Steuerung von für die Suchmaschinen erlaubten und unerlaubten Inhalten.

Waren bisher noch vollständige URLs mit Protokoll- und Hostangabe notwendig, um die Position von URL-Daten nach Sitemaps-Standard in der robots.txt-Datei anzugeben, kann der Googlebot jetzt auch relative Pfade verarbeiten. Erheblich verbessert wurde auch das robots.txt-Analysetool in den Google Webmaster Tools, das sich nun zu evtl. auftretenden Fehlern genauer äußern kann.

Ebenfalls noch recht neu ist das „unavailable_after“-Kommando für den Googlebot, durch welches einzelne Dateien mit einem Ablaufdatum versehen werden können. Der Wert wird wie folgt entweder in das „Googlebot“-Metatag eingefügt …

<meta name="googlebot" content="unavailable_after:
15-Aug-2007 00:00:00 CET" />
  

… oder – und das ist ebenfalls ein Novum – über den HTTP-Header „X-Robots-Tag“ übertragen, wodurch man im Prinzip beliebige Dateien mit Robots-Steuerinformationen wie „noindex“ oder „nofollow“ versehen ausliefern kann:

X-Robots-Tag:  unavailable_after: 15-Aug-2007 00:00:00 CET

Via: New robots.txt feature and REP Meta Tags aus dem Webmaster Central Blog

 
 

Kommentar schreiben

Kommentar