Google bringt seinem „Googlebot“ neue Kunststückchen bei und ermöglicht eine wesentlich detailliertere Steuerung von für die Suchmaschinen erlaubten und unerlaubten Inhalten.
Waren bisher noch vollständige URLs mit Protokoll- und Hostangabe notwendig, um die Position von URL-Daten nach Sitemaps-Standard in der robots.txt-Datei anzugeben, kann der Googlebot jetzt auch relative Pfade verarbeiten. Erheblich verbessert wurde auch das robots.txt-Analysetool in den Google Webmaster Tools, das sich nun zu evtl. auftretenden Fehlern genauer äußern kann.
Ebenfalls noch recht neu ist das „unavailable_after“-Kommando für den Googlebot, durch welches einzelne Dateien mit einem Ablaufdatum versehen werden können. Der Wert wird wie folgt entweder in das „Googlebot“-Metatag eingefügt …
<meta name="googlebot" content="unavailable_after:
15-Aug-2007 00:00:00 CET" />
… oder – und das ist ebenfalls ein Novum – über den HTTP-Header „X-Robots-Tag“ übertragen, wodurch man im Prinzip beliebige Dateien mit Robots-Steuerinformationen wie „noindex“ oder „nofollow“ versehen ausliefern kann:
X-Robots-Tag: unavailable_after: 15-Aug-2007 00:00:00 CET
Via: New robots.txt feature and REP Meta Tags aus dem Webmaster Central Blog
Hinterlasse eine Antwort