Auf vielen Websites gibt es Inhalte, die aus verschiedensten Gründen nicht für die Suchmaschinen bestimmt sind, seien es “private” Daten, die nicht gefunden werden sollen oder Seiten, die keine relevanten Informationen enthalten. Grundsätzlich gibt es drei Möglichkeiten, Suchmaschinen-Robots zu beeinflussen: NoFollow-Links (Links mit dem Attribut rel=”nofollow”) das NoIndex-Metatag die Datei robots.txt Jede dieser drei Optionen [...]

Diese Vermutung geistert schon seit einiger Zeit durch die weltweite Gemeinde der Webmaster und SEOs. Folgendes Beispiel des Google-eigenen Projektes Google Scholar (Suche nach wissenschaftlichen Arbeiten und Dokumenten) scheint diese Behauptung zu belegen. Die angelegte robots.txt schließt unter anderem den Bereich der Google Scholar News komplett aus: User-agent: * [...] Disallow: /news Der Google Index [...]

Google bringt seinem “Googlebot” neue Kunststückchen bei und ermöglicht eine wesentlich detailliertere Steuerung von für die Suchmaschinen erlaubten und unerlaubten Inhalten. Waren bisher noch vollständige URLs mit Protokoll- und Hostangabe notwendig, um die Position von URL-Daten nach Sitemaps-Standard in der robots.txt-Datei anzugeben, kann der Googlebot jetzt auch relative Pfade verarbeiten. Erheblich verbessert wurde auch das [...]