PR-Sculpting: robots.txt, noindex oder nofollow

PR-Sculpting: robots.txt, noindex oder nofollow

150 150 Jan

Auf vielen Websites gibt es Inhalte, die aus verschiedensten Gründen nicht für die Suchmaschinen bestimmt sind, seien es „private“ Daten, die nicht gefunden werden sollen oder Seiten, die keine relevanten Informationen enthalten.

Grundsätzlich gibt es drei Möglichkeiten, Suchmaschinen-Robots zu beeinflussen:

  • NoFollow-Links (Links mit dem Attribut rel=“nofollow“)
  • das NoIndex-Metatag
  • die Datei robots.txt

Jede dieser drei Optionen hat ihre Existenzberechtigung, muss aber für sich genommen erklärt werden:

NoFollow-Links

Über das rel-Attribut kann man einen individuellen Link für Suchmaschinen entwerten.

<a href=“agb.html“ rel=“nofollow“>AGB</a>

Auch wenn diese Lösung sehr praktisch erscheint, hat sie doch einen entscheidenden Nachteil. Sollte eine Suchmaschine auf anderem Wege (z.B. durch einen externen Link) zu der entsprechenden Seite finden, so kann diese dennoch in den Index gelangen.

nofollow

Vorteil des nofollow-Attributs ist auf der anderen Seite die Möglichkeit, den Fluss des „Link-Juice“ zu anderen Seiten detailliert regulieren zu können.

NoIndex-Metatag

Soll eine Seite nicht in den Index kommen oder sogar aus diesem wieder entfernt werden, so empfiehlt sich ein entsprechendes Meta-Tag:

<meta name=“robots“ content=“noindex,follow“>

In diesem Fall darf der Crawler die Seite zwar besuchen, aber nicht in den Suchindex aufnehmen (noindex). Vorhandene Links dürfen jedoch verfolgt und gewertet werden (follow).

noindex

Da es etliche Content Management Systeme nicht erlauben, auf Seitenebene ein robots-Metatag zu pflegen, gestaltet sich die praktische Anwendung des Tags oft etwas schwierig. Einige Suchmaschinen unterstützen aber z.B. auch robots-Anweisungen, die als Header im HTTP-Verkehr ausgegeben werden.

Robots.txt

Dritte Möglichkeit der „Wegweisung“ ist die Datei robots.txt. Über diese kleine Text-Datei kann jedem Robot vorgegeben werden, welche Dateien oder Verzeichnisse er nicht besuchen darf.

User-agent: *
Disallow: /agb.html
Disallow: /admin/
Disallow: /*.mp3$

Der größte Vorteil der robots.txt ist die globale Wirkung. Es lassen sich so sowohl einzelne Dateien (/agb.html), aber auch ganze Verzeichnisse (/admin/) oder Dateitypen (Disallow: /*.mp3$) sperren. Dabei ist gleichgültig, ob eine URL durch einen internen oder externen Link gefunden wurde.

robots-txt

Die Sperrung via robots.txt verbietet allerdings in erster Linie nur Besuche von Seiten durch Suchmaschinen-Robots. Daher kann es vorkommen, dass z.B. eine populäre Seite dennoch in den Suchergebnissen erscheint, auch wenn diese schon lange nicht mehr von Suchmaschinen abgerufen wurde.


Fazit

Jeder der drei „Wegweiser“ hat seine Berechtigung, seine Vor- und Nachteile, so sollte von Fall zu Fall entschieden werden, was in der jeweiligen Situation angemessen ist.

So oder so sollte man aber immer im Hinterkopf haben, dass all diese Möglichkeiten für „ehrliche“ Suchmaschinen-Crawler bestimmt sind. Gerade Adress- oder E-Mail-Sammler werden sich von einem „Disallow“ nicht aufhalten lassen.

Hinterlasse eine Antwort