Zertifizierte Agentur

Aktuelle Meldungen

Wie Sie auch heute noch nachhaltige Links für Ihre Website aufbauen können, zeigen wir in unseren

in verschiedenen Bereichen unserer Agentur in Bremen und Berlin.

Facebook hat sich zu einem hoch interessanten Werbekanal entwickelt, dem wir uns widmen in unseren

Auch in diesem Jahr hat uns der BVDW wieder die Gütesiegel für SEO, SEA und Social Media verliehen.

 

Robots.txt

Ein Robot (auch Crawler, Webcrawler oder Spider genannt) greift beim Besuch einer Webseite zuerst auf die Datei robots.txt. In der Datei robots.txt kann festgelegt werden, ob und wie die Webseite von einem Robot besucht werden darf. Es können bestimmte Dateien und Ordner von den Suchmaschinen-Robots ausgeschlossen werden. Ein Ausgrenzen bestimmter Bereich der Website garantiert keine Geheimhaltung. Einige Suchmaschinen zeigen trotzdem die gefundenen URLs.

Die Datei robots.txt muss im Stammverzeichnis liegen. Es gilt die Kleinschreibung, also nur „robots.txt“ und niemals „ROBOTS.TXT„ oder „Robots.txt“.

Beispiele

Einfache robots.txt-Datei

User-agent: *		
Disallow: /temp/       	
Disallow: /logfiles/   
Disallow: /cgi-bin/
Disallow: /suchmaschinenoptimierung.htm

Bestimmten Robot ausschließen

User-agent: WebCrawler		 
Disallow: / 

Dynamische Seiten mit ?-URL ausschließen

(nur bei robots mit Wildcard-Support)

User-agent: Googlebot 		
Disallow: /*? 

Siehe auch:

Weitere Artikel

« zurück zur Wiki-Übersicht

 

»Fordern Sie Ihr
unverbindliches
und kostenloses
Angebot an!«

0421 - 56 62 70 18
030 - 20 05 69 15

Auszug aus unseren
Referenzen