SEO / trafficmaxx 14. August 2017

Screaming Frog für Einsteiger

Startpunkt jedes SEO-Prozesses ist eine Bestandsaufnahme. Mit einem Crawling-Programm wie Screaming Frog können Sie alle Seiten Ihrer Domain erfassen und technisch durchleuchten. Folgen Sie uns zum schreienden Frosch!

Screaming Frog - Frosch

Was sind eigentlich Crawler?

Sind die Seiten Ihrer Domain intern gut verlinkt? Verfügen sie über genügend Text? Wie sieht es mit den Meta-Daten aus und können die Seiten überhaupt aufgerufen werden? Das alles und viele weitere Informationen stellen Crawling-Programme zur Verfügung.

Ein Crawler, Spider oder auch Searchbot ist ein Computerprogramm. Dieses durchsucht das Internet, analysiert Websites und kategorisiert die Informationen gegebenenfalls. In der Regel werden Crawler von Suchmaschinen verwendet. So nutzt zum Beispiel Google den Googlebot, um seinen Index zu pflegen und zu aktualisieren. Aber auch für SEOs sind Crawler wichtig, um Daten rund um eine Website zu erfassen. Deshalb stellen wir Ihnen eines der beliebtesten Crawling-Helferlein vor: Screaming Frog SEO Spider.

Anatomie des Screaming Frogs

Der Aufbau des Programms ist übersichtlich und leicht verständlich. Da der Screaming Frog jedoch ausschließlich in englischer Sprache zur Verfügung steht, sind zumindest Grundkenntnisse in Englisch für den Umgang nötig. Im Wesentlichen teilt sich das Programm in zwei Bereiche:

Kopf des Screaming Frogs: Einstellungen

Im oberen Bereich gibt’s mehrere Reiter, in denen Sie alle nötigen Einstellungen vornehmen. Im „File“-Reiter können Sie Crawls speichern, öffnen, wiederholen und Default-Einstellungen vornehmen. Das ist aus anderen Programmen bekannt. Unter „Configuration“ können Einstellungen für den Crawl vorgenommen werden. Darauf gehen wir später noch einmal im Detail ein.

„Mode“ gibt Ihnen die Auswahl zwischen zwei Crawl-Modi: Spider und List. Im Spider-Modus springt der Crawler von Link zu Link, arbeitet sich bis zu den letzten Ausläufern der Website vor und erfasst so sämtliche Seiten. Im List-Modus geben Sie eine Liste von URLs vor, die der Screaming Frog analysieren soll. Außerdem können Sie hier unter SERP eine Datei mit Titles und Descriptions hochladen, analysieren und vor der Live-Stellung testen.

Der Reiter „Bulk Exports“ gibt Ihnen die Möglichkeit, ausgewählte Daten in Excel zu exportieren und dort weiterzuverarbeiten. „Reports“ geben Ihnen einen Überblick über alle gecrawlten URLs, dazugehörende Redirect-Verkettungen und andere Zusammenfassungen. Die Funktion „Sitemaps“ erlaubt Ihnen aus den gecrawlten URLs eine XML-Sitemap oder eine Bilder-Sitemap zu erstellen, die Suchmaschinen bei der korrekten Indexierung Ihrer Website unterstützt. Unter „Licence“ können Sie, falls Sie sich dazu entschieden haben die kostenpflichtige Version zu erwerben, den Product-Key eingeben. Mit der kostenlosen Variante crawlen Sie bis zu 500 URLs kostenlos, mit erworbener Lizenz gibt’s kein Limit. Der „Help“-Reiter unterstützt mit FAQs und dem klassischen Support-Bereich.

Körper des Screaming Frogs: Ergebnis-Tabs

Im unteren Bereich können Sie die Ergebnisse des Crawls einsehen. In mehreren Tabs sind die Informationen nach Themenbereichen aufgegliedert. Der „Internal“-Tab fasst die Daten aus fast allen anderen Tabs zusammen. Das ermöglicht den Export der kompletten Infos, ohne einzelne Datensätze zusammenführen zu müssen. Sie bekommen hier zu jeder erfassten URL Einblicke in Content-Typen, Status Codes, Meta-Daten wie Title, Description und Meta-Keywords, Wortanzahl, interne Verlinkungen, Download-Zeit der Seiten oder auch Informationen zu Links, die auf andere Domains zeigen.

Screaming Frog Internal-Tab

Lediglich die Daten aus dem „External“-Tab und dem „Custom“-Tab tauchen hier nicht auf. Im „External“-Tab erfahren Sie mehr über Links auf externe Seiten. Zum Beispiel gibt hier die Spalte „Crawl Depth“ die Klicktiefe an, mit der die externe Seite von der Startseite aus erreicht wurde. Im „Custom“-Tab erscheinen jene URLs und die dazugehörigen Ergebnisse, die im oberen Bereich unter „Configuration“ und „Custom“ eingestellt wurden.

Screaming Frog External-Tab

Jetzt sind Sie mit der Oberfläche des Programms vertraut. Sind Sie bereit für die ersten Schritte mit Screaming Frog?

Zum Sprung ansetzen: Crawl durchführen

Sie haben sich für einen Crawl im Spider-Modus entschieden? Dann stehen Ihnen als lizensierter Nutzer im Reiter „Configuration“ einige Einstellungen zur Verfügung. Unter „Spider“ legen Sie fest, welche Inhalte der Screaming Frog crawlen soll: zum Beispiel nur Bilder, entlang interner oder externer Links oder bis zu einer gewissen Seitentiefe.

Mit der Einstellung „Include“ haben Sie die Möglichkeit, nur bestimmte Ordner Ihrer Website zu erfassen. Haben Sie beispielsweise einen Versandhandel für Kleidung und möchten den Schuh-Bereich optimieren, tragen Sie .*/schuhe/.* in das Eingabefenster ein. Sie erhalten dann nur Ergebnisse für URLs, die /schuhe/ enthalten. Im Gegensatz dazu können Sie mit „Exclude“ bestimmte Ordner ausschließen.

Unter „HTTP-Header“ und „User Agent“ können Sie entscheiden, ob Screaming Frog einen bestimmten Bot imitieren soll. Das ist hilfreich, wenn Websites lediglich Crawls von Google gestatten. Unter Custom können Sie zum einen URLs filtern, die ein bestimmtes Stück Quellcode enthalten oder nicht enthalten. Lassen Sie sich beispielsweise jene Seiten ausgeben, auf denen das Code-Snippet für Google Analytics noch fehlt. Zum anderen können Sie auch bestimmte Inhalte extrahieren. So kann Ihnen Screaming Frog zum Beispiel jeweils den ersten Textabsatz einer Seite angeben, wenn Sie hier den ersten p-Tag definieren. Das unterstützt bei der Themenanalyse.

Sind alle Einstellungen fertig, kann es losgehen. Geben Sie einfach die Domain in das Suchfeld ein und starten Sie Ihren ersten Crawl!

Punktlandung: Crawls auswerten

Screaming Frog bietet weitreichende Möglichkeiten zur Analyse. Für den Einstieg genügen ein paar wichtige Hinweise zur Auswertung. Werfen Sie zunächst einen Blick auf die Status Codes der URLs. Sie finden hier dreistellige Codes, die jeweils mit der Ziffer zwei, drei, vier oder fünf beginnen:

  • 2xx: Erfolgreiche Operation, alles in Ordnung
  • 3xx: Weiterleitungen, die Seite leitet zu einer anderen weiter
  • 4xx: Client-Fehler, die Seite kann nicht angezeigt werden
  • 5xx: Server-Fehler, die Seite kann nicht angezeigt werden
Screaming Frog Status Codes

Exportieren Sie die Daten in Excel und filtern Sie die problematischen Seiten heraus. Diese müssen Sie sich noch einmal ansehen. Bei Klick auf URLs in Screaming Frog öffnet sich außerdem ein weiteres Info-Fenster. Hier erfahren Sie im Reiter „Inlinks“ von welchen Seiten der Domain auf die Fehlerseite verlinkt wird.

Danach widmen Sie sich den Page Titles und Meta Descriptions. Prüfen Sie, ob jede Seite aussagekräftige, keywordrelevante Titles und Descriptions enthält, denn die hinterlegten Titel und Beschreibungen der Seiten werden auf den Ergebnisseiten der Suchmaschinen ausgespielt und schaffen Klickanreize für Nutzer.

Damit die Angaben auch vollständig angezeigt werden, sollten sie über eine bestimmte Länge verfügen. Titles schwanken für gewöhnlich zwischen 50 und 70 Zeichen, Descriptions zwischen 140 und 175 Zeichen. Die ideale Länge ist abhängig von der Bildschirmgröße sowie dem jeweiligen Gerät und kann bei Screaming Frog in der Spalte „length“ überprüft werden. Bei Klick auf eine URL können Sie sich im Reiter „SERP Snippet“ eine Vorschau der organischen Suchergebnisse für Desktop und mobile Devices ansehen. Bei der Optimierung Ihrer Titles und Descriptions hilft Ihnen auch unser Blog-Beitrag zum Thema.

Neben der Länge der Titles und Descriptions können Sie auch die Wortanzahl auf den jeweiligen Seiten prüfen. In der Spalte „Wordcount“ finden Sie die Angabe in absoluten Zahlen. Ordnen Sie die Ergebnisse nach Wortanzahl und finden Sie heraus, welche Seiten noch recht inhaltsarm sind.

Duplicate Content, also identischer Inhalt auf verschiedenen Seiten, kann zu einer negativen Bewertung durch Suchmaschinen führen. Screaming Frog bietet eine einfache Möglichkeit, Duplicate Content auf Ihrer Website zu erfassen. In der Spalte „Hash“ wird eine einzigartige Zahlen- und Buchstabenfolge für jede Seite vergeben. Exportieren Sie diese Zeile in Excel und markieren Sie doppelte Werte. Den betreffenden URLs müssen Sie sich noch einmal widmen.

Jeder Tab verfügt außerdem über praktische Filterfunktionen. Filtern Sie im Tab „Images“ zum Beispiel alle Bilder nach „Missing Alt Text“. Sie erhalten dann die URLs, auf denen sich Bilder befinden, die nicht über einen Alt-Text (auch Alt-Attribut genannt) verfügen. Fügen Sie diesen Bildern Alt-Texte hinzu, um sie für Suchmaschinen lesbar zu machen.

ScreamingFrog Missing Alt-Text

Auch wichtig: Analysieren Sie die H1 der gecrawlten Seiten. Jede Seite sollte über eine (und nur eine) H1-Überschrift verfügen, die der Suchmaschine das Thema der Seite vermittelt. Filtern Sie nach „Missing H1“ und finden Sie heraus, auf welchen Seiten die H1 fehlt. Oder filtern Sie nach „Duplicate H1“ oder „Multiple H1“. Diese Seiten verfügen über zwei oder mehrere H1-Überschriften. Für Google und Co. ist das Thema der Seite dann nicht klar definiert.

Mit diesen Tipps sollte Ihnen der Einstieg in Screaming Frog leichtfallen. Probieren Sie sich aus, testen Sie Einstellungen sowie verschiedene Filter und analysieren Sie Ihre Website!

Fazit

Screaming Frog eignet sich mit der kostenlosen Version bereits zum Crawlen von kleinen Websites und bietet dabei umfassende Auswertungsfunktionen. Das Programm kategorisiert die Daten in einer übersichtlichen Form und bietet die Möglichkeit, Ergebnisse nach Bedarf zu filtern. Auch der Export in Excel hält in der weiterführenden Auswertung und Verknüpfung der Daten viel Potenzial bereit. Nutzen Sie Screaming Frog für Ihre Crawls!

Quellen und Links:

Titelbild stammt von tpsdave // pixabay

Logo im Titelbild von Screaming Frog auf LinkedIn

Die Bilder im Text sind Screenshots aus Screaming Frog

Alle Funktionen des Programms direkt im User Guide von Screaming Frog