10+ Features des Screaming Frog, die Sie kennen sollten

Screaming Frog ist ein SEO Tool mit dem Sie technische SEO Audits Ihrer Website durchführen können. Aber das Tool kann noch einiges mehr.

In diesem Beitrag zeige ich Ihnen 10+ Features des Screaming Frog, die sie kennen sollten und die deutlich machen, warum viele SEOs den Screaming Frog als "Das Schweizer Taschenmesser" für SEO bezeichnen.

Inhaltsverzeichnis

• Was ist der "Screaming Frog"?
• Features des Screaming Frog, die Sie kennen sollten
  • Alle Seiten mit dem Page-Speed Insights Tool testen
  • Größe aller Webseiten ermitteln
  • Daten aus Google Analytics und der Search Console importieren
  • Crawlen wie GoogleBot
  • Gesamte Website oder einzelne Seiten crawlen
  • Wortanzahl für jede Seite ermitteln
  • Rechtschreibprüfung der ganzen Website
  • Duplicate Content finden
  • Website Scraping
  • Cookie Audit
  • Crawling und Link-Visualisierung anzeigen
• Meine Meinung & Empfehlung

Was ist der "Screaming Frog" eigentlich?

Screaming Frog ist ein Tool für technische SEO Audits. Mit einem technischen SEO Audit prüfen Sie, allgemein ausgedrückt, ob Suchmaschinen alle wichtigen Seiten Ihrer Website finden und indexieren können.

Dazu crawlt das Tool Ihre Website genau wie eine Suchmaschine. Sie können sogar konfigurieren, als welche Suchmaschine sich der Screaming Frog ausgeben soll.

Der Screaming Frog läuft allerdings nicht in der Cloud, sondern auf Ihrem Computer. Das bringt einige Vorteile mit sich:

• Keine Einschränkung der Anzahl der Websites oder URLs
• Sie können das Tool so konfigurieren, wie Sie es benötigen
• Analysieren Sie die gesamte Website oder einzelne Seiten
• Die Daten der Analyse liegen auf Ihrem Rechner und gehören somit Ihnen

Nach dem der Screaming Frog Ihre Website gecrawlt hat zeigt er Ihnen in 26 Berichten an, was er gefunden hat, zum Beispiel:

• Nicht indexierbare in der Sitemap
• URLs, die durch ein "noindex"-Tag von der Indexierung ausgeschlossen sind
• URLs, die durch die robots.txt vom Crawling ausgeschlossen sind
• Broken Links
• Redirects, Redirect-Ketten und Redirect-Loops
• Größe der Bilder und fehlende ALT-Texte
• Gefundene Canonical- und HREFLang Tags

Aber das ist noch lange nicht alles, was der Screaming Frog kann. In den nächsten Kapiteln zeige ich Ihnen einige Features des Screaming Frog, die nicht so offensichtlich sind, die Sie aber unbedingt kennen sollten.

Features des Screaming Frog, die Sie kennen sollten

Alle Seiten mit dem Page-Speed Insights Tool testen

Ich gehe davon aus, dass Sie das Google Page Speed Insights Tool zum Testen der Seitengeschwindigkeit kennen. Allerdings können Sie mit diesem Tool nur jeweils eine einzelne Seite testen. Was aber, wenn Sie alle Seiten Ihrer Website damit testen möchten?

Screaming Frog macht's möglich.

Das Tool hat eine API Integration für das Page-Speed Insights Tool an Bord. Mit der entsprechenden Konfiguration schickt Screaming Frog jede einzelne Seite an das Page Speed Insights Tool zum Testen und holt sich das Ergebnis wieder von dort ab.

Sie können also die Geschwindigkeit jeder einzelnen Seite testen - automatisiert!

Screaming Frog importiert dabei sowohl die Lab-Daten (aka "Test Daten"), die Feld-Daten (sofern verfügbar) und auch den Origin Summary des Page-Speed Insight Tools inklusive der Empfehlungen für jede einzelne Seite.

Also genau die Informationen, die Sie auch im Page Speed Insights Tool sehen würden.

Unter (1) die Messwerte und den jeweiligen Score des Page-Speed Insights Tools. Im Statistik-Bereich (2) zeigt Ihnen der Screaming Frog an, für welche Seiten das Page-Speed Insights Tool Optimierungs-Empfehlungen abgibt. Das sind genau dieselben Empfehlungen, die Sie auch aus der Oberfläche des Page-Speed Tools kennen. Klicken Sie auf einen der Einträge unter (2), zeigt Ihnen Screaming Frog an, für welche Seite das Page-Speed Tool eine bestimmte Empfehlung gibt.

Bequemer können Sie die Geschwindigkeit aller Seiten nun wirklich nicht testen.

Die Daten können Sie natürlich exportieren und daraus einen Google- oder Excel-Sheet erstellen, mit dem Sie auf den ersten Blick sehen, bei welchen Seiten es noch Optimierungspotentiale gibt.

Hier ist ein Beispiel für einen Google-Sheet, den meine Kund:Innen im Rahmen eines technischen SEO Audit bekommen:

Falls Sie Interesse an so einer Auswertung für Ihre Website haben, schreiben Sie mir. Mit einem kleinen technischen SEO Audit kann ich das schnell für Sie erledigen.

Größe jeder einzelnen Seite ermitteln

Haben Sie die Page Speed Insights API Integration mit dem Screaming Frog konfiguriert und die Daten importiert, bekommen Sie gewissermaßen als Nebenprodukt nützliche Daten über die Größe jeder einzelnen Seite aufgeschlüsselt nach:

• Gesamtgröße jeder Seite (HTML + Ressourcen)
• Größe der HTML-Datei
• Größe der Bilder
• Größe der CSS-Dateien
• Größe der Javascript-Dateien
• Größe der Schriftarten
• Größe der eingebauten Medien (z.B Videos)
• Größe alle anderen Ressourcen

Bei diesen Daten über die Größe jeder einzelnen Website handelt es Bei diesen Daten über die Größe jeder einzelnen Website handelt es sich um die Transfer Size, also um die (eventuell komprimierte) Dateigröße bei der Übertragung.

Auch aus diesen Daten ist schnell ein Google Sheet gebaut, in dem Sie auf den ersten Blick sehen, welche Seiten zu groß sind und welche Ressourcen (Bilder, CSS oder Javascript) für die Größe einer bestimmten Seite verantwortlich sind.

Hier noch mal ein Beispiel eines Sheets, den Kund:Innen beim technischen SEO Audit von mir bekommen:

Daten aus Google Analytics und der Search Console importieren

Mit einer weiteren API Integration kann Screaming Frog Daten aus Google Analytics (aktuell nur aus Universal Analytics) und der Google Search Console importieren.

Damit finden Sie:

• Verwaiste Seiten, also Seiten ohne eingehenden Link
• Seiten ohne Klicks in den SERPs und Seiten ohne Aufrufe
• Seiten ohne Daten in Google Analytics

Und weil wir gerade vorhin über die Seitengeschwindigkeit gesprochen haben: Mit dem Screaming Frog können Sie bis zu 30 Metriken aus Google Analytics importieren; so auch die einige Geschwindigkeits-Daten, die Sie in Universal Analytics unter Verhalten -> Websitegeschwindigkeit -> Seitentimings sehen.

Das ist eine super Ergänzung zum Import der Daten aus dem Page-Speed Insights Tool.

Crawlen wie GoogleBot

In der Standardeinstellung gibt sich der Screaming Frog beim Crawling als "Screaming Frog" zu erkennen.

Für einen möglichst authentischen, technischen, SEO Audit sollten Sie Screaming Frog allerdings so konfigurieren, dass er Googlebot möglichst gut simuliert.

Ändern Sie dazu den User Agent entweder auf "Googlebot (Smartphone)" oder "Googlebot (Desktop)" und aktivieren Sie in den Crawling Einstellungen das Rendern als Googlebot Smartphone:

Die Einstellung für den User-Agent finden Sie im Menü Configuration beim Befehl User-Agent. Wie Sie im Screenshot sehen, können Sie mit dem Screaming Frog sogar den BingBot simulieren.

Indem Sie das Javascript Rendering unter Crawling -> Spider im Register Rendering aktivieren, führt Screaming Frog mit einem Headless Chrome - genau wie Googlebot - im Hintergrund Javascript aus und erkennt damit auch Links und Inhalte, die erst durch Javascript in Ihre Website integriert werden.

Gesamte Website oder einzelne Seiten crawlen

Eines der am häufigsten unterschätzten Features ist die Möglichkeit mit dem Screaming Frog nur einzelne Seiten statt der gesamten Website zu crawlen.

Dafür wählen Sie im Menü Mode den gewünschten Modus. Im Modus Spider crawlt Screaming Frog Ihre Website ausgehend von einer Startseite, die Sie frei wählen können. Im List Mode geben Sie Screaming Frog eine Liste von URLs vor, die er crawlen soll.

Diese Liste können Sie entweder durch Copy-und-Paste angeben oder indem Sie eine XLS-Datei hochladen.

Dieses Feature ist äußerst praktisch, um die Änderungen für ein paar Seiten zu prüfen; das spart viel Zeit, da Sie nicht die ganze Website neu crawlen müssen.

Wortanzahl für jede Seite ermitteln

Es sollte sich mittlerweile herumgesprochen haben, dass die Wortanzahl kein Ranking-Signal ist. Trotzdem kann es sinnvoll sein, die Website auf Inhalte mit wenigen Wörtern, also "Thin Content" zu prüfen.

Seiten mit "Thin Content" können Kandidaten für eine Optimierung sein um sich mit diesen Seiten noch mehr Sichtbarkeit zu erreichen und mehr Traffic zu holen.

Ziemlich praktisch ist die Möglichkeit im Screaming Frog die sogenannte "Content Area" festzulegen. Damit definieren Sie entweder HTML Tags, CSS Klassen oder HTML-IDs, die der Screaming Frog als Content Area berücksichtigen soll. Auch der umgekehrte Weg funktioniert: Schließen Sie HTML Tags, CSS Klassen oder HTML-IDs aus, die der Screaming Frog nicht als Content Area berücksichtigen soll. In diesem Screenshot habe ich die zweite Variante gewählt und die Hauptnavigation und den Footer aus der Content Area ausgeschlossen:

Die Content-Area legen Sie im Screaming Frog im Menü Configuration und dort im Untermenü Content mit dem Befehl Area* fest.

Rechtschreibprüfung der ganzen Website

Weil wir gerade beim Thema Content sind: Der Screaming Frog hat sogar eine Rechtschreib- und Grammatikprüfung an Bord. Die Rechtschreibprüfung funktioniert für Deutsch ausgezeichnet. Bei der Grammatikprüfung gibt es im deutschen Sprachraum noch "Room for Improvement".

Nichtsdestotrotz können Sie damit Ihre gesamte Website auf Tippfehler prüfen und sogar festlegen, welche Regeln der Screaming Frog bei der Prüfung anwenden soll. Natürlich können Sie Fachbegriffe, die der Frosch noch nicht kennt, in ein eigenes Wörterbuch aufnehmen.

Duplicate Content finden

Natürlich findet Screaming Frog auch Duplicate Content - und zwar nicht nur exakt doppelten Content sondern auch ähnlichen Content. Im Menü Configuration -> Content -> Duplicates legen Sie fest, wie und zu welchem Grad der Screaming Frog doppelten Content prüfen soll.

Dabei wird der Bereich der Website geprüft, den Sie unter Content Area, wie im Kapitel weiter oben beschrieben, festgelegt haben.

Website Scraping

Web-Scraping ist das Extrahieren von Inhalten mehrerer Seiten beim Crawling einer Website. Mit dem Screaming Frog können Sie mittels CSS-Pfad, XPath oder einem regulären Ausdruck festlegen, welche Inhalte das Tool aus Ihren Seiten extrahieren soll.

Typische Anwendungsfälle für Web-Scraping sind:

• Extrahieren aller Blog-Kategorien und Blog-Tags um diese endlich mal wieder aufzuräumen.
• Prüfen, ob Lagerstände oder Preise auf Produktseiten in Ihrem Online-Shop korrekt angezeigt werden.
• Prüfen, ob auf allen relevanten Seiten entweder Google Analytics oder der Google Tag Manager eingebaut ist
• Nachsehen, ob es irgendwo auf der Seite interne Links mit UTM Parametern gibt

Und so sieht das im Screaming Frog aus. Bei diesem Crawling prüfe ich zum einen, ob der Google Tag Manager auf allen Seiten eingebaut ist und extrahiere die Kategorie und die Tags der Blog-Beiträge:

Cookie Audit

Auch beim Cookie Audit hilft Ihnen der Screaming Frog und zeigt Ihnen, welche Cookies auf jeder einzelnen Seite gesetzt werden.

Mit der Authentifizierungsfunktion zeigt Ihnen Screaming Frog vor dem Crawling die eingegebene Seite in einem Browser an. Dort können Sie den Cookie Consent annehmen und damit prüfen, welche Cookies nach einem Consent gesetzt werden.

Crawling und Link-Visualisierung

Mit den Visualisierungen des Screaming Frog können Sie schnell und einfach die Struktur und Informations-Architektur Ihrer Website überprüfen; zum Beispiel mit dem Crawl-Graph.

Man sieht hier hervorragend die thematischen Content-Cluster (rote Linien) der Website, die allesamt von der Startseite aus mit Einstiegsseiten verlinkt sind. Auf diesen Einstiegsseiten finden Nutzer:Innen weitere Links, die tiefer in das Thema führen.

Meine Meinung & Empfehlung

Screaming Frog sollte in keiner Tool-Sammlung fehlen - klar, ich verwende es ja selbst! Neben der Möglichkeit, eine Website SEO-technische bis ins kleinste Detail zu analysieren, finde ich besonderen die zahlreichen Funktionen rund um Content sehr nützlich: von der Analyse der internen Verlegung über die Integration des Page-Speed Tools bis zur Analyse der Wortanzahl und der Überschriften.

Eine kostenlose Testversion für bis zu 500 URLs können Sie sich für Mac und Windows auf der Website des Screaming Frog herunterladen. Die Vollversion ohne weitere Einschränkungen kostet 150,- britische Pfund im Jahr. Das ist deutlich günstiger als so manches SEO Tool in der Wolke.

Wenn Sie sich in den Screaming Frog einarbeiten möchten, ist vielleicht mein Screaming Frog Video Kurs das Richtige für den Einstieg.