Die Searchmetrics Suite bietet die Möglichkeit einer technischen Analyse ihrer Webseite. Dies führt dazu, dass Potenziale aufgezeigt, sowie Risiken schnell erkannt und minimiert werden können. Um eine technische Auswertung zu bekommen, muss in der Site Experience zuerst ein Crawl erstellt werden (Site Experience > Crawl Übersicht > Crawl erstellen).
Inhalt
Dinge, die bei der Crawl Erstellung beachtet werden sollten:
- Stellen Sie sicher, dass die hinterlegte URL keinen Crawler blockt. Im besten Fall whitelisten Sie den Searchmetrics Bot.
- Wird eine Startseite festgelegt, so muss diese entweder "https://" oder "http://" enthalten.
Crawl Set-Up
Allgemein
Zuerst muss das Projekt gewählt werden, für welches die Analyse durchgeführt werden soll. Anschließend wird der Crawl benannt und die Suchmaschine ausgewählt.
Achtung: Da ein Crawl immer in einem bestimmten Projekt gestartet werden muss, kann nur zwischen den in dem Projekt hinterlegten Suchmaschinen gewählt werden. Sollen weitere Suchmaschinen zum Projekt hinzugefügt werden, schauen Sie hier.
Die Projekt-URL ist standardmäßig die Startseite des Crawls. Sie kann jedoch im 2. Schritt "Crawler" noch geändert werden. Danach muss die maximale Seitenanzahl gewählt werden.
Mit Häkchen in dem vorhergesehenen Feldern wird nun zusätzlich angegeben ob es sich um eine Javascript Seite handelt. Sollen zudem auch Teile der Seite analysiert werden, welche normalerweise nicht gecrawlt werden, wie beispielsweise interne No-follow Links, kann auch dies mit einem Häkchen im jeweiligen Feld geregelt werden.
Soll der Crawl regelmäßig durchgeführt werden, kann hier auch eine Frequenz und ein Startdatum gewählt werden.
Nachdem alle Einstellungen gemacht wurden, können im Fenster auf der rechten Seite die geschätzte Dauer, sowie die geschätzten Page Credits des jeweiligen Crawls abgelesen werden.
In dem unten aufgeführten Beispiel soll ein Crawl im Projekt Amazon (DE) für Google Deutschland für Desktop aufgesetzt werden. Es soll bei amazon.de angefangen werden und maximal 1.000 Seiten sollen gecrawlt werden. Zusätzlich handelt es sich um einen Javascript Crawl und der Crawler wird angewiesen auch internen Nofollow Links zu folgen. Zusätzlich soll dieser Crawl monatlich ab dem 28.09.2020 wiederholt werden.
Läuft alles wie geplant beläuft sich die geschätzte Dauer hierbei auf eine Stunde und es werden ca 3.000 Page Credits berechnet.
Crawler
Entspricht die gewünschte Startseite nicht der Projekt-Domain kann diese im Feld Crawler-Einstiegsseite eingefügt werden. Ist zum Beispiel amazon.com/de/ als Startseite gewählt, werden nur die Seiten im Unterverzeichnis /de von www.amazon.com gecrawlt.
Wichtig: Die URL muss mit dem Protokoll (https:// oder http://) eingefügt werden!
Soll nur unter dieser Seite gecrawlt werden, muss das Häkchen entsprechend in das Feld gesetzt werden.
Als User Agent ist standardmäßig der Searchmetrics Bot eingestellt. Es gibt allerdings die Möglichkeit diesen umzustellen. Wird beispielsweise der Google Bot gewählt, gibt sich der Crawler als dieser aus und crawlt die ihm freigegebenen Inhalte. Ebenfalls eingestellt werden sollten die Region des Crawlers, sowie das maximale Level (Ebenen der Webseite), welches gecrawlt werden soll. Die maximale Crawl-Geschwindigkeit wählt die Anzahl der URLs pro Sekunde, die an Ihre Website gesendet werden sollen. Bitte beachten Sie, dass eine höhere Anzahl Ihre Serverlast beeinflussen kann.
Soll das Crawl-Ergebnis mit einem vorangegangen verglichen werden, kann das jeweilige Ergebnis in der unteren Leiste ausgewählt werden. Wenn Crawl Ergebnisse miteinander verglichen werden, wird der Trend in den Anliegen (Übersicht Seite) sichtbar. Dieser gibt die Veränderungen zum letzten Crawl an, was vor allem bei Verbesserungen der URLs einen guten Überblick über die Wirkung gibt.
Erweiterte Einstellungen
In diesem Tab können zusätzliche Einstellungen gemacht werden. Wenn eine statische IP genutzt werden soll, um mögliche Schranken zu umgehen, kann dies mit einem Häkchen im entsprechenden Feld gewählt werden. Wenn zum Beispiel eine Test Umgebung gecrawlet werden soll, die nur bestimmten Usern den Zugriff über Zugangsdaten erlaubt, können diese in die entsprechenden Felder eingegeben werden.
Darüberhinaus können in diesem Schritt individuell Parameter vom Crawl entfernt oder ausgeschlossen werden. Nach dem selben Prinzip können Sie ebenfalls ganze URLs ausschließen.
Sollen zum Beispiel alle /en/ Unterseiten ausgeschlossen werden, kann dies in dem jeweiligen Feld angegeben werden
Im letzten Schritt können benutzerdefinierte Header angegeben werden, welche der Crawler an die URL bei der Anfrage senden soll.
Gespeicherte URL Gruppen
Sollen Gespeicherte URL Gruppen in den Crawl mit aufgenommen werden, können diese im letzten Tab ganz einfach angewählt und hinzugefügt werden.
Nachdem alle Einstellungen vorgenommen wurden, kann der Crawl durchgeführt werden. Wähle dazu Crawl starten (Feld rechts neben den Einstellungen).
Achtung: Ein Crawl kostet Page Credits. Die geschätzte Anzahl wird bereits vor dem Start angezeigt, kann jedoch von den tatsächlich verwendeten abweichen. Mit dem Klick auf "Crawl starten" willigen Sie die Nutzung ihrer vorhandenen Page Credits ein.
Alle fertiggestellten Crawls werden im jeweiligen Projekt unter Crawl Übersicht gelistet.