Nicht jeder fehlgeschlagene Crawl tritt durch einen Bug auf. Manchmal gibt es andere Gründe. Die folgende Liste enthält mögliche Ursachen für einen fehlgeschlagenen Crawl.
Die URL blockt den Searchmetrics Bot
Die für den Crawl gewünschte URL blockt den Searchmetrics Bot und das verursacht den Fehler.
Lösungen
1) Nutze einen anderen Bot
Das Crawl Set-up bietet die Möglichkeit für den Crawl einen User Agent zu wählen. Dafür muss sich in das Crawl Set-up > Crawler navigiert werden und anschließend ein anderer User Agent als der Searchmetrics Bot gewählt werden (z.B. der Google Bot). Andernfalls ist standardmäßig der Searchmetrics Bot eingestellt.
2) Beste Lösung: Den Searchmetrics Bot whitelisten.
Wenn es sich um die eigene URL handelt (Zugang zum URL Code besteht / Kontakt zum Coder besteht) kann der Searchmetrics Bot gewhitelistet werden um ihm zu erlauben, die Seite zu crawlen und in Zukunft fehlgeschlagene Crawls zu verhindern.
Einige Websites haben möglicherweise automatisierte Systeme, um Aktivitäten auf ihrem Server zu blockieren. Dies kann zu Problemen führen, wenn unser Crawler versucht, auf diese Seiten zuzugreifen. In dem Fall können Sie unsere IPs auf Ihrem Server auf die Whitelist setzen und im Anschluss im Crawl Set Up > Erweiterte Einstellungen wählen, dass die statische IP genutzt werden soll.
EUROPA
145.14.137.0
145.14.138.10
145.14.142.110
US
64.140.129.128
64.140.129.126
64.140.129.141
(Zuletzt aktualisiert am 17.08.2021)
Die Startseite wurde ohne Protokoll eingegeben.
Die ausgewählte Startseite enthielt weder "https://" noch "http://".
Lösung
Standardmäßig ist dieses Feld leer. Das bedeutet der Crawler beginnt auf der Startseite der Projekt URL. Wenn nur unter einer bestimmten Unterseite gecrawlt werden soll, muss das URL Protokoll "https://" oder "http://" ins Feld eingegeben und das Häkchen entsprechend in die Checkbox "Nur unter der Startseite crawlen" gesetzt werden.
Beispiel: Wenn searchmetrics.com/de/ als Startseite angegeben ist, werden nur die /de Unterseiten von www.searchmetrics.com gecrawlet. Diese Einstellung kann im Crawl Setup > Crawler unter Crawler Einstiegsseite vorgenommen werden.
Wenn kein Zusammenhang zu den genannten Gründen erkennbar ist, oder das Problem weiterhin besteht melden Sie sich bitte bei Ihrem CSM oder unserem Support.
support@searchmetrics.com