In den meisten Fällen liegt ein Fehler in der robots.txt vor. Der Anweisungsblock für den SearchmetricsBot muss oberhalb des allgemeinen (user-agent: *) Block stehen. Bitte beachten Sie die Leerzeile zwischen zwei Anweisungsblöcken. robots.txt Beispiel:
User-agent: SearchmetricsBot
Disallow: /admin/
User-agent: *
Disallow: /admin/
Allow: /