Die robots.txt befindet sich im Stammverzeichnis einer Domain und legt fest, ob und wie die Webseiten von Crawlern besucht werden dürfen.
X-Robots-Tag Nofollow and X-Robots-Tag-Noindex
Diese Tags erzielen den gleichen Effekt wie Meta NoIndex und NoFollow. Sie sind nur anders implementiert. Diese Tags werden im HTTP-Header angewendet und können sogar über die .htaccess-Datei genutzt werden, um dynamisch Inhalte auf der Website zu blockieren. Zum Beispiel kann ein Skript implementiert werden, das standardmäßig alle Inhalte, die mit .doc enden, mit NoIndex versieht.
Lesen Sie hier, wie Sie den Zugriff mit robots.txt regulieren können: Google Search Central - Einführung zu robots.txt
Sperren von Inhalten für den Searchmetrics Bot
Wenn Sie nicht wünschen, dass der SearchmetricsBot Ihre Webseiten oder Teile davon erfasst, so nutzen Sie bitte die robots.txt dafür. Benutzen Sie innerhalb Ihrer robots.txt einfach den Eintrag “User-agent: SearchmetricsBot“ um einen Anweisungsblock für den SearchmetricsBot zu kennzeichnen.
Beispiel:
Wenn Sie nicht möchten, dass der SearchmetricsBot Ihre Seite “/geheim.html” erfasst, dann geben Sie in Ihrer robots.txt folgende Regel an:
User-agent: SearchmetricsBot
Disallow: /geheim.html
Bitte beachten Sie, dass der Searchmetrics Bot dann keine Möglichkeit mehr besitzt diese Seite zu crawlen und Daten für diese Seite auszuwerten!