Der SearchmetricsBot crawlt alle Seiten, die unterhalb des angegebenen Projekts liegen. Wird also nur eine Domain (ohne www) im Projektbereich angegeben, können alle Subdomains gecrawlt werden. Wird im Projektbereich eine Subdomain angegeben, können nur die Seiten innerhalb dieser Subdomain gecrawlt werden. Wird ein Verzeichnis angegeben werden nur die Dokumente unterhalb dieses Verzeichnisses gecrawlt.
