registrieren registriertes Mitglied


Anzeige

Anzeige

htaccess crawler

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
BobbyC
PostRank 2
PostRank 2
Beiträge: 52
Registriert: 13.02.2012, 09:59

Beitrag BobbyC » 05.02.2014, 19:56 htaccess crawler

Hallo,

habe im Netz eine tolle Liste gefunden, scheint auch gut zu funktionieren, allerdings werden in SEOMOZ noch immer Links gecrawled, obwohl der rogerbot ausgeschlossen ist.

Code: Alles auswählen

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*SEOkicks-Robot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BlackWidow.*$ [NC,OR]
...
RewriteCond %{HTTP_USER_AGENT} ^.*rogerbot.*$ [NC,OR]
...
RewriteRule ^ - [L,R=404]
Habe die Liste gekürzt, da es sonst zu lang werden würde. Ist da Fehler in der .htaccess oder warum crawled er noch?

Anzeige von: