registrieren registriertes Mitglied


Anzeige

Anzeige

Email harvester und unerwünschte Bots mit .htaccess sperren

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
Benutzeravatar
bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 21:57

Beitrag bull » 01.03.2005, 11:47 Email harvester und unerwünschte Bots mit .htaccess sperren

Deine bisherige Liste ist schon so in Ordnung - und soll auch so bleiben, einschließlich der letzten Zeile RewriteRule ^.* - [F,L]
Eine error403-Datei ist nur optional, kann also weggelassen werden. Den Code von mir oben schreibst Du einfach in der .htaccess unter das, was schon drinsteht.
Denn neben dem "normalen" Blocken basierend auf User-agent, wie Du es ja schon praktizierst, ist dieser Code etwas anderes: wird bei Deinem bisherigen Code einfach alles geblockt, bei dem der User-agent den entsprechenden RewriteConds entspricht (was auch vollkommen in Ordnung ist), so gilt der Anti-Kein-User-agent-Code nur dann, wenn kein Referer UND kein User-agent UND GET oder POST-Request. AOL-Proxies sind nicht betroffen, da sie zwar keinen User-agent und keinen Referer senden, aber stets mit HEAD den Request senden - und daher trifft die Regel nicht zu.

also konkret:

Code: Alles auswählen

...
RewriteCond %{HTTP_USER_AGENT} ^Zeus.*Webster [OR]
RewriteCond %{HTTP_USER_AGENT} ^ZipppBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xenu_Link_Sleuth* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ZyBorg
RewriteRule ^.* - [F,L]

RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^$ [NC]
RewriteCond %{THE_REQUEST} ^GET [OR]
RewriteCond %{THE_REQUEST} ^POST
RewriteRule !robots\.txt|favicon\.ico - [F]

RewriteCond %{... weitere Conds und Rules nach Bedarf
...
Man kann, sofern man will, auch nur RewriteRule !favicon\.ico - [F] schreiben, ich erlaube robots.txt stets, da es vorkommen kann, daß Bots (wenn ich mich recht entsinne hatte der polnische szukaj dieses Verhalten) ohne User-agent und Referer die robots.txt lesen und sich eigentlich auch an die robots.txt halten.

jan

Anzeige von: