ホーム > タグ > クローラ

クローラ

クローラじゃないMSNホストの怪

[`evernote` not found]
[`grow` not found]
[`livedoor` not found]
[`yahoo` not found]
Delicious にシェア
このエントリーをはてなブックマークに追加

まだ毎日のようにアクセスログのチェックを続けてます。
このなかでちょっと不思議なMSNホストからのアクセスを見つけました。

逆引きしてみるとアクセス元は間違いなくMSNのもの。
USER_AGENT は Windows Vista IE7 っぽい。
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)

Referer もきちんとあって、option を検索した結果のページからです。
http://search.live.com/results.aspx?q=option&mrt=en-us&FORM=LIVSOP

「option」 以外にも 「script」とか「phpinfo」など簡単な英単語の
検索結果ページからうちのサイトにアクセスがあります。
頻度は多くて1日3件程度。

この英単語ならうちに関係ないことも無いし
MSNの人が普通に検索して来たんだろうと思いますが、
Referer のページに表示された検索結果の中に、うちのサイトが無い。
2ページ目、3ページ目を見てもやっぱり無い。

これは何でしょう?
新しいサービスの試験中か?不可解?

どうしたGoogle

[`evernote` not found]
[`grow` not found]
[`livedoor` not found]
[`yahoo` not found]
Delicious にシェア
このエントリーをはてなブックマークに追加

Googleのサービスにアクセスできませんね。
どうしたのかな?

16:17 – 30分程度で通常通りアクセスできるようになりました。

うちだけだったのだろうか?
検索しまくってるもんで、うちのIPが制限されてるとか?

行儀の悪いUSER_AGENT対策

[`evernote` not found]
[`grow` not found]
[`livedoor` not found]
[`yahoo` not found]
Delicious にシェア
このエントリーをはてなブックマークに追加

Apacheのアクセスログを読んでみると新しい発見がある。
USER_AGENTが YodaoBot となっているリクエストが目立つ。

検索してみると同じ事を感じてる人が結構いますね。

存在しないページをリクエストしてくる。
同じタイミングで2度同じリクエストをしてくる。
それも結構密なタイミングで。
行儀が悪いというより嫌がらせと言うほうがしっくりくる。

こんなクローラに収集されも良い事はひとつもないので
.htaccess ではじいてしまおうと思う。

SetEnvIf User-Agent "YodaoBot" badAgent
order allow,deny
allow from all
deny from env=badAgent

続きを読む

ホーム > タグ > クローラ

Ad
Apache
MySQL
PHP
お気に入り
ん。。。。。。広告
アーカイブ
Ad

ページの上部に戻る