ホーム > タグ > クローラ

クローラ

クローラじゃないMSNホストの怪

まだ毎日のようにアクセスログのチェックを続けてます。
このなかでちょっと不思議なMSNホストからのアクセスを見つけました。

逆引きしてみるとアクセス元は間違いなくMSNのもの。
USER_AGENT は Windows Vista IE7 っぽい。
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)

Referer もきちんとあって、option を検索した結果のページからです。
http://search.live.com/results.aspx?q=option&mrt=en-us&FORM=LIVSOP

「option」以外にも「script」とか「phpinfo」など簡単な英単語の
検索結果ページからうちのサイトにアクセスがあります。
頻度は多くて1日3件程度。

この英単語ならうちに関係ないことも無いし
MSNの人が普通に検索して来たんだろうと思いますが、
Referer のページに表示された検索結果の中に、うちのサイトが無い。
２ページ目、3ページ目を見てもやっぱり無い。

これは何でしょう？
新しいサービスの試験中か？不可解？

Googleのサービスにアクセスできませんね。
どうしたのかな？

16:17 – ３０分程度で通常通りアクセスできるようになりました。

うちだけだったのだろうか？
検索しまくってるもんで、うちのIPが制限されてるとか？

Apacheのアクセスログを読んでみると新しい発見がある。
USER_AGENTが YodaoBot となっているリクエストが目立つ。

検索してみると同じ事を感じてる人が結構いますね。

存在しないページをリクエストしてくる。
同じタイミングで2度同じリクエストをしてくる。
それも結構密なタイミングで。
行儀が悪いというより嫌がらせと言うほうがしっくりくる。

こんなクローラに収集されも良い事はひとつもないので
.htaccess ではじいてしまおうと思う。

SetEnvIf User-Agent "YodaoBot" badAgent
order allow,deny
allow from all
deny from env=badAgent

ホーム > タグ > クローラ

プロフィール

ゆうじ
PHPの基礎体力
LOTO6 Checker

Follow @soundws

サンデープログラマーはプログラミングはやるけどプロじゃない。お父さんの日曜大工とおんなじです。
プログラミングは体力じゃ!
コーヒーとタバコLOVE、あと音楽は聴くのもやるのも好き。

Follow @soundws (95 followers)

検索

カレンダー

最近の投稿

最近のコメント

最近のピン

カテゴリー

タグクラウド

Ad

Apache

MySQL

PHP

お気に入り

ん。。。。。。広告

アーカイブ

ページの上部に戻る