ホーム > タグ > クローラ
クローラ
クローラじゃないMSNホストの怪
- 2008-05-04 日 00:43:31
- ウェブサービス
まだ毎日のようにアクセスログのチェックを続けてます。
このなかでちょっと不思議なMSNホストからのアクセスを見つけました。
逆引きしてみるとアクセス元は間違いなくMSNのもの。
USER_AGENT は Windows Vista IE7 っぽい。
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)
Referer もきちんとあって、option を検索した結果のページからです。
http://search.live.com/results.aspx?q=option&mrt=en-us&FORM=LIVSOP
「option」 以外にも 「script」とか「phpinfo」など簡単な英単語の
検索結果ページからうちのサイトにアクセスがあります。
頻度は多くて1日3件程度。
この英単語ならうちに関係ないことも無いし
MSNの人が普通に検索して来たんだろうと思いますが、
Referer のページに表示された検索結果の中に、うちのサイトが無い。
２ページ目、3ページ目を見てもやっぱり無い。
これは何でしょう？
新しいサービスの試験中か？不可解？
どうしたGoogle
- 2008-04-28 月 16:02:00
- ウェブサービス
Googleのサービスにアクセスできませんね。
どうしたのかな？
16:17 – ３０分程度で通常通りアクセスできるようになりました。
うちだけだったのだろうか？
検索しまくってるもんで、うちのIPが制限されてるとか？
行儀の悪いUSER_AGENT対策
- 2008-04-11 金 00:37:27
- 今日の基礎体力
Apacheのアクセスログを読んでみると新しい発見がある。
USER_AGENTが YodaoBot となっているリクエストが目立つ。
検索してみると同じ事を感じてる人が結構いますね。
存在しないページをリクエストしてくる。
同じタイミングで2度同じリクエストをしてくる。
それも結構密なタイミングで。
行儀が悪いというより嫌がらせと言うほうがしっくりくる。
こんなクローラに収集されも良い事はひとつもないので
.htaccess ではじいてしまおうと思う。
SetEnvIf User-Agent "YodaoBot" badAgent order allow,deny allow from all deny from env=badAgent
ホーム > タグ > クローラ
- プロフィール
-
ゆうじ
PHPの基礎体力
Ｇ＋Follow @soundws
サンデープログラマーはプログラミングはやるけどプロじゃない。お父さんの日曜大工とおんなじです。
プログラミングは体力じゃ!
コーヒーとタバコLOVE、あと音楽は聴くのもやるのも好き。 - 検索
- Ad
- カレンダー
« 2024 年 11月 » S M T W T F S 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 - 最近の投稿
- Ad
- カテゴリー
- タグクラウド
- Ad
- Apache
- MySQL
- PHP
- お気に入り
- ん。。。。。。広告
- アーカイブ
-
- 2018年3月 (2)
- 2017年4月 (1)
- 2015年12月 (1)
- 2015年9月 (1)
- 2014年8月 (1)
- 2013年12月 (1)
- 2013年6月 (1)
- 2013年5月 (1)
- 2012年7月 (2)
- 2012年6月 (1)
- 2012年4月 (1)
- 2012年3月 (2)
- 2011年8月 (1)
- 2011年7月 (1)
- 2010年7月 (1)
- 2010年6月 (2)
- 2010年5月 (1)
- 2010年4月 (3)
- 2010年3月 (2)
- 2010年2月 (1)
- 2010年1月 (1)
- 2009年11月 (1)
- 2009年5月 (3)
- 2009年4月 (5)
- 2009年3月 (8)
- 2009年2月 (2)
- 2008年11月 (1)
- 2008年7月 (1)
- 2008年5月 (3)
- 2008年4月 (4)
- 2008年3月 (1)
- 2007年12月 (2)
- 2007年8月 (1)
- 2007年7月 (4)
- 2007年6月 (4)
- 2007年5月 (2)
- Ad