クローラーって、どんな動きをしているのだろう?

 

ボチボチとアダルトアフィリエイトを継続しているが、思うように成果は出ていない。

もちろん、簡単に出来ることとは思っていないから、ガンバルしかないわけだが。

 

現在、WPで作ってあるメインブログにアクセス解析のプラグインを入れてある。

これは、英語版であるし、一般的なアクセス解析とは違って、クローラーの情報などが簡便に得られるものである。

(いわゆるアクセスの解析用にはi2i.jpを使い始めた。)

 

クローラーのご訪問状況を眺めていると、その挙動がまったくつかめないので、どのような基準というかアルゴリズムでクロールしているのか、不思議に思ったりする。

 

今日はこんなアクセスがあってちょっと驚いた。

2008/4/24 木曜日 11:04:12 Hatena2::RemoteDocument/0.02

 

これハテナだよね??

 

ハテナのブックマークは、今でも被リンクとして有効なのだけれど、意図的なリンクは良いとは言えないし、すぐに対策されてしまうと思う。

だけど、このアクセスはトップページじゃなくて記事のページだった。

ちょっと不思議な気がした。

 

そういえば、Googleのクローラーがダントツに多く、Yahooは、ほとんど訪問してこなかったのだけれど、最近は勢力分布(?)に変化が見られている。

一時期は全体の90%近くがGoogleのクローラーだったが、今は50%まで落ちて、Yahooが30%を超えてきた。

残りの20%で一番多いのがテクノラティ。

これは、サイトを作った初期から、非常に世話になった気がする。

なのに、テクノラティのpingサーバーは、jpだとエラーが多くて残念だ。

 

SEO, 雑記

Posted by kazehiki