数日前に、Let's HSP!のサイトに「Yandex」の巡回クローラーがたくさんページを収集していきやした。
ほとんどの人が知らんと思いますが、Yandex(ヤンデックス)は、ロシア圏で市場シェア1位の検索エンジンです。世界的には巨頭Googleがシェア1位なんですが、日本と同じで、ロシアもGoogleがトップに君臨してない地域の1つなんですな。(日本はもちYahoo!、他にも中国は百度、韓国はNAVER、台湾はYahoo!)
実は2010年5月に、Yandexはグローバル進出目的で、英語表記(欧州向け)の検索エンジンをアルファ版として本格的に立ち上げとります。まだ日本語キーワードはまったく機能しないです。
- yandex.ru ... ロシア語の本拠地
- yandex.com ... 英語表記 (現在はアルファ版)
ちなみに、巡回クローラーのアドレスとユーザーエージェントは下のような感じでした。Yandexのウェブマスターヘルプ(ロシア語)にクローラー情報がのってます。パラメータの最後尾にある1文字で種類を見分けるようで、「I」は「Index」のことみたいです。
spider*.yandex.ru
Yandex/1.01.001 (compatible; Win16; I)
(追記...)
・ YandexBot ... Yandexの巡回クローラーが名称変更