Sitemap Auto-discovery とは? - robots.txtファイルにXMLサイトマップを登録
Sitemap Auto-discovery(サイトマップ・オートディスカバリー)は、ウェブサイト内のページ一覧をリストアップしたXMLサイトマップのファイルを検索エンジンンに送信通知する手段の1つですよ~。
検索エンジンにページの一覧を提出しておくことで、登録巡回を促したり巡回のこぼれを抑制したりできます。検索エンジンのYahoo!(ヤフー)、Google(グーグル)、Bing(ビング)が対応してますぞ。
・ What's new with Sitemaps.org? (Google Webmaster Central Blog)
・ Webmasters Can Now Auto-Discover With Sitemaps (Yahoo! Search Blog)
・ Specifying the Sitemap location in your robots.txt file (sitemaps.org)
robots.txtファイルに「Sitemap: (URLアドレス)」の1行を記述します。
- URLアドレスは必ずフルパス「http:// ~ .xml」で
- 複数のサイトマップファイルを用意してるなら、次の行に同じような形式で追記
Q. 特定の巡回クローラーに特定のサイトマップを通知したい
A. robots.txtではムリです。「User-agent: (クローラー名)」のパラメータは機能しません。『This directive is independent of the user-agent line, so it doesn't matter where you place it in your file.』(ユーザーエージェントの行とは独立してるので、どの場所に記述してもOK)となってます。Q. robots.txtファイルを利用できないサーバーは? (ウェブサイトのURLアドレスがサブフォルダタイプ)
A. 検索エンジンが提供してるサイト管理ツールからXMLサイトマップを送信してくだされ。