Sitemap Auto-discovery とは？ － robots.txtファイルにXMLサイトマップを登録


　Sitemap Auto-discovery（サイトマップ・オートディスカバリー）は、ウェブサイト内のページ一覧をリストアップしたXMLサイトマップのファイルを検索エンジンンに送信通知する手段の１つですよ～。


　検索エンジンにページの一覧を提出しておくことで、登録巡回を促したり巡回のこぼれを抑制したりできます。検索エンジンのYahoo!（ヤフー）、Google（グーグル）、Bing（ビング）が対応してますぞ。 イメージ 1


・ What's new with Sitemaps.org? （Google Webmaster Central Blog）
・ Webmasters Can Now Auto-Discover With Sitemaps （Yahoo! Search Blog）
・ Specifying the Sitemap location in your robots.txt file （sitemaps.org）


　robots.txtファイルに「Sitemap: (URLアドレス)」の1行を記述します。



  • URLアドレスは必ずフルパス「http:// ～ .xml」で

  • 複数のサイトマップファイルを用意してるなら、次の行に同じような形式で追記


Q. 特定の巡回クローラーに特定のサイトマップを通知したい
A. robots.txtではムリです。「User-agent: (クローラー名)」のパラメータは機能しません。『This directive is independent of the user-agent line, so it doesn't matter where you place it in your file.』（ユーザーエージェントの行とは独立してるので、どの場所に記述してもOK）となってます。


Q. robots.txtファイルを利用できないサーバーは？ （ウェブサイトのURLアドレスがサブフォルダタイプ）
A. 検索エンジンが提供してるサイト管理ツールからXMLサイトマップを送信してくだされ。


・ robots.txt ＆ Sitemap.xml