robots.txtの書き方について

robots.txtの書き方について迷ったので簡単にメモ。
robots.txtとは「ページ作成者側（自分）からの検索エンジンのボットに対するお願い」を記述したファイルである。

具体的には、自サイトの内容で検索エンジンに登録（インデックス）してほしくないページを、ボット側に伝える役目を持っている。なので「サイト自体を検索エンジンに登録させたくない」「サイトの一部ページを検索エンジンに登録させたくない」という場合に用いるのが趣旨。

あくまで「お願い」なので、書かれていることに従ってくれるかどうかは、検索ボット次第。
ただしgoogleのような有名検索エンジンのボットは、基本的に従ってくれる。

すべての検索エンジンにインデックスを許可しない場合

User-agent: *
Disallow: /

上述のようなことなので、すべてのインデックスを許可したい場合は、そもそもrobots.txtファイル自体を作成しなければよい・・・のだが、あえて「うちは全てＯＫですよ」と明示したい場合は以下のように記述する。

User-agent: *
allow: /