robots.txtの書き方について

robots.txtの書き方について迷ったので簡単にメモ。
robots.txtとは「ページ作成者側(自分)からの 検索エンジンのボットに対するお願い」を記述したファイルである。

具体的には、自サイトの内容で検索エンジンに登録(インデックス)してほしくないページを、ボット側に伝える役目を持っている。なので「サイト自体を検索エンジンに登録させたくない」「サイトの一部ページを検索エンジンに登録させたくない」という場合に用いるのが趣旨。

あくまで「お願い」なので、書かれていることに従ってくれるかどうかは、検索ボット次第。
ただしgoogleのような有名検索エンジンのボットは、基本的に従ってくれる。

すべての検索エンジンにインデックスを許可しない場合

robots001

上述のようなことなので、すべてのインデックスを許可したい場合は、そもそもrobots.txtファイル自体を作成しなければよい・・・のだが、あえて「うちは全てOKですよ」と明示したい場合は以下のように記述する。

すべての検索エンジンにインデックスを許可する

robots002

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です