robots.txtの書き方について

公開日: : MEMO, PC関連, WEB関連, その他のソフト

robots.txtの書き方について迷ったので簡単にメモ。
robots.txtとは「ページ作成者側(自分)からの 検索エンジンのボットに対するお願い」を記述したファイルである。

具体的には、自サイトの内容で検索エンジンに登録(インデックス)してほしくないページを、ボット側に伝える役目を持っている。なので「サイト自体を検索エンジンに登録させたくない」「サイトの一部ページを検索エンジンに登録させたくない」という場合に用いるのが趣旨。

あくまで「お願い」なので、書かれていることに従ってくれるかどうかは、検索ボット次第。
ただしgoogleのような有名検索エンジンのボットは、基本的に従ってくれる。

すべての検索エンジンにインデックスを許可しない場合

robots001

上述のようなことなので、すべてのインデックスを許可したい場合は、そもそもrobots.txtファイル自体を作成しなければよい・・・のだが、あえて「うちは全てOKですよ」と明示したい場合は以下のように記述する。

すべての検索エンジンにインデックスを許可する

robots002

  • このエントリーをはてなブックマークに追加
  • LINEで送る

関連記事

excel_print8

EXCEL(エクセル)2013でA5サイズで作成した文章(表)をA4用紙の左右に印刷する方法

やりたいこと EXCEL(エクセル)2013で作成した納品表がある(A5サイズ)。これをA4サイズ

ever_001

WEBの文章をEverenoteにコピペする際に 書式を無視してペーストする方法

仕事にプライベートに便利に利用しているEvernote(エバーノート)ですが、WEBページの文章など

symbol_001

シンボリックリンクを付け替える方法

この記事では「itunesのバックアップデータ保存先をCドライブ以外に指定する方法」の記事を前提に、

joseikin_003

うちは何回まで受けられる? 特定不妊治療費助成制度について調べてみた

昨年から不妊治療を開始し、半年ほど人工授精を行ってきましたがなかなか良い結果にいたらず、このたび次の

thunder_yoyaku_001

ThunderBird(サンダーバード)でメールの送信日時を予約する方法

誰かにメールを送る際に、今すぐではなく数時間後や数日後に送信してくれたら・・・と思うことが時々ありま

hdd_zanryo_002

Windows7でHDD(ハードディスク)の残量を視覚的に分かりやすく確認する方法

「コンピュータ」のエクスプローラ画面では、接続されている各種ドライブを確認することができます。

dvdx_013

WinX DVD AuthorでMP4をDVDに書き出す方法(1)

この記事では「WinX DVD Author」を用いてMP4動画をDVDビデオに書き出す方法を紹介し

iphone_001

iphoneで今しがた撮影した写真だけをPCに取り込む方法

iphoneで今しがた撮影した写真だけをPCに取り込む方法について、別に裏ワザでもなんでもないのです

csv_001

複数のCSVファイルのデータを1つのファイルにまとめる方法

多くのASPではアフィリエイトの各種データ(クリック率やデバイス別のコンバージョン率など)をCSVフ

excel_add_001

Excel(エクセル)でセル内に任意の文字を挿入する方法

Excel2013(エクセル)を使用していると、時に、特定のセル内の文字列に定型の文字を入れ込みたい

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

足元の冷えを解消!デスクワーカーにおすすめの足温グッズまとめ!

日がな一日座り続けで作業をしていると、血流が悪くなるのか、足元(つま先

ashi_c_008
足元の冷え解消!足温グッズレビュー(3) ホットマルチヒーター

デスクワークの際の足元の冷えを解消すべく、あれこれ模索しているうちに

ashi_b_002
足元の冷え解消!足温グッズレビュー(2) 山形電気あんか*参考

デスクワークの際の足元の冷えを解消すべく、あれこれ模索しているうちに

ashi_a_006
足元の冷え解消!足温グッズレビュー(1) デュアルヒータースリッパ

デスクワークの際の足元の冷えを解消すべく、あれこれ模索しているうちに

futa_001
掃除機にペットボトルの蓋が詰まってしまった場合の対処方法

部屋を掃除していたところ、掃除機でペットボトルのフタを吸い込んでしまい

→もっと見る

PAGE TOP ↑