robots.txtの書き方について

公開日: : MEMO, PC関連, WEB関連, その他のソフト

robots.txtの書き方について迷ったので簡単にメモ。
robots.txtとは「ページ作成者側(自分)からの 検索エンジンのボットに対するお願い」を記述したファイルである。

具体的には、自サイトの内容で検索エンジンに登録(インデックス)してほしくないページを、ボット側に伝える役目を持っている。なので「サイト自体を検索エンジンに登録させたくない」「サイトの一部ページを検索エンジンに登録させたくない」という場合に用いるのが趣旨。

あくまで「お願い」なので、書かれていることに従ってくれるかどうかは、検索ボット次第。
ただしgoogleのような有名検索エンジンのボットは、基本的に従ってくれる。

すべての検索エンジンにインデックスを許可しない場合

robots001

上述のようなことなので、すべてのインデックスを許可したい場合は、そもそもrobots.txtファイル自体を作成しなければよい・・・のだが、あえて「うちは全てOKですよ」と明示したい場合は以下のように記述する。

すべての検索エンジンにインデックスを許可する

robots002

  • このエントリーをはてなブックマークに追加
  • LINEで送る

関連記事

itunesのバックアップデータ保存先をCドライブ以外に指定する方法

iphone内のデータ保護を目的として、itunesを使ったバックアップを利用することにしました。

Excel(エクセル)でセル内に任意の文字を挿入する方法

Excel2013(エクセル)を使用していると、時に、特定のセル内の文字列に定型の文字を入れ込みたい

Cドライブの残容量が少なくなったら確認しておきたいポイントと対処方法

ある日、ふと気づくとCドライブがほぼ満杯状態になっていました。 特に新規にアプリをインスト

イライラ・緊張屋さん必携!? アロパノール服用後の効果とその感想

しばらく前に電車で見かけた中吊り広告がひどく印象に残りました。 不安や緊張をほぐし、イライラを

RollToEverで「Code=2 Param=0」のエラーが出た場合の対処方法

iPhoneで撮影した複数枚の写真をワンタッチでEverNoteに自動転送してくれる便利アプリRol

ExcelにDropBoxのアイコン(バッジ)が表示されて邪魔な際の対処方法

本日 Excel(エクセル)を開いたところ ウィンドウの端にDropBox(ドロップボックス)のアイ

作業ウィンドウがモニタ画面の外に隠れてしまった場合の対処方法

パソコンで作業をしていて、何かのきっかけで突然作業ウィンドウがモニタ画面の外側に出てしまい戻らなくな

WordPress 記事本文のHTMLタグ・文字列を置換する方法

タイトルどおり WordPressで記事本文内に記述したHTML(CSS)タグを検索・置換する方法で

Googleドキュメントのスプレッドシート(excel)をWEBページに埋め込む方法

photo credit: mark knol via photopin cc 自分自身へのメ

WORD(ワード)2013でルビを振る動作にショートカットを割りあてる方法

WORD(ワード)では「ルビを振る」という機能に、デフォルト(初期設定)の状態ではショートカットキー

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

足元の冷えを解消!デスクワーカーにおすすめの足温グッズまとめ!

日がな一日座り続けで作業をしていると、血流が悪くなるのか、足元(つま先

足元の冷え解消!足温グッズレビュー(3) ホットマルチヒーター

デスクワークの際の足元の冷えを解消すべく、あれこれ模索しているうちに

足元の冷え解消!足温グッズレビュー(2) 山形電気あんか*参考

デスクワークの際の足元の冷えを解消すべく、あれこれ模索しているうちに

足元の冷え解消!足温グッズレビュー(1) デュアルヒータースリッパ

デスクワークの際の足元の冷えを解消すべく、あれこれ模索しているうちに

掃除機にペットボトルの蓋が詰まってしまった場合の対処方法

部屋を掃除していたところ、掃除機でペットボトルのフタを吸い込んでしまい

→もっと見る

PAGE TOP ↑