robots.txt

用語説明

robots.txtとは、検索エンジンのクローラーに対してアクセスの許可・制御を指示するファイルのこと。検索結果に表示させる必要がない、あるいは表示させたくないコンテンツに対してクローラーの巡回を拒否する指示を出すことができる。これにより、無駄なクロールを制御できるため、クローラーがWebサイト内の重要なページを効率よく巡回できるようになる。

ただし、すべてのクローラーがrobots.txtの記述通りに実行するわけではなく、アクセス制限をしても無視される場合がある。絶対に検索結果に表示させたくないページは、そもそもクローラーが巡回できない状態にする必要がある。

関連用語

50音・英数字でさがす

50音

英数字

用語一覧に戻る

人気のダウンロードコンテンツ

人気記事ランキング

人気のタグ

無料メルマガを購読する

DIGIFULのSNSをフォローする

  • Twitter
  • Facebook
  • Linkedin