robots.txt

robots.txtとは、検索エンジンのクローラーに対してアクセスの許可・制御を指示するファイルのこと。検索結果に表示させる必要がない、あるいは表示させたくないコンテンツに対してクローラーの巡回を拒否する指示を出すことができる。これにより、無駄なクロールを制御できるため、クローラーがWebサイト内の重要なページを効率よく巡回できるようになる。

ただし、すべてのクローラーがrobots.txtの記述通りに実行するわけではなく、アクセス制限をしても無視される場合がある。絶対に検索結果に表示させたくないページは、そもそもクローラーが巡回できない状態にする必要がある。