robots txtとは

robots.txtとは、検索エンジンのクローラー（ロボット）のWEBページのへのアクセスを制限するためのファイルを指します。ロボットに向けた命令文（アクセスを許可/許可しない）を記述することができます。