robots.txt 読み：ろぼっつてきすと
とは、
『検索エンジンなどの巡回範囲を指定する設定ファイル』
概要
robots.txtとは、Webサイトにアクセスする検索エンジンのクローラー（bot）へ対して、「どのページを巡回してよいか」「どこを巡回しないか」を指示するための設定ファイルを指す言葉である。
主にサイトのルートディレクトリに配置され、検索結果への不要ページ登録防止やサーバー負荷軽減などの目的で利用される。
ただし、robots.txt は「閲覧禁止」ではなく、あくまでクローラー向けの案内である点に注意が必要である。
語源
詳細≫
robots「自動巡回プログラム（bot）」＋txt「テキストファイル形式」を組み合わせた名称。つまり「ロボット向けの指示を書いたテキストファイル」を意味する語。