検索エンジンのスパイダーロボットがウェブサイト内の情報を収集する際に、ウェブサイトのディレクトリーに置いてロボットの動きをコントロールするテキストファイルのことです。

ロボットは全てウェブサーバー内の特定のディレクトリの情報を収集する際に、事前にそのディレクトリに「robots.txt」と言う名前のテキストファイルが存在するか確認し、その内容に応じて情報収集の内容を決定したり、時には情報収集を行わなかったりします。

ウェブサイト運営者がウェブサイトの内容を検索エンジンに掲載したくない際に利用されます。


<< 検索エンジン用語辞書に戻る



Copyright 2004 All Rights Reserved.