クローラーとは

クローラーとは、インターネット上に存在するWebサイトや画像などのあらゆる情報を取得し、自動的に検索データベースを作成する巡回プログラムのことを指します。Web上を這う（クロールする）ことから「クローラー」と呼ばれます。