カテゴリ:

SEO

クローラ(Crawler)

WWWを自動的に巡回してWebページを収集するロボットのこと。スパイダーやサーチボットなどとも呼ばれる。収集したWebページは検索エンジンのインデックスに登録される。