クローラー | Crawler

クローラーとは検索ロボット 全文検索型サーチエンジンの検索データベースを作成する為に、ありとあらゆる世界中のWebページを回収するプログラムの事です。ロボット、ボット、スパイダーとも呼ばれてます。

新しいしい文書を見つけた場合はデータベースに登録を行い、既存のファイルが存在しない事を検出した場合はデータベースから削除します。