Краулер

Коротко: Краулер (бот, паук) — программа, автоматически загружающая веб-страницы и переходящая по ссылкам.

Подробнее: Поисковые системы вроде Google используют краулеры (Googlebot) для индексации веба.

Подробности

Правила

Файл robots.txt сообщает, какие области краулерам можно посещать. Добропорядочные боты ему следуют; вредоносные игнорируют.

Другие краулеры

Сравнение цен, архивные сервисы и другие.

См. также: веб-скрейпинг, трекинг, межсетевой экран