Краулер

Коротко: Краулер (бот, павук) — програма, що автоматично завантажує вебсторінки й переходить за посиланнями.

Докладніше: Пошукові системи на кшталт Google використовують краулери (Googlebot) для індексації вебу.

Подробиці

Правила

Файл robots.txt повідомляє, які ділянки краулерам можна відвідувати. Добропорядні боти йому дотримуються; шкідливі ігнорують.

Інші краулери

Порівняння цін, архівні сервіси та інші.

Див. також: веб-скрейпінг, трекінг, міжмережевий екран