Crawler

Kurz: Ein Crawler (Bot, Spider) ist ein Programm, das Webseiten automatisch abruft und ihnen folgt.

Genauer: Suchmaschinen wie Google nutzen Crawler (Googlebot), um das Web zu indexieren.

Im Detail

Die Datei robots.txt sagt, welche Bereiche Crawler besuchen dürfen. Seriöse Bots halten sich daran; böswillige Bots ignorieren sie.

Preisvergleiche, Archivdienste, KI-Trainings-Crawler, aber auch Scraper und Angriffsbots (Web-Scraping).

Rate Limiting, Bot-Erkennung, Firewall (WAF).

Siehe auch: Web Scraping, Tracking, Firewall