Crawler

Kısaca: Crawler (bot, örümcek), web sayfalarını otomatik olarak getiren ve bağlantıları izleyen programdır.

Biraz daha ayrıntılı: Google gibi arama motorları web’i dizinlemek için crawler’lar (Googlebot) kullanır.

Ayrıntılı

Kurallar

robots.txt dosyası, crawler’ların hangi alanları ziyaret edebileceğini söyler. Saygın botlar ona uyar; kötü niyetli botlar yok sayar.

Diğer crawler’lar

Fiyat karşılaştırmaları, arşiv hizmetleri ve diğerleri.

Ayrıca bak: Web kazıma, İzleme, Güvenlik duvarı