Скрейпер

Коротко: Программа, автоматически считывающая содержимое с веб-сайтов (например, загружает HTML-страницы и извлекает нужные данные) вместо того, чтобы человек копировал их вручную.

Подробнее: Веб-скрейпинг находится в правовой и этической серой зоне: многие сайты прямо запрещают его в условиях использования или блокируют технически (например, через robots.txt, ограничение частоты или распознавание ботов), так как агрессивный скрейпинг может действовать как небольшая атака DDoS. Законные применения — например, порталы сравнения цен или индексация поисковыми системами; проблемно, когда копируется защищённый авторским правом контент или обходится защита доступа.

Подробности

Технически простой скрейпер обычно состоит из двух шагов: HTTP-запрос к целевой странице и разбор ответа.

См. также: DDoS