Скрейпер

Коротко: Програма, що автоматично зчитує вміст із вебсайтів (наприклад, завантажує HTML-сторінки й витягує потрібні дані) замість того, щоб людина копіювала їх уручну.

Докладніше: Вебскрейпінг перебуває в правовій та етичній сірій зоні: багато сайтів прямо забороняють його в умовах використання або блокують технічно (наприклад, через robots.txt, обмеження частоти чи розпізнавання ботів), бо агресивний скрейпінг може діяти як невелика атака DDoS. Законні застосування — наприклад, портали порівняння цін чи індексація пошуковими системами; проблемно, коли копіюється захищений авторським правом вміст або оминається захист доступу.

Подробиці

Технічно простий скрейпер зазвичай складається з двох кроків: HTTP-запит до цільової сторінки та розбір відповіді.

Див. також: DDoS