Glossar

736 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

2 Treffer

Web Scraping Das automatisierte Auslesen von Daten aus Webseiten per Skript — entweder aus rohem HTML oder über eine offizielle API, falls vorhanden.
Für einfache Seiten ohne eigene API reichen HTTP-Requests + ein HTML-Parser (Python: requests + BeautifulSoup; Node.js: fetch/axios + cheerio). Braucht die Seite JavaScript zum Rendern (viele moderne Admin-Oberflächen), reicht das nicht mehr — dann braucht es einen echten (headless) Browser wie Playwright oder Puppeteer. Login-geschützte Seiten: Session-Cookie/Token einmal per Login-Formular holen, dann wiederverwenden. Existiert eine offizielle API, ist die fast immer die bessere Wahl (stabiler, nicht ToS-riskant) — Scraping ist meist nur der Fallback.
Verwandt: Router · API · Browser · HTML · Node.js · Daten
Ganzer Artikel im Wiki →
Scraper Ein Programm, das automatisiert Inhalte von Websites ausliest (z. B. HTML-Seiten abruft und die relevanten Daten extrahiert), statt dass ein Mensch sie manuell kopiert.
Web-Scraping bewegt sich in einer rechtlichen und ethischen Grauzone: Viele Websites verbieten es explizit in ihren Nutzungsbedingungen oder blockieren es technisch (z. B. über robots.txt, Rate-Limiting oder Bot-Erkennung), da aggressives Scraping wie ein kleiner DDoS-Angriff wirken kann. Legitime Einsatzzwecke sind z. B. Preisvergleichsportale oder Suchmaschinen-Indexierung; problematisch wird es beim Kopieren urheberrechtlich geschützter Inhalte oder beim Umgehen von Zugriffsschutz.
Verwandt: DDoS · Firewall · Daten
Ganzer Artikel im Wiki →

Glossar

736 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

2 Treffer

Web Scraping Das automatisierte Auslesen von Daten aus Webseiten per Skript — entweder aus rohem HTML oder über eine offizielle API, falls vorhanden.

Für einfache Seiten ohne eigene API reichen HTTP-Requests + ein HTML-Parser (Python: requests + BeautifulSoup; Node.js: fetch/axios + cheerio). Braucht die Seite JavaScript zum Rendern (viele moderne Admin-Oberflächen), reicht das nicht mehr — dann braucht es einen echten (headless) Browser wie Playwright oder Puppeteer. Login-geschützte Seiten: Session-Cookie/Token einmal per Login-Formular holen, dann wiederverwenden. Existiert eine offizielle API, ist die fast immer die bessere Wahl (stabiler, nicht ToS-riskant) — Scraping ist meist nur der Fallback.

Verwandt: Router · API · Browser · HTML · Node.js · Daten

Ganzer Artikel im Wiki →

Scraper Ein Programm, das automatisiert Inhalte von Websites ausliest (z. B. HTML-Seiten abruft und die relevanten Daten extrahiert), statt dass ein Mensch sie manuell kopiert.

Web-Scraping bewegt sich in einer rechtlichen und ethischen Grauzone: Viele Websites verbieten es explizit in ihren Nutzungsbedingungen oder blockieren es technisch (z. B. über robots.txt, Rate-Limiting oder Bot-Erkennung), da aggressives Scraping wie ein kleiner DDoS-Angriff wirken kann. Legitime Einsatzzwecke sind z. B. Preisvergleichsportale oder Suchmaschinen-Indexierung; problematisch wird es beim Kopieren urheberrechtlich geschützter Inhalte oder beim Umgehen von Zugriffsschutz.

Verwandt: DDoS · Firewall · Daten

Ganzer Artikel im Wiki →