Datenbereinigung in der Praxis mit Pandas

Kurz: Ein großer Teil jeder Datenarbeit ist Aufräumen. Mit Pandas lassen sich fehlende Werte, Doppelte, falsche Typen und Ausreißer systematisch bereinigen, bevor ein Modell trainiert wird.

Erst ansehen

import pandas as pd
df = pd.read_csv("daten.csv")
df.info()          # Spalten, Typen, fehlende Werte
df.describe()      # Statistik der Zahlen
df.head()          # erste Zeilen

Typische Schritte

1. Fehlende Werte: df.isna().sum() zählt sie. Entfernen (df.dropna()), mit Standardwert füllen (df["alter"].fillna(df["alter"].median())) oder als eigene Kategorie markieren. Die Wahl hängt von der Ursache ab.
2. Doppelte Zeilen: df.drop_duplicates().
3. Typen: df["datum"] = pd.to_datetime(df["datum"]), df["preis"] = pd.to_numeric(df["preis"], errors="coerce").
4. Text vereinheitlichen: df["stadt"].str.strip().str.lower(); unterschiedliche Schreibweisen zusammenführen.
5. Ausreißer: Grenzen über Quartile oder Fachwissen, dann prüfen statt blind löschen (Anomalie-Erkennung).
6. Kategorien in Zahlen: pd.get_dummies(df["farbe"]).

Wichtige Regeln

• Nie das Original überschreiben, sondern aus Rohdaten reproduzierbar eine bereinigte Kopie erzeugen (Skript statt Handarbeit).
• Bereinigung nur mit Werten aus dem Trainingsteil berechnen (zum Beispiel Mittelwert), sonst fließen Testdaten ein.
• Dokumentieren, was geändert wurde.

Siehe auch: Pandas, Daten, Merkmale und Labels