EMZETT.Glossar
1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.
2 Treffer
Token (KI) Ein Token ist der kleine Textbaustein, in den ein Sprachmodell Text zerlegt. Ein Token ist oft ein Wortteil, ein kurzes Wort oder ein Satzzeichen.
Im Deutschen entspricht ein Token grob 3 bis 4 Buchstaben, im Englischen etwa 4. 1.000 Tokens sind ungefähr 700 bis 750 englische Wörter, deutsche Texte brauchen wegen langer zusammengesetzter Wörter etwas mehr Tokens.
Verwandt: Embedding (Vektordarstellung) · Kontextfenster · Tokens pro Sekunde
Ganzer Artikel im Wiki →Halluzination (KI) Eine Halluzination ist eine überzeugend klingende, aber falsche oder erfundene Antwort eines Sprachmodells.
Sprachmodelle sagen das wahrscheinlich nächste Token voraus, sie prüfen keine Fakten. Fehlt ihnen Wissen, füllen sie die Lücke mit Plausiblem, etwa erfundene Quellen, Zahlen oder Gesetze.
Verwandt: Prompt Engineering · RAG (Retrieval-Augmented Generation) · Temperatur und Sampling
Ganzer Artikel im Wiki →