Токен (ШІ)

Коротко: Токен — це невеликий фрагмент тексту, на які мовна модель розбиває текст. Токен — це часто частина слова, коротке слово або розділовий знак.

Докладніше: У німецькій токен — це приблизно 3–4 літери, в англійській близько 4. 1 000 токенів — це приблизно 700–750 англійських слів; німецьким текстам потрібно трохи більше токенів через довгі складні слова.

Наш контекст: У калькуляторі швидкості ШІ швидкість указується в токенах за секунду й перераховується у слова та сторінки книги за хвилину.

Подробиці

• Токенізатор: метод (наприклад, byte-pair encoding), що об’єднує найчастіші послідовності символів у токени.
• Навіщо токени: модель працює з числами. Кожен токен має номер і вектор (ембединг).
• Вартість: провайдери виставляють рахунок за вхідні та вихідні токени.
• Контекстне вікно: максимальна кількість токенів, яку модель враховує одночасно (контекстне вікно).

Див. також: Токени за секунду, Контекстне вікно