Токен (ИИ)

Коротко: Токен — это небольшой фрагмент текста, на которые языковая модель разбивает текст. Токен — это часто часть слова, короткое слово или знак препинания.

Подробнее: В немецком токен — это примерно 3–4 буквы, в английском около 4. 1 000 токенов — это примерно 700–750 английских слов; немецким текстам нужно чуть больше токенов из-за длинных составных слов.

Наш контекст: В калькуляторе скорости ИИ скорость указывается в токенах в секунду и пересчитывается в слова и страницы книги в минуту.

Подробности

• Токенизатор: метод (например, byte-pair encoding), объединяющий самые частые последовательности символов в токены.
• Зачем токены: модель работает с числами. У каждого токена есть номер и вектор (эмбеддинг).
• Стоимость: провайдеры выставляют счёт за входные и выходные токены.
• Контекстное окно: максимальное число токенов, которое модель учитывает одновременно (контекстное окно).

См. также: Токены в секунду, Контекстное окно