Ловушки токенизатора: числа, код и эмодзи

Коротко: Языковые модели видят не текст, а токены. Поскольку токенизатор по-разному разбивает слова, числа и символы, возникают типичные ловушки: ошибки в арифметике, неверно посчитанные буквы…