Пастки токенізатора: числа, код та емодзі

Коротко: Мовні моделі бачать не текст, а токени. Оскільки токенізатор по-різному розбиває слова, числа та символи, виникають типові пастки: помилки в арифметиці, неправильно пораховані літери…