Почему ИИ не может посчитать буквы: токенизация изнутри
LLM видит ваш текст не как буквы и слова, а как токены — и именно это объясняет, почему модель путается в простой арифметике, коверкает слова при перевороте и иногда ведёт себя как сломанный автомат. Разбираем механику изнутри.