Публикаций: 3
Gigatoken — MIT-лицензированный BPE-токенизатор на Rust, демонстрирующий 24.53 GB/s на серверном AMD EPYC 9565. Это в 989 раз быстрее HuggingFace tokenizers и в 681 раз быстрее tiktoken — при том что оба бейзлайна сами написаны на многопоточном Rust.
Русский текст обходится в 2–3 раза дороже английского — и это не баг тарификации, а следствие того, как модели буквально «видят» слова. Разбираем архитектуру LLM изнутри: токены, веса, BPE и почему всё это важно для тех, кто строит на них продукты.
LLM видит ваш текст не как буквы и слова, а как токены — и именно это объясняет, почему модель путается в простой арифметике, коверкает слова при перевороте и иногда ведёт себя как сломанный автомат. Разбираем механику изнутри.