Публикаций: 8
Исследователи опубликовали MiniCache — фреймворк, который кеширует не ответы LLM, а сами программы рассуждений, и переиспользует их на структурно похожих запросах. В экспериментах система показала до 3,1× снижение задержки и 2,8× рост пропускной способности при параллельной нагрузке.
В многоагентных сессиях Claude Code кэш промптов тихо сгорает каждый раз, когда субагент работает дольше 5 минут. Автор open-source инструмента claude-thermos измерил потери на 185 реальных сессиях: 22% счёта уходило на бесполезный re-encoding уже закэшированного контента.
Новый фреймворк Embark Now соединяет LLM и алгоритм оптимизации GRASP для планирования многодневных городских маршрутов. На 5 040 реальных пользовательских сценариях он превзошёл все актуальные SOTA-методы — прирост до 26% в сквозных метриках при сокращении времени вычислений.
CEO Coinbase Брайан Армстронг перевёл компанию на GLM 5.2 и Kimi 2.7. Автоматический роутер + агрессивный кэш подняли hit rate с 5% до 60% и сократили расходы на AI вдвое — при этом объём токенов продолжает расти.
Корпорации, которые год назад гнались за AI-трансформацией, теперь вводят лимиты и урезают доступ к инструментам. Счета за токены оказались неожиданно большими.
Transformer-модель, обученная на производственных расписаниях размером до 10×10, без дополнительного обучения решает задачи 100×100 с отклонением 12–15% от теоретического минимума. Это не идеально — но это работает без переобучения при смене масштаба.
Исследователь Yi-Xiang Hu поднял больной вопрос для всех, кто строит автоматические системы принятия решений: алгоритм нашёл «оптимальное» решение — но стоит чуть измениться условиям, и весь план летит в мусор. Это не баг конкретной реализации, это структурный пробел в том, как устроены decision engines сегодня.
Русский текст обходится в 2–3 раза дороже английского — и это не баг тарификации, а следствие того, как модели буквально «видят» слова. Разбираем архитектуру LLM изнутри: токены, веса, BPE и почему всё это важно для тех, кто строит на них продукты.