NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B — сжатый вариант модели Nemotron-3-Super. Архитектура гибридная MoE: при инференсе активируется только часть параметров. Суммарный объём упал с 120.7B до 75.3B параметров, активных — с 12.8B до 9.3B. На одном узле 8×B200 модель выдаёт 2.03× больший серверный throughput при той же пользовательской скорости 100 токенов/с. На одном H100 количество одновременных запросов с 1M-токенным контекстом выросло с 1 до 8.
Контекст
Семейство Nemotron — это ставка NVIDIA на собственный слой «выше железа»: компания производит GPU, но одновременно строит модели, оптимизированные именно под своё оборудование. Nemotron-3-Super уже был конкурентоспособен в нише frontier open-weight моделей. Puzzle — следующий шаг: взять готовую сильную модель и сделать её дешевле в обслуживании.
Техника называется Iterative Puzzle: чередование фаз аппаратно-осведомлённого структурного сжатия с короткими фазами восстановления через knowledge distillation. Это не тривиальный pruning — при каждом шаге компрессии модель «подлечивается» от учителя, чтобы не терять качество. Итог: модель стала примерно на 37% легче по активным параметрам, при этом throughput вырос вдвое, а не упал.
MoE архитектура стала индустриальным стандартом после того, как DeepSeek показал: frontier-качество достижимо с небольшим числом активных параметров. NVIDIA пошла дальше — применила структурное сжатие поверх MoE, получив «дважды эффективную» модель. Конкуренты — OpenAI, Anthropic, Google — пока не раскрывают аналогичных техник публично в таком детальном виде.
Аналитика
Удвоение серверного throughput — это в первую очередь экономика. Если раньше для обслуживания тысячи одновременных запросов требовалось 4 узла B200, теперь достаточно двух. Аренда GPU в облаке стоит реальных денег; вдвое меньше железа — это сотни тысяч долларов экономии в год для компании с высокой нагрузкой.
Числа с 1M-токенным контекстом особенно показательны: на одном H100 одновременных запросов с таким контекстом стало 8 вместо 1. Это прямой сигнал для agentic-сценариев, где каждый агент несёт в контексте большой history и множество tool-результатов. Раньше такие нагрузки требовали дорогой горизонтальной масштабируемости; теперь они становятся реальными на скромной инфраструктуре.
Тренд шире: эффективность inference перестала быть нишевой темой. Три года назад говорили про качество моделей, два года назад — про количество параметров, сейчас — про cost per token и tokens per second. Puzzle — технически изящная точка в этой эволюции: вместо того чтобы тренировать меньшую модель с нуля, NVIDIA берёт уже обученную сильную модель и хирургически уплотняет знания. Накопленная интеллектуальная стоимость сохраняется в меньшем объёме.
Кейсы применения в бизнесе
B2B SaaS стартап с AI-функциями — например, автоматизация документооборота или анализ договоров. На этапе роста команда арендует GPU и беспокоится о стоимости inference. Замена базовой модели на Puzzle-вариант при той же железной конфигурации удваивает пропускную способность либо позволяет сократить расходы на GPU вдвое. В масштабе $10K/мес на инфраструктуру это $5K экономии без потери производительности.
Корпорация с legacy-инфраструктурой, которая хочет запустить внутренний LLM без облака по соображениям безопасности. Раньше для комфортного on-premise деплоя с длинными контекстами нужно было несколько серверных стоек с H100. Более компактная и быстрая Puzzle-модель снижает минимальный порог входа: один узел H100 теперь держит 8 параллельных длинных разговоров вместо одного. Это аргумент для CTO при переговорах с советом директоров.
Локальная компания в КР или Центральной Азии, строящая AI-продукт: доступ к GPU-кластерам ограничен, аренда за рубежом стоит в долларах. Сжатые модели — прямой ответ на эту проблему: меньше GPU нужно арендовать, меньше валютных расходов. Для SaaS-стартапа на рынке с $2–10K MRR это может быть разницей между «работает» и «не можем себе позволить».
Кейсы в личной жизни
Разработчик, интересующийся self-hosted LLM. До сих пор запуск 70B+ модели требовал нескольких видеокарт или арендованного облака. Более эффективные модели типа Puzzle сдвигают порог доступности вниз. Если есть доступ к H100 через корпоративный аккаунт, учебное заведение или облачный spot-инстанс — один GPU теперь справляется с нагрузкой, которая раньше требовала двух.
Контент-мейкер или автор, работающий с длинными проектами — книга, сериал сценариев, объёмный курс. Поддержка длинного контекста при высоком throughput — это практически «бесконечная память» в рамках одного разговора. Можно загрузить весь предыдущий материал и продолжить работу без потери нити, не ожидая ответа по несколько минут.
Фрилансер или студент, работающий с API. Если провайдеры начнут предлагать доступ к Puzzle-модели по сниженным ценам (что логично при росте throughput на их стороне), стоимость сложных запросов снизится. Бюджет на AI-инструменты можно будет перераспределить: больше запросов, более длинные контексты или просто меньше трат.
Как применить сегодня
- Найди официальную страницу Nemotron-Labs-3-Puzzle-75B-A9B на ресурсах NVIDIA и платформах распространения open-weight моделей — проверь условия лицензии и доступность весов.
- Если деплоишь LLM на своих GPU: сравни inference-бенчмарки Puzzle против текущей модели на одинаковом железе. Конкретная экономия зависит от стека — vLLM, TensorRT-LLM или TGI.
- Посчитай текущую стоимость inference: tokens/month × cost per 1K tokens. Удвоение throughput при self-hosted деплое примерно равно вдвое большему объёму токенов за те же деньги.
- Для agentic-сценариев с длинным контекстом: тестируй именно на задачах с 100K+ токенами — здесь рост с 1 до 8 параллельных запросов на H100 ощущается сильнее всего.
- Следи за тем, когда облачные провайдеры добавят эту модель в каталоги — это сигнал для пересмотра текущих договорённостей по inference.