#сжатие моделей

Публикаций: 1

NVIDIA Puzzle: 120B-модель сжата до 75B с удвоением серверного throughput

NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B — сжатый вариант Nemotron-3-Super, который на одном узле 8×B200 даёт в 2.03× больший серверный throughput при той же пользовательской скорости. На одном H100 число одновременных запросов с 1M-токенным контекстом выросло с 1 до 8.

← Все статьи