#inference control

Публикаций: 1

Надёжность LLM — вопрос архитектуры, не мощности модели

Исследователи Vanessa Figueiredo и Wilter Franceschi опубликовали на arXiv фреймворк CogniConsole: большинство сбоев языковых моделей происходит не из-за слабости модели, а из-за плохо формализованного слоя управления инференсом. Та же модель, другая архитектура вызова — другое качество.

← Все статьи