9 июля 2026 года на arXiv вышел Long-Horizon-Terminal-Bench — новый стандарт для оценки AI-агентов в реальных терминальных условиях. 46 задач в 9 категориях: воспроизведение научных экспериментов, разработка ПО, мультимодальный анализ, интерактивные игры, научные вычисления и другие. Каждая задача разбита на fine-grained подзадачи с промежуточной оценкой — не только финальный результат, но и прогресс на каждом шаге. 15 frontier-моделей прошли испытание; среднее потребление токенов — 9,9M на задачу, среднее время выполнения — 85,3 минуты при 231 эпизоде. Лучший результат среди всех участников: 15,2% pass@1 при частичном зачёте (порог 0,95) и 10,9% при полном.
Средний pass rate по 15 моделям — 4,3% на частичный зачёт и 1,7% на полный. Даже сильнейшая модель осилила лишь каждую десятую задачу при идеальном выполнении.
Контекст
Последние два года агентные AI-системы продвигались быстро — но почти все публичные демо строились вокруг коротких, хорошо специфицированных задач: написать функцию, исправить баг, ответить на тикет. Существующие терминальные бенчмарки в большинстве своём укладываются в несколько минут и оценивают только финальный бинарный результат: сработало или нет. Это sparse reward — агент не получает сигнала о том, насколько далеко продвинулся, и оценка не отражает реальную способность к сложной работе.
LHT-Bench меняет подход. Задачи требуют сотен эпизодов и от нескольких минут до часов работы. Ключевое нововведение — dense reward: декомпозиция на подзадачи с промежуточной оценкой и частичным зачётом. Это позволяет понять не только «дошёл ли агент до цели», но и «на каком этапе он сломался». Авторы использовали Terminal-Bench-style setup с эталонными решениями и симуляционными движками — то есть оценка воспроизводима и не зависит от субъективного суждения.
Бенчмарк появился в момент, когда рынок активно продаёт «полностью автономных агентов» для корпоративных задач. LHT-Bench — это попытка замерить реальную планку: не то, что агент может сделать в демо, а то, с чем он справляется на протяжённых, открытых рабочих процессах с реальной сложностью.
Аналитика
Три корневые проблемы, которые вскрывает бенчмарк. Первая — long-context management: при 231 эпизоде агент работает с огромным накопленным контекстом, теряет нить задачи и начинает повторять уже совершённые ошибки. Вторая — итеративная отладка: реальные задачи требуют цикла «попробовал → получил ошибку → понял причину → исправил», причём ошибки могут быть вложенными и нелинейными. Большинство моделей ломаются именно здесь. Третья — долгосрочное планирование: задача, которая в начале казалась понятной, через 50 эпизодов превращается в запутанный граф зависимостей, который агент не удерживает.
Масштаб ресурсов впечатляет отдельно. 9,9M токенов на одну задачу — это не прототип, это серьёзная вычислительная нагрузка. При таких затратах получить 4,3% среднего pass rate означает одно: для большинства длинных терминальных задач агенты пока нерентабельны без существенного улучшения архитектуры или методологии запуска.
Важен и методологический вклад. Dense reward как подход — не просто академическое упражнение. Он описывает, как строить оценку в production-системах: не только «задача выполнена/нет», но и «какой процент пути пройден». Это напрямую применимо к внутренним метрикам команд, которые уже деплоят агентов.
Кейсы применения в бизнесе
B2B SaaS стартап. Если строите агента для автоматизации QA, code review или onboarding — декомпозируйте задачи на подзадачи длиной не более 20–30 минут выполнения. Не рассчитывайте, что агент автономно закроет сложный баг за 3 часа без человека в петле. Паттерн LHT-Bench — dense reward — можно применить к собственным пайплайнам: добавьте промежуточные чекпоинты, чтобы агент получал обратную связь на каждом шаге, а не только в конце. Это снизит вероятность «потери нити» на длинных сессиях.
Корпорация с legacy-инфраструктурой. Задачи по воспроизведению экспериментов и scientific computing в LHT-Bench — это именно то, что корпоративные команды хотят автоматизировать: запустить пайплайн, проверить гипотезу, сгенерировать отчёт. Результаты бенчмарка говорят: для многочасовых автономных сессий пока нужен human-in-the-loop. Разумная тактика — разбить процесс на короткие агентные спринты с точкой ревью аналитика между ними.
SMB и локальный бизнес в КР/СНГ. Маркетинговые обещания вокруг «полностью автономных агентов» преувеличены — цифры LHT-Bench это подтверждают. Для небольшого бизнеса правильная стратегия: использовать агентов для чётко ограниченных операций (обработка входящих, классификация, генерация черновиков), не пытаясь полностью убрать человека из сложных рабочих процессов. Это снизит разочарование от нереалистичных ожиданий и повысит реальную отдачу от инвестиций.
Кейсы в личной жизни
Разработчик. Если используете Claude, Cursor или другой AI-инструмент для длинных рефакторингов — разбивайте задачу на маленькие, чётко ограниченные подзадачи. Агент, которому поставлена задача «переписать весь модуль аутентификации», с высокой вероятностью потеряет контекст на середине. Задача «перепиши только функцию login_user с учётом вот этих трёх требований» — работает надёжнее. Это ручная реализация принципа dense reward из LHT-Bench.
Исследователь или студент. Задачи на воспроизведение экспериментов — один из сложнейших классов в бенчмарке. Если просите LLM воспроизвести чужой эксперимент, задавайте промежуточные контрольные точки: «сначала только установи зависимости и проверь импорты» → «теперь запусти только первый шаг пайплайна» → и так далее. Каждый шаг — отдельный диалог с проверкой результата.
Контент-мейкер или фрилансер. Длинные agentic задачи — написать лонгрид, собрать исследование, спланировать контент-план на месяц — давайте модели с явными промежуточными шагами и проверяйте каждый. Не ожидайте готового материала за один prompting-раунд: LHT-Bench показывает, что даже топовые модели ломаются при длинных горизонтах без промежуточной обратной связи.
Как применить сегодня
- Декомпозируй задачи вручную: любую длинную задачу для агента разбей на подзадачи с явными критериями успеха — воспроизведи логику dense reward из LHT-Bench без кода.
- Тестируй на длинных сессиях до деплоя: перед запуском агента в production прогони его на задаче, требующей 10+ итераций. Это реальный индикатор надёжности, а не демо-пример на 2 минуты.
- Закладывай human-in-the-loop для задач дольше 30 минут: агент не справится с многочасовым итеративным дебаггингом автономно — это задокументированный факт, а не осторожность.
- Выбирай модель по реальным бенчмаркам: когда авторы опубликуют полную таблицу результатов 15 моделей, используй её при выборе для production — это production-ориентированный рейтинг, а не Elo на чате.
- Следи за развитием LHT-Bench: авторы анонсировали публикацию датасета и кода. Открытый бенчмарк — живой инструмент мониторинга прогресса frontier-моделей на реальных задачах.