Исследователи опубликовали Long-Horizon-Terminal-Bench (LHT-Bench) — первый бенчмарк, тестирующий AI-агентов на задачах реальной длительности: от нескольких минут до нескольких часов непрерывной работы в терминале. Из 15 фронтирных моделей лучшая набрала 15,2% pass@1 при частичном пороге и 10,9% при идеальном выполнении. Среднее по всем моделям — 4,3% и 1,7% соответственно. Это не баг в промпте — это системный потолок.
Контекст
До LHT-Bench агентские бенчмарки жили в режиме «один запрос — один ответ»: задачи решались за минуты, оценивался только финальный результат. SWE-Bench, GAIA, WebArena — все они проверяют способность агента сделать что-то короткое и конкретное. Реальные рабочие сценарии устроены иначе. Воспроизвести научный эксперимент, дописать сложный модуль, провести многоэтапный анализ данных — это не вопросы на 3 минуты.
LHT-Bench включает 46 задач в 9 категориях: воспроизведение экспериментов, software engineering, мультимодальный анализ, интерактивные игры, научные вычисления и другие. Ключевое архитектурное решение — каждая задача разбита на верифицируемые подзадачи с промежуточным зачётом. Dense rewards вместо sparse: агент получает баллы не только за финал, но и за то, как далеко он продвинулся. Это честнее отражает реальность.
13 авторов оценивали 15 фронтирных моделей. Средний расход на одну задачу — 9,9 миллиона токенов, около 231 эпизода, примерно 85,3 минуты реального выполнения. Для сравнения: большинство существующих агентных бенчмарков укладываются в минуты. LHT-Bench — это другой уровень нагрузки.
Аналитика
Результаты сносят иллюзии. Лучшая модель — 15,2% при частичном пороге 0,95. При идеальном (1,0) — 10,9%. То есть даже сильнейший агент не справляется с 85% задач, требующих реальной многочасовой работы. Среднее по 15 моделям: 4,3% и 1,7%. Это не «почти решили» — это провал.
Проблема не в интеллекте. Агенты умеют рассуждать, планировать, писать код. Проблема в управлении состоянием на длинных горизонтах: сохранять контекст на протяжении сотен шагов, итеративно отлаживать ошибки, не деградировать на четвёртом часу работы. LHT-Bench фиксирует три системных слабых места: потеря контекста при длинных runs, неспособность к итеративной отладке (агент повторяет одну ошибку снова и снова), деградация качества решений при многочасовых сеансах.
Для рынка это чёткий сигнал. Agentic automation, которую сейчас активно продают как «автопилот для разработки», работает на задачах длиной в минуты. Как только горизонт уходит в часы — всё рассыпается. Именно это объясняет, почему большинство enterprise-внедрений агентов застревают на пилоте и не уходят в продакшн. LHT-Bench впервые даёт этому явлению измеримые координаты.
Кейсы применения в бизнесе
B2B-SaaS стартап. Если строишь AI-агента для автоматизации внутренних процессов, не доверяй ему длинные пайплайны без контрольных точек. Добавь checkpoint-логику: задача делится на подзадачи, каждая верифицируется до перехода к следующей. Это именно та архитектура, которую валидирует LHT-Bench — dense rewards вместо бинарного success/fail. Эффект: кратно меньше незамеченных ошибок в середине пайплайна и предсказуемый результат.
Корпорация с legacy. Автоматизируете code review или аудит документации через AI? Разбивайте на микрозадачи с промежуточной валидацией, а не отдавайте весь объём на один непрерывный run. Короткие атомарные шаги с human-in-the-loop на ключевых развилках — это не слабость архитектуры, это реализм, подтверждённый данными LHT-Bench.
SMB и локальный бизнес в КР/СНГ. При заказе AI-решения у подрядчика задай конкретные вопросы: как система ведёт себя при сбое в середине процесса? Есть ли промежуточные сохранения прогресса? Что происходит после 50+ автоматических шагов? Эти вопросы теперь стали стандартом технической оценки — LHT-Bench их формализовал как измеримые метрики.
Кейсы в личной жизни
Разработчик. Когда просишь Claude или GPT написать сложную фичу — не давай всё сразу одним длинным промптом. Разбей: спроектировать структуру → написать один модуль → протестировать → перейти к следующему. Это имитирует dense rewards — и работает принципиально лучше, чем один многочасовой run. Бенчмарк это подтверждает числами.
Контент-мейкер. Если используешь агента для длинного пайплайна (исследование → структура → черновик → редактура), не рассчитывай на один непрерывный сеанс. Несколько коротких сессий с ручной проверкой между ними дают стабильно более высокое качество. Деградация на длинных горизонтах — системная проблема, а не случайность.
Студент и исследователь. LHT-Bench включает задачи на воспроизведение научных экспериментов. Работаешь с AI-ассистентом для учёбы или исследований — структурируй запросы как последовательность верифицируемых шагов, а не как одну большую просьбу «разберись во всём». Получишь более точный и проверяемый результат, который можно защитить перед научным руководителем.
Как применить сегодня
- Прочитай полный PDF LHT-Bench на arXiv (arXiv:2607.08964) — раздел про failure modes это прикладной гайд по тому, где агенты ломаются и как это предотвратить в своих проектах
- При построении AI-агентов добавляй промежуточные checkpoint'ы и частичный зачёт прогресса — не бинарный success/fail, а процент выполненных подзадач
- Для задач длиннее 30 шагов всегда планируй human-in-the-loop на критических развилках — это архитектурный стандарт, а не временный костыль
- Тестируй агентов не только на финальном результате: измеряй, как далеко агент доходит при неудаче — это честнее отражает реальные возможности системы
- При оценке AI-подрядчиков используй dense reward подход: требуй не «работает / не работает», а процент выполненных подзадач на реальном рабочем сценарии