OpenAI проверил SWE-Bench Pro — один из самых цитируемых бенчмарков для оценки AI-кодинга — и нашёл серьёзные проблемы. Примерно 30% задач в нём оказались некорректными: дефекты в эталонной логике, неверные ожидаемые результаты или другие изъяны, делающие объективную проверку невозможной. OpenAI публично отозвал своё прежнее одобрение бенчмарка.
Контекст
SWE-Bench — бенчмарк, построенный на реальных задачах из open-source GitHub-репозиториев. Идея простая: дать модели описание бага или фичи из настоящего issue, попросить написать патч и проверить, проходят ли тесты. Это один из немногих тестов, претендующих на практическую релевантность — не «угадай правильный ответ на вопрос», а «реши реальную инженерную задачу».
Именно поэтому бенчмарк быстро стал стандартом де-факто. Anthropic, OpenAI, Google, Mistral и десятки стартапов регулярно публикуют результаты на SWE-Bench в своих анонсах и маркетинговых материалах. SWE-Bench Pro — расширенная и усложнённая версия, созданная в том числе для снижения риска «зазубривания»: когда задачи из теста так или иначе просачиваются в обучающую выборку модели.
Сейчас OpenAI говорит прямо: мы проверили этот бенчмарк — и треть задач не работает так, как должна. При таком уровне дефектов цифры, которые компании публиковали как свои результаты, теряют смысл или как минимум требуют серьёзной переоценки.
Аналитика
Проблема шире одного бенчмарка. В индустрии давно известен эффект «бенчмарк-гонки»: когда метрика становится KPI, компании начинают оптимизировать именно под неё. Data contamination, cherry-picking версий, тонкая настройка под формат задач — всё это снижает информативность любой публичной таблицы лидеров. Если поверх этого ещё и 30% задач объективно сломаны — достоверность ранее публиковавшихся цифр вызывает серьёзные вопросы.
Для рынка это сигнал: «наша модель лидирует на SWE-Bench» перестаёт быть убедительным аргументом. Покупатели AI-инструментов будут всё настойчивее требовать внутренние оценки на своём коде, а не ссылки на публичные рейтинги. Это, пожалуй, хороший исход: индустрия сделает шаг к более честным, domain-специфичным эвалюациям.
Есть и более глубокий вопрос: у нас до сих пор нет надёжного способа измерить «умение AI писать код» в условиях, реально приближённых к боевым. SWE-Bench был лучшим из доступных вариантов — и он оказался дырявым. Следующее поколение бенчмарков, вероятно, будет строиться на закрытых корпусах, adversarial-аудите и живом исполнении в изолированных средах, где результаты нельзя подделать постфактум.
Кейсы применения в бизнесе
B2B-SaaS стартап: Если вы выбираете AI-ассистент для команды разработчиков — не опирайтесь на SWE-Bench-цифры из пресс-релизов. Сделайте мини-эвал: возьмите 20–30 реальных задач из вашего backlog, прогоните через кандидатов, оцените качество кода вручную. Один час такого теста даст больше, чем любая таблица лидеров.
Корпорация с legacy-системами: Большинство публичных бенчмарков тестируют модели на типовом open-source коде — Python, JavaScript, популярные библиотеки. Ваш legacy на нестандартных фреймворках, внутренних DSL или специфических стеках не покрывается никаким публичным бенчмарком вообще. Здесь нужен пилот на реальной кодовой базе с ручным code review.
SMB и локальный бизнес в КР/СНГ: Для небольших команд, работающих с AI-ассистентами, публичные бенчмарки не нужны — просто фиксируйте, сколько времени экономит инструмент на типовых задачах вашей команды. Это единственная метрика, которая имеет значение для вашего P&L.
Кейсы в личной жизни
Разработчик: Составьте личный мини-тест из 10 задач, которые вы решаете регулярно — дебаг, рефакторинг, написание тестов. Прогоняйте через него новые модели перед тем как переключиться на них. Займёт час, даст персонализированный ориентир надёжнее любого бенчмарка.
Контент-мейкер и автор: История «30% бенчмарка сломано» — отличный материал для разбора. Аудитория, следящая за AI, хочет понимать, насколько можно верить заявлениям лабораторий. Простая аналогия для видео или поста: представьте, что треть задач в стандартизированном экзамене содержит ошибки — что это говорит об оценках участников?
Студент и начинающий разработчик: Не ориентируйтесь на маркетинговые цифры при выборе инструмента для учёбы. Попробуйте несколько AI-ассистентов на задачах из ваших заданий и решите сами — какой объясняет понятнее и реже ошибается именно на вашем материале.
Как применить сегодня
- Перестаньте воспринимать SWE-Bench (и любой другой одиночный бенчмарк) как достаточный критерий выбора AI-инструмента для кодирования.
- Сделайте внутренний эвал на задачах из вашего реального проекта: 20–30 задач достаточно для значимого сигнала — это один рабочий день.
- Когда AI-вендор ссылается на бенчмарк в презентации, задайте вопрос: «Это независимый аудит или самоотчёт? Какую версию бенчмарка использовали?»
- Следите за более надёжными проектами оценки — например, LiveCodeBench или SWE-Bench Verified, которые стараются решить проблему contamination и качества задач.
- Ваш собственный опыт важнее любой таблицы лидеров. Фиксируйте, на каких классах задач модель регулярно даёт плохой результат — это ваш персональный бенчмарк.