SWE-Bench сломан на 30%: OpenAI отзывает доверие к главному тесту кодинга
OpenAI проверил SWE-Bench Pro — де-факто стандарт для измерения навыков AI в программировании — и нашёл серьёзный изъян: около 30% задач оказались некорректными. Компания публично отозвала своё прежнее одобрение бенчмарка, поставив под сомнение достоверность многочисленных рейтингов и сравнений моделей.