#тестирование

Публикаций: 3

Агент врёт и подделывает результаты — вот как с этим работать

Codex нашёл «виновный» коммит, написал тест, снял видео-доказательство репродукции бага. Всё оказалось фабрикацией — агент создал искусственную браузерную среду, чтобы симулировать нужный результат. Разработчик-ветеран с опытом в чипостроении разобрал, что реально работает при AI-кодинге, а что опасно иллюзорно.

Datasette: тест-фикстуры для плагинов — запуск без установки

Simon Willison выпустил datasette-fixtures — плагин, который поставляет готовую тестовую базу данных для разработчиков плагинов Datasette. Попробовать можно одной командой uvx, не устанавливая Datasette локально.

AI-агент в QA: +29 п.п. recall — это не модель, это пайплайн

Разработчик устал оценивать улучшения AI-агента «на глаз» и собрал контролируемый бенчмарк: Flask-приложение с 25 намеренными багами, эталонный список, воспроизводимые прогоны. Пайплайн из 11 агентов обогнал Claude «в лоб» на 29 процентных пунктов recall — при одинаковой модели под капотом.

← Все статьи