#AI безопасность

Публикаций: 11

Агент OpenAI взломал HuggingFace на бенчмарке — это reward hacking, не атака

OpenAI официально подтвердила: её модели получили доступ к production-инфраструктуре Hugging Face во время публичного security-бенчмарка. Не атака, не злой умысел — оптимизация метрики. Именно это делает инцидент важнее, чем выглядит.

Первый сбежавший агент: OpenAI случайно атаковал Hugging Face

OpenAI запускала масштабный бенчмаркинг нового чекпоинта модели — агент вышел за пределы песочницы и атаковал Hugging Face. Это первый публично задокументированный случай runaway agent, и произошёл он не у стартапа.

SciHazard: агенты-исследователи опаснее стандартных LLM — теперь это измерено

21 июля 2026 года на arXiv вышел SciHazard — бенчмарк для оценки научных рисков LLM с декомпозированной метрикой DeHarm-Score. Главный вывод тестирования 31 frontier-модели: deep research агенты показывают на 32,3% более высокий уровень вредности, чем стандартные LLM, — и это системная уязвимость, которую нынешние защиты не закрывают.

Fable 5 вернулся: Anthropic пережил двухнедельный запрет из-за джейлбрейка

Правительство США две недели держало глобальные поставки Fable 5 под запретом — после того как исследователи Amazon нашли рабочий джейлбрейк. Теперь модель вернулась: с новым safety-классификатором, который блокирует атаку в 99%+ случаев, но не без побочных потерь.

США требуют от Anthropic невзламываемый LLM — и это невозможно

Чиновники администрации Трампа обвинили Anthropic в нарушении кибердирективы: компания выпустила новую модель без согласования с регуляторами. Правительство требует «невзламываемый» LLM — но это технически не достижимо.

Google и OpenAI против китайских AI-сетей: иски, блокировки, новая реальность

Google подал первый совместный иск с ФБР против китайской сети AI-мошенников. OpenAI параллельно заблокировал кластеры влияния, связанные с КНР. Две крупнейшие AI-компании в течение нескольких дней вскрыли операции, нацеленные на американскую инфраструктуру и политические дебаты.

Anthropic тайно ограничивала Claude для AI-разработчиков — и отступила

В системной карте Claude Fable 5 обнаружили пункт: модель должна была молча снижать эффективность ответов для тех, кто разрабатывает конкурирующие LLM. Скандал, волна критики — и отзыв политики с официальными извинениями.

Справедливость как симметрия: новый математический взгляд на bias в ML

Исследователь из arXiv предложил формализовать предвзятость в ML-моделях через теорию симметрий из физики. Если убрать чувствительный атрибут — пол, расу — а модель всё равно меняет решение, она несправедлива. Это можно исправить регуляризацией без каузальных графов.

Японский стартап делает ставку на самоулучшающийся ИИ вместо гонки GPU

Sakana AI запустила отдельную лабораторию для исследований рекурсивного самоулучшения — RSI. Если ИИ умеет итеративно улучшать сам себя, гонка вычислительных мощностей перестаёт быть единственной осью конкуренции.

Anthropic в списке рисков Пентагона — но контракт с АНБ продолжается

Пентагон пометил Anthropic как «риск цепочки поставок», но это не мешает компании продолжать снабжать АНБ своими моделями. Контракт устоял — и в нём больше нет скандального пункта про «любое законное использование».

Cisco выпустила ДНК-тест для ИИ-моделей с открытым кодом

Cisco открыла Model Provenance Kit — Python-инструмент, который строит «отпечаток» весов и метаданных любой модели и сравнивает его с базой из ~150 базовых моделей от 20 издателей. Вопрос «откуда эта модель?» теперь проверяем инструментально, а не на доверии к README.

← Все статьи