GPT, Gemini и другие ведущие LLM регулярно указывают неверные места в документах, когда от них требуют обоснования. Ответ может быть точным — но «доказательство» взято из другого абзаца или не имеет отношения к выводу. Исследователи Пекинского университета назвали это явление attribution hallucination и разработали первый специализированный бенчмарк CiteVQA для его систематического измерения.
Контекст
Галлюцинации в AI — не новость. Но большинство известных тестов проверяют фактическую точность: правильно ли модель назвала дату, имя, цифру. Attribution hallucination — другое. Модель отвечает правильно, но ссылается на источник, который этого ответа не поддерживает. В анализе документов это критически важная разница.
Группа из Пекинского университета создала бенчмарк CiteVQA — первый инструмент, систематически тестирующий именно атрибуцию: насколько точно модель связывает свой вывод с конкретным фрагментом источника. Под прицелом оказались ведущие модели, и обе демонстрируют устойчивый паттерн: атрибуция ломается даже там, где сам ответ верен.
Под ударом в первую очередь регулируемые отрасли. В юриспруденции, медицине и compliance «правильный ответ» без верной ссылки на норму, клинические данные или внутренний регламент — не работает. RAG-системы, ставшие стандартом корпоративного document Q&A, снижают выдумки о фактах, но, как выясняется, не гарантируют правильную атрибуцию: модель «знает ответ» и подставляет любой подходящий по смыслу фрагмент.
Аналитика
Attribution hallucination ставит неудобный вопрос перед всей индустрией enterprise AI: насколько можно доверять моделям в документооборот-интенсивных задачах? Юрист, который доверяет AI подобрать ссылки на статьи закона, или врач, проверяющий протокол лечения через AI-ассистента, рискует получить правильное заключение с ложным обоснованием. На аудите или в суде — это провал.
Феномен объясняет часть загадок с enterprise-внедрениями: компании разворачивают RAG, получают «точные» ответы на тестах, а в проде compliance-команды не могут быстро верифицировать источники. Причина теперь понятна — модель оптимизирует качество ответа, а не точность ссылки. Это разные задачи, и смешивать их при оценке системы нельзя.
CiteVQA — сигнал более широкого тренда: индустрия начинает требовать отдельных бенчмарков для отдельных компонентов надёжности. Factual accuracy, attribution accuracy, instruction following, consistency — разные аспекты. Модель, умная по одному критерию, может проваливаться по другому. Ждать, что следующее поколение автоматически закроет этот gap, — разумно, но проверять нужно уже сейчас.
Кейсы применения в бизнесе
B2B-SaaS стартап с document analysis. Если продукт строит AI-ответы поверх загруженных пользователем документов — контрактов, отчётов, техдоков — attribution hallucination прямой юридический риск. Решение: добавить в интерфейс явный highlight source fragments рядом с ответом, дать пользователю возможность кликнуть на источник. Это и product feature, и снижение ответственности одновременно.
Корпорация с legacy-документооборотом. Внутренние порталы знаний, где сотрудники спрашивают AI про политику компании или нормативы. Attribution error здесь означает, что сотрудник действует на основе «верного» ответа, но ссылающегося на устаревшую версию регламента. Выход: версионировать источники и требовать от модели указывать не просто фрагмент, но версию и дату документа.
SMB и локальный бизнес в КР/СНГ. Небольшие юридические бюро или бухгалтерии, использующие AI для анализа договоров и налоговых норм, — самый уязвимый сегмент: нет ресурсов на дорогую верификацию, нет технической команды. Практичный выход: использовать AI только для черновой разметки («найди все упоминания штрафных санкций»), а итоговую ссылку всегда проверять вручную.
Кейсы в личной жизни
Разработчик. При вопросах о поведении функций со ссылкой на документацию — attribution hallucination реальна: модель правильно описывает поведение, но указывает не тот раздел docs. Лайфхак: просить процитировать конкретный абзац дословно, а не пересказывать. Дословная цитата проверяется за секунды.
Студент или исследователь. При работе с академическими текстами через AI — загрузил PDF, спросил про выводы — всегда открывать оригинал и проверять, что указанный passage действительно содержит то, на что ссылается модель. Особенно критично в курсовых и дипломных работах, где научный руководитель проверит источники.
Контент-мейкер. Если используешь AI для проверки фактов в материале — «верный факт» ещё не значит «проверенный источник». Перед публикацией для каждого конкретного утверждения находи первичный источник самостоятельно, не доверяя только ссылке от модели.
Как применить сегодня
- Просите модель дословно цитировать фрагмент, а не пересказывать — так быстрее поймать несоответствие.
- Добавьте в промпт:
«Процитируй точный абзац из документа, который обосновывает ответ. Если такого абзаца нет — скажи об этом» - При построении RAG-пайплайна добавляйте retrieval score threshold и логируйте, какой chunk был использован — это аудит-трейл для атрибуции.
- Для критичных контекстов (право, медицина, финансы) держите human-in-the-loop на шаге верификации источников, даже если генерация автоматизирована.
- Следите за развитием бенчмарка CiteVQA: когда модели начнут публиковать результаты по нему, это станет значимым критерием выбора для document-heavy задач.