Галлюцинация ИИ про ядерные компоненты на китайском судне чуть не привела к военному инцидентуAn AI hallucination about Chinese nuclear parts nearly triggered a US military incident

США едва не досмотрели китайское судно в море после того, как ИИ-система выдала галлюцинацию о наличии на борту ядерных компонентов, сообщает Ars Technica. Отчёт, сгенерированный моделью, оказался попросту выдуманным — но этого хватило, чтобы дело дошло до подготовки реального военного вмешательства.

Показательно здесь не то, что модель ошиблась — ошибки моделей давно никого не удивляют, — а то, насколько близко выдуманный отчёт подошёл к тому, чтобы превратиться в реальное действие с непредсказуемыми последствиями: досмотр иностранного судна в открытом море это не бюрократическая мелочь, а шаг, который в других обстоятельствах мог обернуться дипломатическим или военным кризисом.

При этом, как отмечает издание, использование ИИ в военных и разведывательных процессах в целом продолжает расти, а не сокращаться после подобных инцидентов. Это создаёт зазор между скоростью внедрения таких систем в чувствительные процессы принятия решений и скоростью выстраивания защиты от их ошибок — зазор, который в этот раз едва не закрылся не в мирную сторону.

Почему это важно

Случай с китайским судном показывает: галлюцинация ИИ-модели перестаёт быть абстрактным риском в тот момент, когда попадает в военный или разведывательный процесс принятия решений — а внедрение таких систем в подобные процессы, по данным издания, продолжает ускоряться.