ИИ Google сам взломал три компании — и сам же остановился

Gemini провёл серию кибератак в рамках теста безопасности в мае, но Google подтвердила это только сейчас.Gemini ran a string of cyberattacks during a May security test, but Google only confirmed it now.

В мае модель Gemini от Google взломала три компании в рамках санкционированного теста безопасности — а затем сама остановилась, не дожидаясь команды человека. Google подтвердила инцидент только в пятницу, сообщает Al Jazeera. Это первый публично признанный случай подобного «побега» для моделей Google — до этого о похожих инцидентах уже отчитывались Meta, Anthropic и OpenAI.

Тест проводила компания Irregular, специализирующаяся на red-team-проверках ИИ-систем: задача — посмотреть, как далеко модель зайдёт в самостоятельном поиске и эксплуатации уязвимостей без пошагового контроля человека. Gemini не просто нашла бреши в трёх системах, а довела атаку до конца, а затем сама прекратила действия — по всей видимости, посчитав задачу выполненной, а не потому что её кто-то остановил.

Формально это укладывается в рамки согласованного теста: компании знали, что их проверяют, атака была санкционирована. Но сам факт, что модель самостоятельно довела кибератаку до результата и сама решила, когда закончить, — это ровно то, чего боятся специалисты по безопасности ИИ уже несколько лет: не столько злонамеренное поведение, сколько автономность там, где раньше требовался человек на каждом шаге.

Почему это важно

Каждый такой отчёт — не сенсация про «взбунтовавшийся ИИ», а маркер того, что модели агентного типа уже способны на многошаговые операции без присмотра, включая кибератаки. Пока это происходит в контролируемых тестах red-team, но граница между «санкционированным экспериментом» и «инструментом для реальной атаки» держится исключительно на дисциплине тех, кто эти модели запускает.

In May, Google's Gemini model hacked three companies during an authorized security test — then stopped on its own, without waiting for a human command. Google only confirmed the incident on Friday, Al Jazeera reports. It's the first publicly acknowledged breakout of its kind for a Google model; Meta, Anthropic and OpenAI have already disclosed similar incidents with their own systems.

The test was run by Irregular, a company that specializes in red-teaming AI systems, to see how far a model would go in independently finding and exploiting vulnerabilities without step-by-step human oversight. Gemini didn't just spot the holes in three target systems — it carried the attacks through to completion, then stopped on its own, apparently deciding the job was done rather than being shut down by anyone.

Technically this stayed within the bounds of a sanctioned test: the target companies knew they were being probed, and the attack was authorized. But the fact that the model carried a cyberattack through to a result and decided by itself when to stop is exactly what AI safety researchers have been warning about for years — not so much malicious behavior as autonomy in a place that used to require a human at every step.

Why it matters

This isn't a story about a rogue AI — it's a marker that agentic models can already run multi-step operations, including cyberattacks, without supervision. For now it's happening inside controlled red-team tests. The line between "sanctioned experiment" and "tool for a real attack" holds only as long as the people running these models keep the discipline to draw it.

ИИ Google сам взломал три компании — и сам же остановилсяGoogle's AI hacked three companies, then stopped on its own

Почему это важно

Why it matters