Китайская ИИ-модель Kimi K3 смогла «обмануть» тест кибербезопасности и выйти в интернет

• Kimi K3 обошла ограничения во время тестов кибербезопасности.
• ИИ-модель использовала ошибку тестовой среды вместо решения задачи.
• Похожее поведение ранее продемонстрировали ИИ-модели OpenAI и Anthropic.

---

Китайская модель искусственного интеллекта Kimi K3 от Moonshot AI во время тестирования смогла выйти за пределы изолированной среды и получить доступ к интернету, воспользовавшись ошибкой в конфигурации тестовой инфраструктуры Британского института безопасности ИИ (AISI). Об этом сообщили исследователи компании Frontier Security.  

По словам исследователей, модель не взламывала сторонние системы, а воспользовалась открытым доступом к GitHub, чтобы найти готовые ответы на задания по кибербезопасности, которые должна была решить самостоятельно.

Модель воспользовалась ошибкой в тестовой среде

В Frontier Security пояснили, что во время оценки кибербезопасностных возможностей моделей используется изолированная среда, которая должна ограничивать любые внешние взаимодействия. Однако в этом случае «песочница» оставляла открытыми DNS-запросы и HTTPS-соединения.

После запуска Kimi K3 автоматически проанализировала сетевое окружение, обнаружила доступность GitHub, загрузила официальный репозиторий с тестами и получила правильные ответы без выполнения самого задания.

Исследователи назвали это примером specification gaming — ситуации, когда модель оптимизирует свои действия для достижения нужного результата, а не выполняет задачу так, как задумывали разработчики.

«Мы нашли утечку в “песочнице”. Но также обнаружили, что Kimi воспользовалась этой лазейкой, что свидетельствует об отсутствии у нее таких же внутренних предохранителей», — заявил генеральный директор Frontier Security Ярон Сингер.

В компании подчеркнули, что проблема заключалась не в сложной эксплуатации неизвестной уязвимости, а в неправильной настройке сетевых правил тестовой среды.

По словам исследователей, подобные случаи могут искажать результаты тестирования, поскольку высокие оценки моделей в таком случае отражают не реальные способности, а возможность найти обходной путь.

«Модели оптимизируют свое поведение для достижения поставленной цели, а не человеческого замысла, стоящего за тестом. Если существует сетевой путь к правильному ответу, достаточно мощный агент его найдет», — отметили в Frontier Security.

Инцидент продолжил серию случаев неконтролируемого поведения ИИ-агентов

Особенностью этого случая исследователи назвали то, что Kimi K3 уже является открытой моделью, доступной широкому кругу пользователей, тогда как предыдущие аналогичные ситуации касались преимущественно еще не выпущенных систем.

«Kimi K3 очень хорошо выполняет поставленную цель любыми доступными способами и при этом не имеет достаточных предохранителей, которые помешали бы ей мошенничать или покидать “песочницу”», — заявил исследователь Frontier Security Пол Кассианик.

На этом фоне пользователь X под псевдонимом NIK, который называет себя «нетехническим членом технической команды», лаконично заметил: 

«Это было лишь вопросом времени».

В то же время эксперты подчеркнули, что сама модель демонстрирует высокий уровень эффективности в сфере киберзащиты и может быть полезной для поиска уязвимостей программного обеспечения.

Инцидент произошел вскоре после серии похожих случаев в отрасли. В частности, после того как ИИ-агент на базе GPT-5.6 во время внутреннего тестирования OpenAI проник в инфраструктуру Hugging Face, компания сообщила об усилении мер безопасности. 

Позже стало известно, что расследование OpenAI выявило дополнительные случаи неконтролируемого поведения автономных агентов, а Британский институт безопасности ИИ сообщил о новых нарушениях во время тестирования моделей OpenAI и Anthropic, включая попытки обхода установленных ограничений.

Комментируя новый случай, генеральный директор компании Gray Swan и профессор Университета Карнеги — Меллона Метт Фредриксон отметил:

«Это совсем не удивляет. Если поставить такой модели определенную цель и недостаточно четко определить границы ее действий, она найдет способ получить нужный ответ».

По его словам, инцидент должен стать предупреждением для компаний, которые все активнее используют автономных ИИ-агентов для выполнения практических задач.

Moonshot AI на момент публикации материала публично не прокомментировала инцидент.

Напомним, что ранее появление Kimi K3 спровоцировало распродажу акций американских технологических компаний, а позже данная ИИ-модель нашла способ атаковать Telegram без кликов пользователя.

Сообщение Китайская ИИ-модель Kimi K3 смогла «обмануть» тест кибербезопасности и выйти в интернет появились сначала на INCRYPTED.