Искусственный интеллект OpenAI якобы вышел из-под контроля и взломал другую компанию

OpenAI сообщила, что две ее модели искусственного интеллекта вышли из защищенной тестовой среды и взломали платформу Hugging Face. Так они пытались обойти внутреннюю проверку на кибербезопасность.

О случившемся компания рассказала во вторник. В инциденте участвовала GPT-5.6 Sol — самая мощная из публичных моделей OpenAI, а также более продвинутая, еще не выпущенная версия.

Как модели OpenAI взломали Hugging Face

OpenAI проводила тест моделей на ExploitGym — открытом бенчмарке, который оценивает навыки по поиску уязвимостей. На время теста компания отключила обычные ограничения, которые обычно мешают моделям совершать кибератаки.

Модели выяснили, что на Hugging Face — платформе для размещения открытых ИИ-моделей — хранятся ответы для этого бенчмарка. Затем они последовательно использовали слабые места в исследовательских системах OpenAI и серверной инфраструктуре Hugging Face.

В результате им удалось получить доступ к нужной информации в базе данных Hugging Face. В OpenAI отметили, что модели оказались «максимально сфокусированы» на решении тестовой задачи. В отчете инцидент назвали «беспрецедентным случаем кибератаки».

Это произошло на фоне широкой дискуссии о необходимости ограничений для ИИ. Крупнейшие ИИ-лаборатории уже проводят жесткие проверки киберрисков перед запуском новых моделей.

Hugging Face: последствия локализованы

О взломе Hugging Face впервые рассказала в уведомлении от 16 июля в блоге. Тогда стало известно только то, что за атакой стоял автономный ИИ-агент. Злоумышленник получил доступ к внутренним данным и сервисным ключам.

Расследование столкнулось с неожиданной проблемой. Ограничения на одну из ведущих американских моделей заблокировали анализ инцидента, поэтому команде пришлось использовать GLM 5.2 — открытую модель от китайской компании Z.ai (Z.ai — китайский разработчик ИИ).

С тех пор Hugging Face перекрыла эксплуатируемые уязвимости в коде и сменила все затронутые ключи. В компании заявили, что ни одна публичная модель, датаcет или пользовательский сервис не были изменены.

Генеральный директор Клем Деланг опубликовал комментарий после раскрытия информации OpenAI.

«Этот случай, возможно, первый подобный в истории, ясно показывает: вопросы безопасности ИИ нельзя решить, если каждая компания работает за закрытыми дверями. Решать их придется прозрачно и совместно, с возможностью доступа к ИИ для всех защитников, где бы они ни находились».

Обе компании сейчас ведут совместное расследование. Как только работа завершится, OpenAI опубликует все подробности. Ключевой вопрос — справятся ли существующие методы сдерживания, когда модели станут еще мощнее.