Исследователи предупреждают, что агенты ИИ должны восприниматься как ненадёжные системы, иначе безопасность выйдет из строя

• Исследователи Google и Meta утверждают, что одна только устойчивость модели ИИ не может обеспечить безопасность агентных систем.
• Одиннадцать реальных атак показывают, что prompt injection обходит защиту на уровне модели каждый раз.
• Агентам требуется разделение данных инструкций, песочница с наименьшими привилегиями и управление информационными потоками.

Научная статья учёных из Google, Meta, UC San Diego и нескольких университетов заняла прямую позицию, ставящую под сомнение нынешний подход отра…

Read The Full Article Исследователи предупреждают, что агенты ИИ должны восприниматься как ненадёжные системы, иначе безопасность выйдет из строя On Coin Edition.