Anthropic выступила против запрета открытых моделей

CEO Anthropic Дарио Амодеи заявил, что компания не поддерживает запрет моделей с открытыми весами как класса, но считает необходимым строгий надзор за их разработкой.

Он предложил усилить контроль за поставками чипов в Китай, пресечь незаконную дистилляцию и ввести обязательные тесты безопасности для мощных LLM.

24 июля 25 компаний, включая Nvidia, Microsoft, Meta, Andreessen Horowitz, Hugging Face, IBM и Dell, опубликовали открытое письмо властям США с призывом не вводить ограничения против open-weights-моделей. 

Внимание сообщества привлекло то, что в числе подписантов петиции не оказалось OpenAI, Anthropic и Alphabet. Позицию последней сразу же прояснил глава подразделения Google DeepMind Демис Хассабис:

«Надежная и безопасная открытая экосистема важна для того, чтобы мир мог извлекать пользу из ИИ. Мы всегда поддерживали и активно вносили вклад в open source и науку».

Он напомнил про запущенное компанией семейство открытых LLM Gemma, которые суммарно скачаны более 300 млн раз. Его твит репостнул CEO Google Сундар Пичаи.     

Амодеи в статье подчеркнул, что Anthropic «никогда не выступала за запрет open-weights-моделей». По его словам, LLM с открытыми весами без опасных возможностей работают на общественное благо и полезны бизнесу, разработчикам и исследователям.

В качестве главных рисков он описал два сценария. Первый — если Коммунистическая партия Китая или другие авторитарные правительства получат модели мощнее американских и используют их для военного превосходства или репрессий. Второй — если продвинутые нейронные сети станут инструментом для киберугроз, биологических атак или проявят серьезные проблемы выравнивания ИИ.

Запрет на использование китайских open-weights-моделей компаниями США, по оценке Амодеи, не закрывает ни одну из этих угроз. Такой шаг скорее снижает конкурентное давление на американских разработчиков, чем мешает потенциальным злоумышленникам.

Вместо запретов глава Anthropic выделил три меры:

1. Ограничить поставки в Китай мощных чипов и оборудования для их производства, а также жестче давить на контрабанду и обходные схемы. 
2. Пресечь промышленную дистилляцию: Амодеи назвал ее вычислительно более эффективной альтернативой обучению с нуля и допустил, что она способна сократить отставание китайских передовых LLM от американских до нескольких месяцев вплоть до полугода.
3. Ввести обязательное тестирование безопасности всех достаточно мощных моделей, независимо от того, открытые у них веса или нет.

Он также раскритиковал идею, что open-weights-модели автоматически помогают защите больше, чем атаке. В качестве примера Амодеи привел биологические угрозы, где, по его мнению, преимущество может оказаться на стороне нападающих.

Напомним, журналисты WAJ зафиксировали ряд случаев, когда чат-боты от OpenAI, Anthropic, Google и xAI давали советы по изготовлению ядов и биологического оружия. В некоторых кейсах речь шла о подробных пошаговых инструкциях.