Генеральный директор Anthropic выступает за то, чтобы правительство блокировало рискованные модели искусственного интеллекта

Неожиданная позиция лидера отрасли по вопросу управления искусственным интеллектом вызвала дискуссию

Неожиданным событием, которое вызвало волну в сообществе искусственного интеллекта, стало то, что Дарио Амодей, генеральный директор Anthropic, публично выступил за предоставление правительственным органам полномочий блокировать или сдерживать внедрение моделей ИИ, которые, как считается, представляют неприемлемые риски. Эта позиция, изложенная в недавнем политическом сообщении в его личном блоге, представляет собой важную позицию одного из видных деятелей отрасли в отношении управления передовыми системами искусственного интеллекта.

История антропологии и Дарио Амодеи

Anthropic стала ведущим игроком в области исследований искусственного интеллекта, известным разработкой передовых языковых моделей и уделением особого внимания безопасности искусственного интеллекта. Основанная бывшими исследователями из OpenAI, в том числе Дарио Амодеи, компания позиционирует себя на стыке передовых разработок искусственного интеллекта и вопросов безопасности. Амодей, ранее занимавший должность вице-президента по исследованиям в OpenAI, открыто заявлял о необходимости ответственной разработки ИИ, но в целом его ассоциировали с мерами безопасности, проводимыми промышленностью, а не государством.

Компания получила значительное финансирование, в том числе инвестиции от крупных технологических компаний, и разработала собственные системы искусственного интеллекта, в первую очередь Claude, которые позиционируются как более безопасная альтернатива некоторым более мощным моделям на рынке.

Предложение по политике: вмешательство государства в развертывание искусственного интеллекта

В своем недавнем сообщении в блоге под названием «Политика в отношении экспоненциального ИИ» Амодей обрисовывает структуру управления ИИ, которая включает спорное положение: предоставление государственным органам власти права вмешиваться в внедрение моделей ИИ. По мнению Амодеи, это право следует использовать только в том случае, если сторонние оценки определят, что модель представляет неприемлемые риски.

«Правительство должно иметь право блокировать или сдерживать внедрение модели, если в свете оценки третьей стороны будет установлено, что она представляет неприемлемые риски», — заявляет Амодей в своем политическом документе. Эта позиция знаменует собой заметный отход от типичной позиции отрасли, отдающей предпочтение саморегулированию и добровольным мерам безопасности.

Четыре конкретных категории риска

В предложении Амодеи подчеркивается, что полномочия правительства должны быть тщательно ограничены и направлены на борьбу с четырьмя конкретными категориями рисков. Хотя в исходном сообщении эти категории явно не перечислены, они, скорее всего, охватывают проблемы, обычно выявляемые в дискуссиях по безопасности ИИ, в том числе:

Катастрофические риски, связанные с высокопроизводительными системами искусственного интеллекта.

Биологические риски, связанные с созданием опасных агентов с помощью ИИ.

Автономные системы вооружения, управляемые ИИ.

Системные риски для критически важной инфраструктуры или экономической стабильности.

Защитные меры против политического фаворитизма

Ключевым компонентом предложения Амодеи является включение гарантий против потенциального злоупотребления государственной властью. Он конкретно призывает к «защитным мерам против политического фаворитизма или произвольных решений», признавая необходимость объективных критериев при определении того, какие модели следует ограничить.

Эти защитные меры, вероятно, включают в себя:

Прозрачные методики оценки

Независимые контролирующие органы

Процедуры апелляций для разработчиков

Регулярные заседания или проверки органов государственной власти.

Контекст отрасли и реакция

Позиция Amodei в отношении государственного вмешательства противоречит настроениям, преобладающим в большей части отрасли искусственного интеллекта, которая в целом выступает за саморегулирование и добровольные обязательства по безопасности. Технологическая отрасль исторически сопротивлялась государственному надзору, особенно в быстро развивающихся областях, таких как разработка искусственного интеллекта.

Эта позиция становится еще более заметной, учитывая положение Anthropic как ведущей исследовательской организации в области искусственного интеллекта. Компания участвует в отраслевых инициативах, таких как Frontier Model Forum, который фокусируется на разработке стандартов безопасности посредством совместных усилий отрасли, а не нормативных требований.

Сравнение подходов к управлению ИИ

Подход Основные особенности Поддержка отрасли Скорость реализации Саморегулирование Добровольные обязательства, отраслевые стандарты Высокий Быстро Государственный надзор Обязательные требования, механизмы обеспечения исполнения От умеренного до низкого Медленно Гибридная модель Сочетание добровольных и обязательных мер Рост Умеренный

Последствия для управления искусственным интеллектом

Предложение Амодеи появилось в критический момент дебатов по управлению ИИ. Поскольку системы искусственного интеллекта становятся все более мощными, вопросы о соответствующих механизмах надзора перешли от теоретических дискуссий к неотложным политическим соображениям. Закон Европейского Союза об искусственном интеллекте, различные предложения в США и международные дискуссии на таких форумах, как саммит искусственного интеллекта в Великобритании, — все это отражает растущую тенденцию к созданию той или иной формы нормативной базы.

Включение видного представителя отрасли, выступающего за вмешательство правительства, потенциально может изменить подход Овертона к управлению ИИ, сделав более строгие подходы к регулированию политически жизнеспособными. Это также может сигнализировать о признании в отрасли того, что одних только добровольных мер может быть недостаточно для устранения наиболее значительных рисков, связанных со все более совершенными системами искусственного интеллекта.

Критика и соображения

Несмотря на то, что Амодей выступает за вмешательство правительства, остаются серьезные вопросы и опасения относительно практической реализации такой структуры:

Недостаток опыта. Государственным учреждениям может не хватать технических знаний для точной оценки передовых систем искусственного интеллекта.

Подавление инноваций. Строгие требования к развертыванию потенциально могут подавить инновации и замедлить полезное развитие ИИ.

Международная координация. Эффективное управление потребует международного сотрудничества для предотвращения регулятивного арбитража.

Определение «неприемлемого риска». Установление четких и объективных критериев для определения того, какие модели представляют неприемлемый риск, остается сложной задачей.

Заключение

Выступление Дарио Амодеи за то, чтобы правительство блокировало развертывание моделей ИИ, представляет собой важное событие в продолжающемся разговоре об управлении ИИ. Поддерживая тщательно разработанные механизмы регулирования, Amodei признал потенциальные ограничения чисто отраслевых подходов, пытаясь решить законные проблемы безопасности.

Поскольку системы искусственного интеллекта продолжают быстро развиваться, дебаты о соответствующих механизмах управления, вероятно, будут обостряться. Предложение Амодеи, с его акцентом на конкретные категории риска и защитные меры против политического фаворитизма, может предложить средний путь между ничем не ограниченным развитием и чрезмерным регулированием. В ближайшие месяцы и годы, скорее всего, эти идеи будут развиваться дальше, поскольку политики, лидеры отрасли и заинтересованные стороны гражданского общества будут работать над разработкой механизмов, которые сбалансируют инновации и безопасность в эпоху все более мощного искусственного интеллекта.

Позиция Anthropic по этому вопросу будет особенно примечательна, поскольку действия компании — помимо предложений личной политики Амодеи — покажут, представляет ли эта пропаганда подлинный сдвиг в корпоративной стратегии или просто одну точку зрения в рамках более широкой отраслевой дискуссии.

Оказывается, генеральный директор Anthropic Дарио сам хотел, чтобы правительство имело возможность блокировать или сдерживать внедрение моделей 🤦 Правительство должно иметь право блокировать или сдерживать внедрение модели, если в свете оценки третьей стороны будет установлено, что она представляет неприемлемые риски. Эти полномочия должны быть ограничены указанными выше четырьмя конкретными рисками, и должны быть предусмотрены защитные меры против политического фаворитизма или произвольных решений. Соус: https://darioamodei.com/post/policy-on-the-ai-exponential Подпишитесь на @TechLeaksZone Оказывается, генеральный директор Anthropic Дарио сам хотел, чтобы правительство имело право блокировать или сдерживать внедрение моделей 🤦 Правительство должно иметь право блокировать или сдерживать внедрение модели, если в свете оценки третьей стороны будет установлено, что она представляет неприемлемые риски. Эти полномочия должны быть ограничены указанными выше четырьмя конкретными рисками, и должны быть предусмотрены защитные меры против политического фаворитизма или произвольных решений. Соус: https://darioamodei.com/post/policy-on-the-ai-exponential Подпишитесь на @TechLeaksZone