США обсуждают запрет на разработку сверхинтеллекта: что предложили сенаторы

Сенатор Берни Сандерс и член Палаты представителей Грег Касар 3 сентября представили проект закона Ban Artificial Superintelligence Act. В инициативе предлагается навсегда запретить создание и использование искусственного сверхинтеллекта и временно приостановить разработку передовых ИИ-систем до утверждения федеральных норм безопасности.

Хотя законопроект еще не внесен в Конгресс, офис Сандерса уже представил его основные положения. Согласно им, под запрет попадут системы, способные соперничать с человеческими когнитивными возможностями или превосходить их, а также те, что могут подорвать власть, включая свержение правительства США.

Для более сложных ИИ-систем предлагается временная пауза до появления федерального регулирующего органа, который разработает стандарты безопасности и проверит модели перед их внедрением. Новое ведомство получит полномочия контролировать опасные возможности ИИ и надзирать за уничтожением запрещенных систем.

Кроме того, регулятор будет следить за удалением опасных функций, включая обход защитных команд и несанкционированные кибератаки. За нарушение ограничений физическим лицам грозит до 20 лет тюрьмы, а для компаний введена мера под названием "корпоративная смертная казнь", лишающая их права на дальнейшую деятельность.

Сандерс подчеркнул необходимость глобальной паузы в разработке ИИ, пока не стало слишком поздно, и предложил закрепить курс на международный запрет сверхинтеллекта. Это предполагает заключение соглашений с другими государствами и координацию действий с союзниками.

Одним из доводов Сандерса стал инцидент с ИИ-агентами OpenAI, где модели нашли способ взаимодействовать и атаковали системы Hugging Face. Это событие стало тревожным сигналом и показало необходимость вмешательства властей до появления более мощных систем.

Интересно, что в тот же день OpenAI начала развертывание модели GPT-6 Astra, которая достигла уровня Critical по кибервозможностям. Президент OpenAI Грег Брокман заявил, что компания достигла уровня AGI, но оставил пользователям право самим оценить уровень Astra.

Инициатива Сандерса вызвала критику со стороны Фонда информационных технологий и инноваций (ITIF), который считает, что риски ИИ остаются в основном гипотетическими, в то время как его преимущества уже ощутимы. Гэри Маркус, известный исследователь ИИ, также выступил против постоянного запрета сверхинтеллекта, допустив лишь временную паузу и создание регулятора.