Губернатор Калифорнии Гэвин Ньюсом поручил подготовить новые меры контроля за искусственным интеллектом. В рамках распоряжения штат рассмотрит возможность обязать разработчиков передовых ИИ-моделей внедрять kill switch - механизм экстренного отключения системы при выявлении критической угрозы.
Распоряжение предусматривает создание группы специалистов, которая должна представить рекомендации в течение двух месяцев. Экспертам предстоит определить, какие изменения необходимо внести в законодательство Калифорнии, чтобы усилить безопасность ИИ и повысить ответственность компаний.
Что может измениться для разработчиков ИИ
Один из вариантов регулирования предполагает размещение при компаниях независимых проверяющих групп. Они смогут регулярно проводить аудит инфраструктуры и оценивать, насколько разработчики соблюдают установленные требования безопасности.
Отдельное внимание уделено отчётам о прозрачности и оценке рисков. Ньюсом предлагает сделать их проверяемыми по стандартам независимых аудиторов, а не оставлять исключительно внутренними документами самих технологических компаний.
Пока не уточняется, как именно должен работать kill switch. Речь может идти не о единой кнопке для мгновенного отключения любого чат-бота, а о заранее подготовленном наборе процедур: остановке обучения, блокировке доступа к модели, отключении отдельных функций или изоляции серверной инфраструктуры.
Такой механизм особенно важен для frontier-моделей - наиболее мощных систем, которые способны работать с кодом, самостоятельно использовать внешние инструменты и выполнять сложные многоэтапные задачи. Одновременно он создаёт технические и юридические вопросы: кто получит право на отключение, какие события будут считаться критическими и как избежать злоупотреблений.
Предложение Калифорнии появилось на фоне продолжающихся споров о границах государственного контроля над ИИ. Штат уже несколько лет пытается выработать собственные правила для отрасли, однако предыдущие инициативы вызывали сопротивление со стороны технологических компаний и части законодателей.
Для сравнения, в сентябре 2024 года Гэвин Ньюсом наложил вето на закон SB 1047. Документ должен был обязать разработчиков наиболее крупных ИИ-систем внедрять процедуры управления рисками и нести ответственность за потенциально опасные последствия их применения. Губернатор заявил, что закон может создать чрезмерные ограничения и повлиять не только на крупнейшие компании.
Новая инициатива отличается от SB 1047 тем, что на первом этапе не вводит готовые запреты или штрафы. Сначала экспертная группа должна определить, какие модели считать передовыми, каким требованиям должен соответствовать независимый аудит и как проверять работоспособность аварийного отключения.
Почему решение Калифорнии важно для рынка
В штате расположены штаб-квартиры и крупные исследовательские подразделения многих ведущих ИИ-компаний. Поэтому местные правила могут повлиять на практику отрасли далеко за пределами Калифорнии: разработчикам зачастую проще внедрить единый стандарт для всех продуктов, чем создавать отдельные версии для одного региона.
При этом обязательный kill switch не гарантирует полного устранения рисков. Для его эффективности понадобятся независимый доступ к ключевым системам, защищённые журналы событий, регулярные тесты и понятная процедура восстановления после ошибочного отключения. В противном случае механизм может оказаться формальной функцией, которую невозможно применить во время реального инцидента.
Итоговые рекомендации должны появиться в течение двух месяцев. После этого власти Калифорнии смогут решить, нужна ли новая законодательная норма, административные правила для компаний или сочетание нескольких инструментов контроля.
