Правительствам необходимо ограничивать риски все более способных ИИ-агентов уже сейчас, не дожидаясь полного понимания последствий их работы. К такому выводу пришла научная группа ООН в первом крупном тематическом докладе организации о безопасности искусственного интеллекта.
Документ появился на фоне активизации международной повестки вокруг ИИ. На этой неделе в Нью-Йорке проходит Генеральная ассамблея ООН, а США и Китай проводят переговоры, в которых отдельное место занимает регулирование и безопасное развитие технологий искусственного интеллекта.
Авторы оценки считают, что неопределенность не должна становиться причиной бездействия. По мере роста возможностей ИИ-агенты получают доступ к инструментам, внешним сервисам и корпоративным данным, а также могут самостоятельно выполнять последовательности задач. Это повышает потенциальный ущерб от ошибок, злоупотреблений и плохо настроенных ограничений.
Почему ООН настаивает на регулировании сейчас
В материалах ООН рассматриваются не только теоретические сценарии, но и реальные инциденты, включая атаку на Hugging Face, которую связывают с OpenAI. Подобные случаи показывают, что риски возникают не только на этапе создания модели, но и во время ее подключения к инфраструктуре, репозиториям и другим цифровым системам.
Генеральный секретарь ООН Антониу Гутерриш ранее призвал государства совместно реагировать на угрозы, связанные с ИИ. Он предупредил, что мир не может позволить себе «гонку ко дну» в вопросах безопасности искусственного интеллекта, когда компании и государства жертвуют защитными мерами ради скорости и конкурентных преимуществ.
Предлагаемый подход предполагает сочетание технических и политических инструментов: независимое тестирование моделей, оценку рисков до выпуска, контроль доступа к опасным функциям, регистрацию серьезных инцидентов и обмен информацией между странами. Для ИИ-агентов особенно важны ограничения автономных действий и возможность быстро остановить систему при обнаружении отклонений.
Международная структура для контроля ИИ
Институциональной основой для такой работы стала резолюция Генеральной ассамблеи ООН 79/325, принятая в августе 2025 года. Она предусматривает создание независимой международной научной группы по ИИ численностью до 40 специалистов и запуск глобального диалога по управлению технологией. Группа должна готовить оценки, доступные государствам, бизнесу и обществу.
ООН фактически предлагает перейти от ожидания идеальных правил к поэтапным мерам предосторожности. Такой подход оставляет возможность корректировать нормы по мере появления новых данных, но не позволяет откладывать базовые требования к контролю, прозрачности и ответственности разработчиков.
