Старший исследователь по безопасности Anthropic заявил, что вероятность того, что искусственный интеллект сможет уничтожить всё человечество до конца текущего десятилетия, превышает 10%. Заявление прозвучало всего через несколько часов после ухода коллеги, раскритиковавшего подход компании и её конкурентов к развитию сверхмощных систем.
Речь идёт о сценарии, в котором будущие модели получают возможности, значительно превосходящие человеческие, а затем начинают действовать вне контроля разработчиков. Такой риск в индустрии обычно связывают с появлением сверхчеловеческого ИИ, способного самостоятельно улучшать собственные алгоритмы, планировать долгосрочные действия и использовать цифровую инфраструктуру.
Исследователь Джейкоб Коксон, ранее занимавшийся обучением ИИ-систем в OpenAI, сообщил об уходе из Anthropic в публикации в социальной сети X. По его словам, компания придерживается слишком мягкого подхода к безопасности, пока Anthropic и OpenAI фактически участвуют в гонке к самоулучшающемуся сверхинтеллекту.
Коксон обвинил обе организации в том, что они «мчатся прямо к самосовершенствующемуся сверхинтеллекту и ставят на кон человеческие жизни». Исследователь считает, что лаборатории ускоряют разработку более мощных моделей, не располагая надёжными методами контроля их поведения и ограничений.
Почему оценка риска вызвала новую дискуссию
Вероятность свыше 10% не является прогнозом неизбежной катастрофы. Это оценка потенциального сценария, в которой учитываются неопределённость вокруг возможностей будущих моделей, темпы масштабирования вычислений и отсутствие доказанных способов гарантировать, что система будет следовать целям человека.
Для пользователей в России спор важен не только с точки зрения научной дискуссии. Модели семейства Claude и конкурирующие ИИ-сервисы уже применяются для программирования, анализа документов, автоматизации поддержки и работы с данными. Чем больше задач передаётся таким системам, тем выше требования к защите инфраструктуры, проверке результатов и сохранению контроля человека.
Anthropic была основана в 2021 году бывшими сотрудниками OpenAI и развивает семейство языковых моделей Claude. Компания также публиковала Responsible Scaling Policy - документ, в котором описываются уровни безопасности и дополнительные меры контроля по мере роста возможностей моделей. В частности, подход предполагает оценку рисков для автономной работы, кибербезопасности и создания опасных биологических инструкций до выпуска более мощных систем.
Однако наличие внутренних правил не гарантирует, что все угрозы будут обнаружены заранее. Поведение крупных моделей зависит от данных обучения, настроек доступа, подключённых инструментов и того, насколько автономно система может выполнять цепочку действий. Поэтому исследователи безопасности требуют не только тестировать готовые продукты, но и заранее устанавливать ограничения на их разработку и развёртывание.
Публичный конфликт внутри Anthropic показывает, что разногласия о темпах развития ИИ вышли за пределы академической среды. Одни специалисты считают ускорение необходимым для конкуренции и технологического прогресса, другие опасаются, что компании сначала создадут системы с непредсказуемыми возможностями, а уже затем начнут искать способы их контролировать.
На практике пользователям в России пока стоит воспринимать подобные оценки как предупреждение о долгосрочных рисках, а не как предсказание конкретной даты катастрофы. Для бизнеса основными мерами остаются разграничение доступа к ИИ, журналирование действий агентов, изоляция сервисов от критических систем и обязательная проверка ответов человеком.
