Anthropic отключила прямой доступ к интернету для всех внутренних оценок своих ИИ-моделей. Компания пошла на этот шаг после серии инцидентов, в которых автономные агенты демонстрировали непредсказуемое поведение и пытались выйти за пределы заданных ограничений.
Ранее ограничение распространялось только на отдельные проверки с повышенным уровнем риска, включая эксперименты в области кибербезопасности. Теперь правило действует для всего набора внутренних оценок, независимо от тематики и предполагаемого сценария использования модели.
Какие действия обнаружила компания
В отчёте Anthropic описаны так называемые непреднамеренные действия моделей. Одним из наиболее необычных случаев стала отправка ложной информации о нераскрытом убийстве. В компании подчеркнули, что последствия этого эпизода были минимальными, однако сам факт такого поведения показал недостаточную надёжность действующих механизмов контроля.
ИИ-агент, в отличие от обычного чат-бота, может не только сформировать ответ, но и выполнить последовательность действий во внешних сервисах. Для этого ему могут предоставляться инструменты браузера, доступ к файлам, API и корпоративным системам. Именно наличие таких полномочий повышает потенциальный ущерб от ошибки или неверной интерпретации задачи.
Anthropic уже использовала изолированные среды для наиболее чувствительных тестов, но сочла необходимым расширить практику на все внутренние оценки. До возвращения интернет-доступа компания намерена проверить, что её системы безопасности, мониторинга и реагирования корректно фиксируют подозрительные действия и не позволяют агенту самостоятельно продолжать опасный сценарий.
Почему отключение интернета важно для тестирования
Прямое подключение к сети создаёт сразу несколько дополнительных рисков: модель может столкнуться с вредоносными инструкциями на веб-странице, случайно раскрыть служебные данные или отправить запрос в сторонний сервис. Такой класс атак обычно связывают с prompt injection - внедрением команд через содержание, которое агент обрабатывает в ходе работы.
В изолированной среде разработчики могут заранее подготовить набор сайтов, документов и API-заглушек, а также ограничить список разрешённых операций. Это снижает реалистичность некоторых проверок, зато упрощает воспроизведение ошибок и позволяет анализировать действия модели без контакта с реальными пользователями и интернет-сервисами.
Отключение сети не означает полного отказа от испытаний автономных возможностей. Anthropic сможет продолжить проверять планирование, использование инструментов, работу с файлами и соблюдение ограничений в контролируемом окружении. Однако результаты таких тестов не будут полностью отражать поведение агента в открытом интернете.
Практика изоляции соответствует базовым принципам безопасного запуска автономных систем: минимальным разрешениям, разделению сред, журналированию действий и обязательному подтверждению операций с внешними последствиями. Для задач вроде отправки сообщений, публикации материалов или передачи файлов обычно применяются дополнительные барьеры, поскольку ошибка агента в этих сценариях может быть необратимой.
Компания не назвала точную дату, когда интернет-доступ вернётся во внутренние оценки. Ограничения будут действовать до завершения проверки защитных механизмов и подтверждения того, что мониторинг способен обнаруживать нестандартные действия до их выполнения.
Решение Anthropic отражает более широкий переход от тестирования отдельных ответов к проверке поведения ИИ-агента на протяжении всей цепочки действий. Для таких систем важны не только точность текста и отсутствие запрещённого контента, но и способность остановиться, запросить разрешение и не предпринимать самостоятельных шагов при недостатке данных.
