Дарио Амодеи, генеральный директор Anthropic, заявил, что индустрии искусственного интеллекта пора снизить темп разработки передовых моделей. Компания намерена предоставить сторонним организациям, включая METR, расширенный доступ к своим системам, чтобы проверить соблюдение заявленных правил безопасности и обязательств.
Свои предложения руководитель Anthropic изложил в развернутом эссе. Он использовал формулировку pace the frontier, под которой подразумевается не остановка исследований, а более осторожное продвижение границы возможностей ИИ. Речь идет о том, чтобы замедлить обучение и выпуск наиболее мощных моделей, пока разработчики создают защитные механизмы.
По мнению Амодеи, ускорение гонки между компаниями повышает риск того, что новые ИИ-системы будут внедряться раньше, чем появятся надежные способы контролировать их поведение. Дополнительное время также позволит государственным органам и независимым специалистам подготовить методики проверки моделей.
Три шага для контроля развития ИИ
Предложенный план состоит из трех этапов. Первый шаг Anthropic уже реализует в одностороннем порядке - компания открывает свои модели для внешних оценщиков. Такие проверки должны показать, насколько системы соответствуют внутренним требованиям безопасности и публичным обещаниям разработчика.
Второй этап предполагает совместные действия всей ИИ-индустрии. Компании должны договориться о единых подходах к тестированию и темпах развития, а также взаимодействовать с государственными структурами. Это может снизить ситуацию, при которой отказ одной организации от ускорения не дает результата из-за давления конкурентов.
Третий этап в заявлении связан с более широкой системой координации и регулирования. Конкретные детали этой части плана пока не раскрыты, однако общая идея заключается в том, чтобы оценка рисков и внедрение защитных мер не зависели только от решений одной компании.
Организация METR, которой Anthropic готова предоставить доступ, специализируется на независимой оценке возможностей ИИ-моделей. Она проверяет, насколько системы способны самостоятельно выполнять многоэтапные задачи, использовать инструменты и действовать в течение продолжительного времени. Такие тесты помогают выявлять потенциально опасные сценарии еще до широкого запуска продукта.
Для пользователей из России дискуссия важна прежде всего из-за того, что передовые ИИ-сервисы быстро распространяются через облачные платформы и сторонние приложения, даже если отдельные компании официально не работают на российском рынке. Независимые проверки могут сделать понятнее, какие ограничения действуют у моделей, насколько они устойчивы к обходу правил и какие данные обрабатываются во время работы.
Инициатива Anthropic не означает отказ от создания новых версий Claude или полного моратория на исследования. Предложение касается именно темпа обучения, тестирования и вывода наиболее мощных моделей. Теперь компании предстоит убедить других участников рынка принять аналогичные правила, а независимым оценщикам - получить достаточно широкий доступ, чтобы проверки не ограничивались демонстрационными сценариями.
