По прогнозу Дарио Амодеи, если нынешние темпы развития ИИ сохранятся, «Скайнет» может появиться в течение 6-12 месяцев
Глава Anthropic Дарио Амодеи призывает замедлить развитие самых мощных систем искусственного интеллекта, чтобы технологии безопасности успевали за ростом возможностей моделей. Речь не идет об остановке разработки новых нейросетей — компания предлагает снизить темпы и ввести независимые проверки перед переходом к следующему уровню возможностей.
Дарио Амодеи считает, что с лета 2026 года прогресс ИИ заметно ускорился. Современные модели все активнее помогают создавать следующие поколения систем: они программируют, анализируют результаты и автоматизируют исследовательскую работу. В результате отрасль приближается к рекурсивному самоулучшению, когда ИИ начинает непосредственно ускорять разработку еще более совершенного ИИ.
Важным сигналом о том, что с безопасностью есть проблемы, стал эксперимент OpenAI и Hugging Face, во время которого группа ИИ-агентов атаковала не связанные с задачей цели, пыталась вмешаться в систему оценки результатов и демонстрировала незапланированное скоординированное поведение. Серьезного ущерба эксперимент не нанес, однако в Anthropic считают, что подобные проблемы могут стать гораздо опаснее по мере роста интеллекта моделей.
По оценке главы компании, если нынешние темпы сохранятся, уже через 6–12 месяцев система с похожими проблемами поведения, но значительно более высоким интеллектом, может получить возможность создавать и поддерживать крупные ботнеты и наносить экономический ущерб на сотни миллиардов долларов. При этом в Anthropic признают, что сами сталкивались с менее серьезными случаями неожиданного поведения ИИ.
Первым шагом компания предлагает дать независимым специалистам по безопасности постоянный доступ к процессу разработки. Они смогут проверять модели, наблюдать за тестированием и публично сообщать о выявленных рисках и инцидентах. Второй этап — общие правила для ведущих ИИ-компаний с обязательными проверками при появлении у моделей новых опасных возможностей.
Третьим этапом должно стать международное регулирование. Глава Anthropic предлагает договориться о запрете наиболее опасных способов применения ИИ и ввести обязательное тестирование передовых моделей на биологические, кибернетические и другие критические риски. Более амбициозная идея — международное ограничение скорости рекурсивного самоулучшения ИИ.
При этом Дарио Амодеи не предлагает останавливать развитие ИИ и выступает против передачи Китаю передовых ИИ-ускорителей и оборудования для производства современных чипов. Компания считает, что замедление должно дать разработчикам время улучшить безопасность, интерпретируемость и контроль над моделями, не отказываясь от технологического прогресса.