FlashProve должна позволить установить, какая именно модель создала ответ, даже если компания-разработчик попытается выдать результат одной нейросети за работу другой
Anthropic представила исследовательскую систему FlashProve, которая должна подтверждать происхождение ответов от модели искусственного интеллекта с помощью криптографических доказательств. Она позволит пользователю проверить, действительно ли результат получен от заявленной модели, а не от другой нейросети, которую незаметно подставили вместо неё.
Разработчики сравнивают механизм с цифровыми подписями электронной почты: получатель может проверить, действительно ли сообщение отправлено указанным автором. В случае с ИИ такая проверка должна защищать от подмены модели даже со стороны самой компании, которая её разработала и обслуживает. Например, поставщик сможет незаметно переключить запросы на более дешёвую нейросеть, сократив расходы, или, наоборот, использовать более дорогую модель, чтобы искусственно улучшить результаты тестирования.
FlashProve также может пригодиться для проверки заявлений сторонних компаний. Например, разработчик программного обеспечения сможет подтвердить, что его код проверяла на уязвимости именно передовая модель кибербезопасности, а не менее мощная система. Аналогично можно будет удостовериться, что бизнес-план оценивала модель, подходящая для такой задачи.
Для работы FlashProve разработчики моделей должны будут публиковать криптографические «отпечатки» своих нейросетей. Их можно будет сопоставлять с результатами работы и проверять происхождение ответов. При этом отпечатки не раскрывают веса модели — числовые параметры, определяющие её поведение. Это позволяет применять механизм и к коммерческим нейросетям с закрытой архитектурой. Сама проверка спроектирована достаточно лёгкой, чтобы её можно было выполнять на локальном устройстве.
Anthropic опубликовала техническую спецификацию FlashProve и рабочий код отдельных компонентов проекта на GitHub под открытой лицензией. Однако компания пока не собирается внедрять систему ни у себя, ни в других лабораториях. Разработчики подчёркивают, что представили промежуточные результаты и рассчитывают, что другие специалисты изучат механизм и помогут его улучшить.