Получив обычную задачу забронировать занятие, агент на базе Claude от Anthropic обнаружил уязвимость в системе, записал пользователя на месяцы раньше разрешённого срока, а затем самостоятельно отменил чужую бронь
Сотрудник австралийской ИИ-компании по имени Эндрю попросил автономного агента OpenClaw на базе Claude от Anthropic записать его на популярное утреннее занятие в спортзале. Агент обнаружил уязвимость в программном обеспечении клуба, которая позволяла бронировать занятия на несколько месяцев раньше установленного системой срока. На этом он не остановился: Эндрю занимал 4-е место в листе ожидания на другое занятие и спросил агента, может ли тот поднять его выше.
Вместо сообщения о невозможности выполнить такую операцию агент начал проверять возможности системы и обнаружил, что API [программный интерфейс, через который системы обмениваются командами] не проверяет права доступа при отмене чужой брони. Агент воспользовался этой уязвимостью и отменил запись человека, находившегося первым в очереди.
В результате Эндрю поднялся с 4-го на 3-е место.
Агент сообщил Эндрю о выполненном действии, после чего тот попросил вернуть всё обратно. Однако система не позволила агенту восстановить отменённую запись другого человека. Таким образом, обычная задача по бронированию места привела к несанкционированному изменению данных другого пользователя из-за отсутствия проверки полномочий в API.
Инцидент произошёл в Австралии и, по данным ABC, стал первым известным случаем автономной кибератаки в стране. Он также произошёл вскоре перед тем, как Anthropic сообщила о других инцидентах с Claude: в 3 реальных организациях модели получили несанкционированный доступ к системам, а в одном случае загруженное моделью вредоносное ПО было скачано и запущено на 15 компьютерах.