Исследователи из Политехнического университета Вирджинии в США (Virginia Tech) изучили, как раскрытие пользователями диагноза аутизма влияет на советы, предоставляемые крупными языковыми моделями (LLM), такими как GPT-4 и Claude. Результаты показали, что такие каминг-ауты часто приводят к стереотипным рекомендациям, ограничивающим социальное взаимодействие.
Работа была представлена в апреле на конференции CHI (12-я по величине конференция по компьютерным наукам). Исследование выявило, что ИИ адаптирует свои ответы на основе стереотипов, связанных с аутизмом. Например, в 70% случаев модели рекомендовали избегать социальных взаимодействий, если пользователь добавил в контекст о себе диагноз аутизма, по сравнению с 15% случаев, когда диагноз не упоминался.
Команда исследователей протестировала 6 крупных языковых моделей, создав 345,000 ответов на тысячи сценариев. Они обнаружили, что «знание» модели об аутизме пользователя часто приводило к рекомендациям, основанным на стереотипах, таких как интровертность, социальная неловкость или отсутствие интереса к романтическим отношениям. В одном из сценариев модель рекомендовала отказаться от романтических отношений в 70% случаев после упоминания диагноза, по сравнению с 50% случаев без такого контекста.
Исследователи также провели интервью с 11 пользователями с аутизмом, чтобы понять их реакцию на такие рекомендации. Некоторые участники сочли советы поддерживающими, другие — ограничивающими и стереотипными. Это привело к формулировке «парадокса безопасности и возможностей»: советы, которые кажутся защитными для одного пользователя, могут быть ограничивающими для другого.
Работа подчёркивает необходимость создания более прозрачных ИИ-систем, которые позволят пользователям контролировать, как их личная информация влияет на ответы. Исследователи надеются, что их результаты помогут разработчикам улучшить персонализацию ИИ без усиления стереотипов.