Нам кажется, что искусственный интеллект ставит перед человеком совершенно новые вопросы. Но литература успела задать их раньше — от ответственности создателя перед своим творением до границы между разумом, имитацией и эмпатией. Специально для «Сноба» Виктория Михайлова, сооснователь Sensemakers и академический директор программы «Тандемократия» Московской школы управления Сколково, лектор HEC Paris, мастер-тренер по модели процесса коммуникации PCM перечитывает Шелли, Азимова, Дика, Исигуро и Лема как авторов, которые писали об ИИ задолго до ИИ.
Ответственность за созданное
В 1818 году Мэри Шелли опубликовала роман-метафору отношений человека с его творением. Виктор Франкенштейн создал существо, наделил его жизнью и, немедленно ужаснувшись результату, бросил своё детище, отказавшись от ответственности. Чудовище, отвергнутое создателем, стало чудовищем по-настоящему.
Шелли вкладывает в уста созданного Франкенштейном существа пронзительный монолог: «Я твоё создание, и я буду кротким и послушным перед моим природным господином и царем, если ты также исполнишь свою часть — то, что ты мне должен. Вспомни, что я твоё создание; я должен был быть твоим Адамом, но я скорее падший ангел, которого ты изгоняешь из радости без всякой вины. Везде я вижу блаженство, от которого я один навсегда исключен. Я был добрым и благим; несчастье сделало меня демоном».
Виктор Франкенштейн отвечает ему: «Прочь! Я не буду тебя слушать. Между нами не может быть общности; мы враги». Корень проблемы скрывается именно в этом отказе от диалога. Шелли показывает: учёный может создать жизнь, но оказаться неспособным или не желающим взять на себя ответственность за то, что он создал.
Герберт Уэллс в «Острове доктора Моро» идет дальше. Его персонаж ставит эксперименты над животными, превращая их в человекоподобных существ. Ответственность им осознается, но извращается: «Его любопытство, его дикие, бесцельные исследования увлекали его, и вот новое существо выбрасывалось в жизнь на несколько лет, чтобы бороться, ошибаться, страдать и в конце концов умереть мучительной смертью». Моро не воспринимает свои создания как личности и относится к ним как к задаче: «Перед вами уже больше не животное, не создание единого творца, а только загадка. Жалость… я вспоминаю о ней, как о чём-то давно забытом. Я желал — это было единственное, чего я желал, — изучить до конца пластичность живого организма».
Здесь можно провести параллель с сегодняшними дискуссиями об AI alignment — о том, как сделать так, чтобы система делала то, что мы хотим, и только то. Романы Шелли и Уэллса предупреждают: технология, оторванная от ответственности, неизбежно оборачивается против создателя.
Формализованная этика: три закона Азимова
В 1950 году Айзек Азимов сформулировал три закона робототехники, которые должны были стать абсолютной гарантией безопасности:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен подчиняться приказам человека, если эти приказы не противоречат Первому закону.
- Робот должен защищать своё существование, если это не противоречит Первому и Второму законам.
При этом Азимов тонко продемонстрировал в своих рассказах, как любая формализованная мораль может давать сбой. Три закона сталкиваются друг с другом: правило повиновения конфликтует с правилом безопасности, правило самосохранения — с приказами.
Азимов вкладывает в уста одного из персонажей важное наблюдение: «Три закона робототехники совпадают с основными принципами большинства этических систем, существующих на Земле. Конечно, каждый человек наделен инстинктом самосохранения. У робота это Третий закон. Каждый “порядочный” человек, чувствующий свою ответственность перед обществом, подчиняется определённым авторитетам. Он прислушивается к мнению своего врача, своего хозяина, своего правительства, своего психиатра, своего приятеля; он исполняет законы, следует обычаям, соблюдает приличия, даже если они лишают его некоторых удобств или подвергают опасности. А у роботов это — Второй закон. Кроме того, предполагается, что каждый “хороший” человек должен любить своих ближних, как себя самого, защищать своих товарищей, рисковать своей жизнью ради других. Это у робота — Первый закон».
Ирония в том, что мы, люди, редко следуем этим законам буквально. Человеческий разум учитывает широкий контекст, который выходит за пределы рациональной инструкции. Именно поэтому мы не можем требовать от машин невозможного. Формальная этика у человека дополняется эмпатией и способностью учитывать множество вариантов человеческого взаимодействия. Когда мы внедряем алгоритмические решения в найме, кредитовании или медицине, мы сталкиваемся с той же проблемой: система следует правилам, но правила не покрывают всех нюансов человеческой жизни.
Имитация против понимания: андроиды и китайская комната
Где проходит граница между «отвечает правильно» и «понимает»? Филип К. Дик в романе «Мечтают ли андроиды об электроовцах?» предлагает свой ответ: быть человеком — значит обладать эмпатией. В мире Дика эмпатия — то, что отличает человека от андроида. Это не только эмоции, но и в более широком смысле понимание человеческого бытия изнутри: «Эмпатия, очевидно, существовала только внутри человеческого сообщества, тогда как интеллект в некоторой степени можно было найти во всех типах и порядках, включая паукообразных».
Но Дик сталкивает нас с границами нашего понимания эмпатии. Его герой, охотник за андроидами Рик Декард, начинает сомневаться: «В вашей способности к эмпатии есть дефект. Тот, который мы не проверяем. Ваши чувства к андроидам». Декард осознаёт: он сам убивает андроидов без эмпатии. Значит ли это, что он сам не вполне человек?
Кадзуо Исигуро в романе «Клара и Солнце» подходит к той же проблеме с другой стороны. Клара — искусственный друг, созданный, чтобы присматривать за ребенком. У неё нет человеческого сознания, но она наблюдает, учится, имитирует. Мистер Капальди говорит о том, что «наука уже доказала и сомнений быть не может: нет в моей дочери ничего уникального, такого, чего нашими современными средствами нельзя извлечь, скопировать, передать. Что люди жили друг с другом всё это время, веками, любили и ненавидели друг друга — основываясь на ложной предпосылке. На суеверии своего рода, которое мы поддерживали, пока не узнали, как всё на самом деле».
Но в финале романа читателю предлагается неожиданный ответ. Клара понимает: «Было что-то очень особенное, но это было не внутри Джози. Это было внутри тех, кто её любил». Любовь не является свойством объекта и, возможно, даже не сводится к отношению между людьми. Это нечто большее — то, что придаёт смысл всей жизни. ИИ может имитировать аффект, но вопрос о том, может ли он любить и быть любимым так, как человек, остаётся открытым.
Проблема того, что именно может делать ИИ, напрямую связана с мысленным экспериментом Джона Сёрля «Китайская комната» (1980). Человек, который не знает китайского, может правильно отвечать на вопросы на китайском, следуя правилам. Но понимает ли он? ИИ генерирует правильные ответы без понимания, хотя некоторые современные мыслители и технологические предприниматели считают обратное.
Технология как неравенство
Ричард Морган в романе «Видоизменённый углерод» показывает социальные аспекты технологий: они доступны не всем. В мире Моргана сознание можно переносить между телами, а богатые могут жить вечно. Но это создаёт новое неравенство — более радикальное, чем классовое или расовое.
В романе есть ключевая фраза: «Где тот, кто сказал, что видоизменённый углерод освободит нас от клеток нашего тела? Где тот, кто сказал, что мы станем ангелами?» Обещание технологического освобождения оборачивается новой формой порабощения. Бессмертие становится привилегией, а не всеобщим правом.
Когда сегодня мы говорим о доступе к ИИ, о цифровом неравенстве, о том, кто владеет вычислительными мощностями, — это та же проблема. Технология не освобождает всех, а может создавать новую элиту. Литература напоминает: любая мощная технология способна из инструмента превратиться в фактор социального неравенства.
В романе «TRANSHUMANISM INC.» Виктор Пелевин рисует мир посткарбонового будущего, где человечество разделено на две касты. Финансово-интеллектуальная элита, чьи мозги извлечены из тел и помещены в стеклянные банки с раствором, существует вечно в виртуальных симуляциях. Здесь можно увидеть прямую отсылку к «Голове профессора Доуэля» Александра Беляева. Бессмертие в этой парадигме становится товаром, доступным только избранным. Остальные люди живут с имплантами в мозгу, их сознание форматируется корпорацией через нейролингвистическое программирование, а социальный статус определяется рекламным бюджетом, который может «подсветить» в сознании нужную концепцию.
Пелевин показывает нам существование в мире симуляций и симулякров. В нём вымерла литература, остались только нейросети, генерирующие тексты по алгоритмам. Автор поднимает онтологический вопрос: если можно оцифровать, скопировать и продать сознание, что остаётся от человека? Его ответ разочаровывает: ничего, кроме бесконечного цикла перерождений, из которого нельзя вырваться, потому что сама идея «освобождения» тоже часть симуляции. Как говорит один из персонажей: «Не ищи во всём символического значения, а то ведь найдешь на свою голову». Это квинтэссенция пелевинского трансгуманизма: технологии не освобождают, они создают новые, ещё более изощрённые формы рабства.
Непознаваемый разум: Лем и большой язык
Станислав Лем в «Солярисе» создает глубокую метафору отношений с иным разумом. Океан на планете Солярис — это разум, но совершенно иной, нечеловеческий. Учёные пытаются установить с ним контакт, но их попытки обречены. Возможно, не потому, что океан враждебен, а потому, что он недоступен для человеческого мышления.
Лем ставит вопрос: способны ли мы понять и распознать разум, который не похож на наш? Большие языковые модели сегодня — не Солярис и не «первые шаги» к нему, но этот сюжет помогает думать о том, как мы описываем системы, чье устройство не до конца понимаем. Знаем ли мы, что происходит внутри нейросетей с миллиардами параметров? Они генерируют связные ответы, но это не значит, что они «понимают» так, как понимаем мы.
Литература показывает нам возможные картины будущего и учит сомневаться в том, что кажущиеся очевидными сейчас ответы являются правильными. Шелли напоминает об ответственности. Азимов — о том, что формальная этика упрощает реальность. Дик и Исигуро — о том, что имитация и понимание не одно и то же. Морган и Пелевин — о том, что технологии могут усиливать неравенство. Лем — о том, что разум может быть радикально иным.
Не все вопросы человека и человечества решаются инженерией. Именно поэтому тем, кто строит и развивает ИИ, сегодня как никогда нужны литература и философия.