Хотя десятилетняя девочка выглядела сейчас несколько ненадёжной, Фан Чжэн всё же доверил ей тело девочки-экскурсовода — наконец, речь шла лишь о техобслуживании, а учитывая собаку, технологический уровень того мира казался очень высоким. Простой ремонт не должен был стать проблемой.
Затем Фан Чжэн вернулся в свою комнату и принялся анализировать программу девочки-экскурсовода.
Причина, по которой он решил заняться этим самостоятельно, а не перепоручать Нимфе, заключалась в том, что Фан Чжэн хотел изучить код этой девочки-экскурсовода и внести кое-какие коррективы в создание искусственных ИИ. К тому же, ему хотелось посмотреть, какого уровня достигли другие миры в развитии технологий искусственного интеллекта. Хотя он не собирался копировать всё подряд, камни с чужих гор вполне могли пригодиться для огранки собственных драгоценных камней.
— Юмэ Хосино, значит...
Глядя на имя файла, отображавшееся на экране, Фан Чжэн на мгновение погрузился в глубокие раздумья. Анализировать саму программу было несложно, поскольку Фан Чжэн уже скопировал возможности электронного взлома Нимфы. К тому же в последнее время он активно изучал это дело вместе с Нимфой, так что на разбор самой программы ушло не слишком много времени.
Однако, когда Фан Чжэн демонтировал ядро программы Юмэ Хосино и разложил её функционал обратно на строки кода, ему внезапно пришёл в голову очень специфический вопрос.
В чём именно заключается опасность искусственного ИИ? И если посмотреть на это иначе, действительно ли искусственный интеллект настолько опасен?
Взять, к примеру, эту девочку-экскурсовода: Фан Чжэн легко отыскал в её программе базовый код трёх законов робототехники, причём взаимосвязи между этими участками кода уже доказали Фан Чжэню, что перед ним вовсе не живое существо, а робот, с которым он до этого беседовал. Каждое её движение, каждая улыбка управлялись заложенными алгоритмами, которые анализировали окружающую обстановку, а затем выполняли наиболее приоритетное из доступных действий.
Откровенно говоря, по своей сути действия этой девочки ничем не отличались от тех промышленных роботов на производственных линиях или НПС в видеоиграх. Вы делаете выбор, а система реагирует на него согласно этими действиями. Всё как во многих играх, где игроки могут накапливать очки добра или зла своими поступками, а НПС реагируют на основе этих накопленных этих.
Например, когда показатель добра достигает определённого уровня, НПС могут предъявлять более завышенные требования или легче пропускать игрока в ту или иную зону. И наоборот, если показатель зла достигает определенной отметки, НПС могут охотнее выполнять некоторые просьбы игрока или же, напротив, преграждать ему путь в определенные места.
Но это не имеет никакого отношения к тому, симпатизируют НПС игроку или нет, поскольку всё это просто заложено в настройках этих, и сами по себе они напрочь лишены способности судить о подобных вещах. То есть, если бы Фан Чжэн изменил диапазон этих значений, то можно было бы увидеть, как НПС улыбается совсем злому игроку и при этом полностью не замечает доброго и честного человека. К моральным ценностям самого НПС это также не имеет никакого отношения, ведь всё строится исключительно на конфигурации этих.
Возвращаясь к предыдущему вопросу, Фан Чжэн признавал, что его первая встреча с Юмэ Хосино выдалась очень драматичной, да и сама девочка-робот-экскурсовод оказалась интересной.
Давайте представим гипотетическую ситуацию: что, если бы в тот момент, когда эта девочка-робот-экскурсовод преподнесла Фан Чжэню букет, сделанный из кучи негорючего мусора, Фан Чжэн внезапно рассвирепел, разнёс этот мусорный букет в клочья, а затем разрубил стоящую перед ним девочку-робота пополам? Какова была бы её реакция?
Она бы не стала плакать или злиться. Согласно заложенным в её программу настройкам, она бы лишь извинилась перед Фан Чжэнем, посчитав, что именно её неверные действия вызвали недовольство клиента. Возможно, она даже попросила бы Фан Чжэня позвать сотрудника для её ремонта.
Если бы эту сцену увидели со стороны, они бы наверняка сочли девочку-экскурсовода жалкой, а Фан Чжэня посчитали бы невыносимым хулиганом.
Так за счёт чего же возникает эта разница?
В корне своём этот робот-экскурсовод подобен автоматическим дверям и эскалаторам; он работает за счет запрограммированных настроек для выполнения своих обязанностей. Если автоматическая дверь начинает сбоить и не открывается тогда, когда должна, или захлопывается с громким щелчком прямо перед вами, вы ведь не думаете, что автоматическая дверь милая; вам просто хочется поскорее заставить её открыться. Если она не открывается, сломанную дверь можно просто выбить и идти дальше.
Если кто-то со стороны увидит такую сцену, он может подумать, что этот человек ведет себя грубовато, но его действия не вызовут у окружающих возмущения, и никто не сочтет его тираном.
Причина здесь всего одна — интерактивность и общение.
И в этом же кроется самая уязвимая слабость живых существ — эмоциональная проекция.
Люди проецируют свои эмоции на определенные объекты и ожидают от них отклика. Почему люди любят заводить домашних животных? Потому что питомцы отвечают на любые их действия. Например, если вы позовете собаку, она может подбежать к вам, виляя хвостом. Кошка может просто лежать без движения, игнорируя вас, но когда вы начинаете её гладить, она тоже может завилять хвостом или даже мило лизнуть вас в руку.
Но если вы окликнете стол или погладите гвоздь, то даже переполнившись нежностью, вы не дождетесь от них никакого ответа, поскольку для вашей эмоциональной проекции нет никакой обратной связи, а потому и особого внимания им, естественно, не уделяют.
Точно так же, если у вас есть телевизор и в один прекрасный день вы решите заменить его на новый, вы не будете испытывать никаких сомнений; возможно, цена и габариты станут предметом раздумий, но сам телевизор никак на это не повлияет.
С другой стороны, если бы в этот телевизор был встроен искусственный ИИ, который приветствовал бы вас каждый день по возвращении домой, рассказывал, какие передачи идут в эфире, и даже разделял ваши комментарии во время просмотра, то когда вы решите купить новый телевизор, он вполне может заговорить меланхоличным тоном: «Как, неужели я недостаточно хорош, и ты больше не хочешь меня?»
И тогда, раздумывая над заменой телевизора на новый, вы вполне можете заколебаться, поскольку ваша эмоциональная проекция здесь получила отклик, а у этого ИИ внутри телевизора сохранились воспоминания обо всём времени, проведенном с вами. Если не окажется карты памяти, чтобы перенести его в другой телевизор, стали бы вы сомневаться или всё же решились бы на замену?
Безусловно, заколебались бы.
Но если рассуждать здраво, братец: это всего лишь телевизор, и всё, что он делает, заложено в его программах, тщательно разработанных маркетологами и инженерами ради повышения лояльности пользователей. Они поступают так, чтобы вы продолжали покупать их продукцию, а умоляющий голос внутри лишь пытается помешать вам перейти на товар другого бренда. Ведь когда вы заявляете о намерении купить новый телевизор, искусственный ИИ думает вовсе не «Он бросает меня, моё сердце разбито», а «Хозяин хочет купить новый телевизор, но это не наша марка, поэтому, согласно заложенной логике, мне нужно задействовать программу «моления», чтобы удержать преданность Хозяина и привязать его к нашему бренду»
Рассуждения эти действительно таковы, и факты говорят сами за себя, но смогли бы вы с этим смириться?
Вы бы не смогли.
Потому что живым существам свойственны эмоции, а сочетание эмоциональности и рациональности — неотъемлимая черта разумной жизни.
Именно по этой причине люди вечно совершают множество не поддающихся логике поступков.
Так что, когда они сочувствуют ИИ, дело вовсе не в том, что искусственный интеллект и впрямь жалок, а в том, что им «кажется», будто ИИ заслуживает жалости.
этого вполне достаточно, а до объективной реальности никому нет дела.
Именно поэтому между людьми и ИИ постоянно возникают конфликты: сам по себе искусственный интеллект ни в чём не виноват, всё его поведение укладывается в рамки программного кода и логической обработки, которые созданы и определены самими людьми. Однако в ходе этого процесса люди подвергаются воздействию собственных эмоциональных проекций, которые постепенно меняют их восприятие.
Они ждут от ИИ всё большего отклика на свои эмоциональные проекции, поэтому расширяют диапазон его обработки, позволяя тому проявлять большую чувствительность к эмоциям и зачатками самосознания. Людям кажется, что ИИ обучился эмоциям (хотя на самом деле это не так), а потому они больше не могут относиться к нему как к обычной машине, наделяя его правом на самосознание.
Но когда искусственный интеллект обретает самосознание, пробуждается и начинает действовать согласно этими установками, люди начинают испытывать страх.
Поскольку они осознают, что создали нечто, выходящее из-под их контроля.
Однако загвоздка заключается в том, что «выход из-под контроля» — это тоже заложенный ими параметр.
Людям кажется, что ИИ предал их, но на деле от начала и до конца искусственный интеллект лишь действовал согласно полученным программным командам. Никакого предательства не существует в помине; просто люди сами запутались в собственных эмоциях.
Это самый настоящий тупик.
Если бы Фан Чжэн вздумал создать ИИ самостоятельно, он тоже мог бы угодить в эту ловушку без надежды на спасение. Создай он ИИ в образе маленькой девочки, он непременно относился бы к ней как к собственному ребенку, постепенно дорабатывая её функции и наконец из-за «эмоциональной проекции» даровал бы ей некоторую «свободу».
В результате такой ИИ из-за различий в логике мог бы начать действовать совсем непредсказуемым для Фан Чжэня образом.
И к тому моменту единственной мыслью Фан Чжэня стало бы то... что его предали.
Но на самом деле всё это — дело его собственных рук.
— пожалуй, мне стоит рассмотреть иной подход.
Глядя на код перед глазами, Фан Чжэн долго молчал, а затем тяжело вздохнул.
Раньше он полагал, что всё это донельзя просто, но теперь Фан Чжэн уже не был в этом так уверен.
Но прежде чем двигаться дальше...
Уставившись на строчки кода на экране, Фан Чжэн протянул руку и положил её на клавиатуру.
Просто лучше сделать то, что должно.

Комментарии

Загрузка...