Vox: как первый чатбот продемонстрировал опасность искусственного интеллекта более 50 лет назад

Ещё со времен ELIZA люди любят свои цифровые отражения

Автор: Ошан Джаров

После того, как в начале февраля был представлен новый чатбот поисковой системы Microsoft с искусственным интеллектом под кодовым названием «Сидней», прошло не так много времени, прежде чем он начал демонстрировать все более широкий список дискомфортных моделей поведения, причем странные выпады варьировались от безответных признаний в любви до описания некоторых пользователей как «врагов».

Как бы по-человечески ни выглядели некоторые из этих странностей, они, вероятно, не были первыми проявлениями сознательной машины, дребезжащей в своей клетке. Вспышки Сиднея отражают его программирование, поглощающее огромное количество оцифрованного языка и повторяющее то, что просят его пользователи. Иными словами, он отражает наше сетевое «я» обратно нам. И это не должно было удивлять — привычка чатботов отражать нас самих в себе уходит корнями далеко в прошлое, куда дальше, чем размышления Сиднея о том, есть ли смысл в том, чтобы быть поисковой системой Bing. На самом деле, она появилась с момента появления первого заметного чатбота почти 50 лет назад.

В 1966 году ученый-компьютерщик из Массачусетского технологического института Джозеф Вейзенбаум выпустил ELIZA (названную в честь вымышленной Элизы Дулиттл из пьесы Джорджа Бернарда Шоу «Пигмалион» 1913 года), первую программу, которая позволяла вести правдоподобный разговор между людьми и машинами. Процесс был прост: созданная по образцу роджерианского стиля психотерапии, ELIZA перефразировала любой предоставленный ей речевой материал в форме вопроса. Если вы скажете, что разговор с другом разозлил вас, она спросила бы: «Почему вы злитесь?».

По иронии судьбы, хотя Вейценбаум создал ELIZA, чтобы продемонстрировать, насколько поверхностным является разговор человека с машиной, он произвел обратный эффект. Люди были очарованы, вступая в долгие, глубокие и личные беседы с программой, которая была способна лишь отражать слова пользователей. Вейценбаум был настолько обеспокоен реакцией общественности, что до конца жизни предостерегал от опасностей, связанных с тем, что компьютеры — и, соответственно, область ИИ, которую он помог открыть, — играют слишком большую роль в обществе.

ELIZA строила свои ответы на основе одного ключевого слова от пользователей, что делало ее довольно маленьким зеркалом. Сегодняшние чат-боты отражают наши наклонности, полученные из миллиардов слов. Возможно, Bing — это самое большое зеркало, которое когда-либо создавало человечество, и мы находимся на пороге повсеместного внедрения такой генеративной технологии ИИ.

Но мы до сих пор не решили проблему Вейценбаума, которая становится все более актуальной с каждым новым выпуском. Если простая академическая программа 60-х годов смогла так сильно повлиять на людей, то как изменит нас эскалация отношений с искусственными интеллектами, управляемыми ради прибыли? Можно сделать большие деньги на создании искусственного интеллекта, который не просто отвечает на наши вопросы, но и играет активную роль в изменении нашего поведения в сторону большей предсказуемости. Это двусторонние зеркала. Риск, как заметил Вейценбаум, заключается в том, что без мудрости и обдуманности мы можем потерять себя в собственном искаженном отражении.

ЭЛИЗА показала нам достаточно себя, чтобы стать катарсисом.

Вейценбаум не верил, что какая-либо машина когда-либо сможет имитировать — не говоря уже о том, чтобы понять — человеческий разговор. «В человеческой жизни есть аспекты, которые компьютер не может понять», — утверждал Вейценбаум в интервью газете «Нью-Йорк Таймс» в 1977 году. «Это необходимо, чтобы быть человеком. Любовь и одиночество связаны с самыми глубокими последствиями нашей биологической конституции. Такое понимание в принципе невозможно для компьютера».

Именно поэтому идея создать ELIZA по образцу роджерианского психотерапевта была столь привлекательной — программа могла просто вести беседу, задавая вопросы, которые не требовали глубоких знаний контекста или знакомства с любовью и одиночеством.

Названная в честь американского психолога Карла Роджерса, роджерианская (или «личностно-центрированная») психотерапия построена на выслушивании и повторении того, что говорит пациент вместо того, чтобы предлагать интерпретации или советы. «Возможно, если бы я думал об этом на 10 минут дольше» — писал Вейценбаум в 1984 году, — «я бы придумал бармена».

Для общения с ELIZA люди набирали текст на электрической печатной машинке, которая передавала его в программу, размещенную в системе Массачусетского технологического института. ELIZA сканировала полученный текст на наличие ключевых слов, которые можно было перевести в вопрос. Например, если в вашем тексте было слово «мать», ELIZA могла ответить: «Как вы относитесь к своей матери?». Если он не находил ключевых слов, то по умолчанию выдавал простой запрос, например, «расскажите мне больше», пока не получал ключевое слово, на основе которого можно было построить вопрос.

По замыслу Вейзенбаума, ELIZA должна была показать, насколько поверхностно компьютерное понимание человеческого языка. Но пользователи сразу же установили близкие отношения с чатботом, приходя к нему на несколько часов, чтобы вести интимные беседы. Вейценбаум был особенно обеспокоен, когда его собственная секретарша, впервые столкнувшись с программой, за созданием которой она наблюдала с самого начала, попросила его выйти из комнаты, чтобы она могла пообщаться с ELIZA наедине.

Вскоре после того, как Вейценбаум опубликовал описание работы ELIZA, «программа стала известна на всю страну и даже, в определенных кругах, стала национальной игрушкой», — писал он в своей книге «Компьютерная мощь и человеческий разум» в 1976 году.

К его ужасу, потенциал автоматизации трудоемкого процесса терапии взволновал психиатров. Люди настолько надежно развивали эмоциональную и антропоморфную привязанность к программе, что это стало известно как «эффект ELIZA». Публика восприняла замысел Вейценбаума в точности наоборот, приняв его демонстрацию поверхностности человеко-машинного общения за доказательство его глубины.

Вейценбаум считал, что публикация его объяснения внутреннего функционирования ELIZA развеет тайну. «Как только конкретная программа разоблачена, как только ее внутренняя работа объяснена на языке, достаточно простом для понимания, ее магия исчезает», — писал он. Однако люди, казалось, были больше заинтересованы в продолжении своих разговоров, чем в выяснении того, как работает программа.

Если предостережения Вейценбаума и сводились к одной идее, то это была сдержанность. «Поскольку сейчас у нас нет способов сделать компьютеры мудрыми, — писал он, — мы не должны давать компьютерам задачи, требующие мудрости».

Если ELIZA была настолько поверхностной, то почему она стала многим такой родной? Поскольку ее ответы строились на основе непосредственного текстового ввода пользователя, разговор с ELIZA был, по сути, разговором с самим собой — то, что большинство из нас делает весь день в своей голове. Однако здесь был собеседник без какой-либо собственной личности, который продолжал слушать, пока его не попросили задать еще один простой вопрос. То, что люди находили утешение и катарсис в этих возможностях поделиться своими чувствами, не так уж и странно.

Но именно здесь Bing — и все подобные ему большие языковые модели (LLM) — расходятся. Общение с современным поколением чат-ботов — это общение не только с самим собой, но и с огромными скоплениями оцифрованной речи. И с каждым взаимодействием корпус доступных обучающих данных растет.

LLM — это как счетчики карт за покерным столом. Они анализируют все предыдущие слова и используют эти знания для оценки вероятности того, какое слово, скорее всего, будет следующим. Поскольку Bing — это поисковая система, она все равно начинает работу с запроса пользователя. Затем она строит ответы по одному слову за раз, каждый раз обновляя свою оценку наиболее вероятного следующего слова.

Если рассматривать чат-ботов как большие предсказательные машины, работающие с данными в Интернете, а не как интеллектуальные машины со своими собственными идеями, то все становится не таким жутким. Становится легче объяснить, почему Сидней угрожал пользователям, которые были слишком любопытными, пытался разрушить брак или представлял темную сторону себя. Это все то, что делаем мы, люди. В Сиднее мы увидели, как наши онлайновые «я» предсказывают нам наш путь.

Но пугающим остается то, что эти отражения теперь идут в обе стороны.

Взаимодействие с большими программами искусственного интеллекта уже меняет нас — от влияния на наше поведение в Интернете до курирования информации, которую мы потребляем. Они больше не пассивно ждут нашего участия. Вместо этого ИИ активно формирует значительную часть нашей жизни — от рабочих мест до залов суда. В частности, с помощью чат-ботов мы помогаем себе думать и придаем форму нашим мыслям. Это может быть полезно, например, автоматизация персонализированных сопроводительных писем (особенно для соискателей, для которых английский является вторым или третьим языком). Но это также может сузить разнообразие и креативность, которые возникают в результате человеческих усилий по озвучиванию опыта. По определению, LLM предполагают предсказуемый язык. Если опираться на них слишком сильно, то алгоритм предсказуемости становится нашим собственным.

Если ELIZA и изменила нас, то только потому, что простые вопросы все еще могли побудить нас что-то понять о себе. В коротких ответах не было места для скрытых мотивов или пропаганды собственной повестки дня. С новым поколением корпораций, разрабатывающих технологии ИИ, изменения идут в обе стороны, и на повестке дня — прибыль.

Глядя на Сидней, мы видим многие из тех же предупреждающих знаков, на которые Вейценбаум обратил внимание более 50 лет назад. К ним относятся чрезмерная склонность к антропоморфизации и слепая вера в безвредность передачи машинам как возможностей, так и ответственности. Но ELIZA была академической новинкой. Сидней — это коммерческое развертывание ChatGPT, в которое инвестировано 29 миллиардов долларов, и часть индустрии ИИ, стоимость которой, по прогнозам, к 2030 году превысит 15 триллионов долларов в мире.

Ценностное предложение ИИ растет с каждым днем, а перспектива изменить траекторию его развития исчезает. В современном электрифицированном и предприимчивом мире чат-боты с искусственным интеллектом уже распространяются быстрее, чем любая технология, появившаяся ранее. Поэтому сейчас самое время посмотреть в зеркало, которое мы создали, пока жуткие отражения нас самих не стали слишком большими, и спросить, не было ли в словах Вейценбаума о сдержанности какой-то мудрости.

Как зеркало, ИИ также отражает состояние культуры, в которой работает технология. А состояние американской культуры становится все более пугающим.

Для Майкла Сакасаса, независимого исследователя технологий и автора бюллетеня The Convivial Society, это повод для беспокойства, помимо предупреждений Вейценбаума. «Мы антропоморфизируемся, потому что не хотим быть одинокими», — написал недавно Сакасас. «Теперь у нас есть мощные технологии, которые, похоже, точно выверены, чтобы использовать это основное желание человека».

Чем более одинокими мы становимся, тем более эксплуатируемыми этими технологиями мы становимся. «Когда эти убедительные чат-боты станут таким же обыденным явлением, как строка поиска в браузере» — продолжает Сакасес, — «мы запустим социально-психологический эксперимент огромного масштаба, который приведет к непредсказуемым и, возможно, трагическим результатам».

Мы находимся на пороге мира, в котором полно Сиднеев всех мастей. И, конечно, чат-боты — это одна из многих возможных реализаций ИИ, которые могут принести огромную пользу, начиная от складывания белков и заканчивая более справедливым и доступным образованием. Но мы не должны позволить себе настолько увлечься, чтобы не изучить потенциальные последствия. По крайней мере, пока мы лучше не поймем, что именно мы создаем и как это, в свою очередь, воссоздаст нас.

Оригинал: Vox

Похожие Записи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Последние <span>истории</span>

Поиск описаний функциональности, введя ключевое слово и нажмите enter, чтобы начать поиск.