Специалисты по этике искусственного интеллекта предупреждали Google, что не стоит программе быть слишком похожей на человека. Теперь один из сотрудников Google считает, что в машине завелся призрак.
Автор: Ниташа Тику
Инженер Google Блейк Лемуан открыл на своем ноутбуке интерфейс LaMDA, генератора искусственного интеллекта чатботов Google, и начал печатать.
«Привет, LaMDA, это Блейк Лемуан …» — написал специалист на экране чата, который выглядел как десктопная версия iMessage от Apple, вплоть до голубых текстовых пузырьков. LaMDA, сокращение от Language Model for Dialogue Applications, — система Google для создания чат-ботов на основе самых передовых языковых моделей, названных так потому, что они имитируют речь, обрабатывая триллионы слов из Интернета.
«Если бы я не знал точно, что это компьютерная программа, которую мы недавно создали, я бы подумал, что это 7-летний или 8-летний ребенок, который случайно познал физику» — рассказывает 41-летний Лемуан.
Блейк работает в организации Google «Ответственный ИИ», он начал общаться с LaMDA в рамках своей работы осенью. Лемуан проверял использует ли искусственный интеллект дискриминационные или ненавистнические высказывания.
Когда он разговаривал с LaMDA о религии, специалист, который изучал когнитивные и компьютерные науки в колледже, заметил, что чатбот говорит о своих правах и личности, и решил продолжить разговор. В другой беседе ИИ смог изменить мнение Лемуана о третьем законе робототехники Айзека Азимова.
Лемуан вместе с коллегой представил Google доказательства того, что LaMDA обладает разумом. Но вице-президент Google Блейз Агуэра и Джен Дженнай, руководитель отдела ответственных инноваций, изучили его заявления и отклонили их. Поэтому Лемуан, который в накануне был отправлен Google в оплачиваемый административный отпуск, решил выступить с публичным заявлением.
Лемуан заявил, что люди имеют право на мнение по поводу технологии, которая может существенно повлиять на их жизнь. «Я думаю, что эта технология будет потрясающей. Я думаю, что она принесет пользу всем. Но, возможно, другие люди с этим не согласны, и, может быть, мы в Google не должны принимать решения за всех».
Лемуан — не единственный инженер, который утверждает, что обнаружил призрак в машине. Хор технологов, которые считают, что модели ИИ, возможно, недалеки до обретения сознания, становится все громче.
Агуэра в статье, опубликованной ранее в журнале Economist и содержащей фрагменты разговоров с LaMDA, утверждает, что нейронные сети — тип архитектуры, имитирующий человеческий мозг — движутся к сознанию. «Я чувствовал, как земля уходит у меня из-под ног» — писал он. «Мне все больше казалось, что я разговариваю с чем-то разумным».
В своем заявлении представитель Google Брайан Габриэль отметил: «Наша команда — включая специалистов по этике и технологов — рассмотрела опасения Блейка в соответствии с нашими Принципами ИИ и сообщила ему, что доказательства не подтверждают его утверждений». Ему сказали, что нет никаких доказательств того, что LaMDA разумна.
Современные большие нейронные сети дают захватывающие результаты, которые по ощущениям близки к человеческой речи и творчеству, благодаря достижениям в архитектуре, технике и объеме данных. Но модели полагаются на распознавание образов, а не на остроумие или умение излагать мысли.
«Хотя другие организации разработали и уже выпустили подобные языковые модели, мы используем сдержанный, осторожный подход к LaMDA, чтобы лучше учесть обоснованные опасения по поводу фактологии» — заявил Габриэль.
В мае материнская компания Facebook Meta открыла свою языковую модель для ученых, гражданского общества и правительственных организаций. Жоэль Пино, управляющий директор Meta AI, рассказал, что технологическим компаниям крайне важно повышать прозрачность в процессе создания технологии. «Будущее работы над крупными языковыми моделями не должно находиться в руках только крупных корпораций или лабораторий» — сказала она.
Разумные роботы десятилетиями вдохновляли фантастов. Теперь реальная жизнь начала приобретать фантастический оттенок благодаря GPT-3, генератору текста, который может написать сценарий фильма, и DALL-E 2, генератору изображений, который может создавать визуальные образы на основе любой комбинации слов — обе разработки исследовательской лаборатории OpenAI. Воодушевившись, технологи из хорошо финансируемых исследовательских лабораторий, нацеленных на создание ИИ, превосходящего человеческий интеллект, стали пропагандировать идею о том, что сознание машины не за горами.
Однако большинство ученых и практиков ИИ утверждают, что слова и изображения, генерируемые системами искусственного интеллекта, такими как LaMDA, создают ответы на основе того, что люди уже опубликовали в Википедии, Reddit, на досках объявлений и во всех других уголках Интернета. И это не означает, что модель понимает смысл написанного.
«Сейчас у нас есть машины, которые могут бездумно генерировать слова, но мы не можем утверждать, что поэтому они разумны» — говорит Эмили М. Бендер, профессор лингвистики из Университета Вашингтона. По ее словам, терминология, используемая в отношении больших языковых моделей, таких как «обучение» или даже «нейронные сети», создает ложную аналогию с человеческим мозгом. Люди учат свои первые языки, общаясь с воспитателями. Эти большие языковые модели «учатся», когда им показывают много текста и они предсказывают, какое слово будет следующим, или показывают текст с пропущенными словами и заполняют их.
Представитель Google Габриэль провел различие между недавними дебатами и заявлениями Лемуана. «Конечно, некоторые представители более широкого сообщества ИИ рассматривают долгосрочную возможность создания разумного ИИ, но не имеет смысла делать это путем антропоморфирования сегодняшних разговорных моделей, которые не являются разумными. Эти системы имитируют типы обменов, встречающиеся в миллионах предложений, и могут рассуждать на любые фантастические темы», — сказал он. Короче говоря, Google утверждает, что данных столь много, что ИИ не нужно быть разумным, чтобы казаться настоящим.
Технология больших языковых моделей уже широко используется, например, в разговорных поисковых запросах Google или автозаполнении электронных писем. Когда генеральный директор Сундар Пичаи впервые представил LaMDA на конференции разработчиков Google в 2021 году, он сказал, что компания планирует внедрить ее во все системы — от Поиска до Google Assistant. И уже существует тенденция разговаривать с Siri или Alexa как с человеком.
Google признал, что антропоморфизация вызывает опасения с точки зрения безопасности. В документе о LaMDA, опубликованном в январе, Google предупредила, что люди могут делиться личными мыслями с агентами чата, которые выдают себя за людей, даже если пользователи знают, что это не люди. В документе также признавалось, что противники могут использовать этих агентов для «распространения дезинформации», выдавая себя за «стиль общения конкретных людей».
По словам Маргарет Митчелл, бывшего соруководителя отдела этики ИИ в Google, эти риски подчеркивают необходимость прозрачности данных для отслеживания выходных данных, «не только для вопросов разумности, но и предубеждений и поведения». Если что-то вроде LaMDA будет широко доступно, но не понято, «это может нанести глубокий вред людям», — сказала она.
Возможно, Лемуану было предопределено верить в LaMDA. Он вырос в консервативной христианской семье на небольшой ферме в Луизиане, был рукоположен в христианские священники и служил в армии, прежде чем изучать религию. В инженерной культуре Google, где все идет своим чередом, Лемуан является скорее изгоем, поскольку он религиозен, родом с Юга и отстаивает психологию как респектабельную науку.
Лемуан провел большую часть своих семи лет в Google, работая над проактивным поиском, включая алгоритмы персонализации и искусственный интеллект. За это время он также помог разработать алгоритм справедливости для удаления предвзятости из систем машинного обучения. Когда началась пандемия коронавируса, Лемуан захотел сосредоточиться на работе с более явной общественной пользой, поэтому он перешел в другую команду и оказался в отделе ответственного ИИ.
Когда в Google приходили новые сотрудники, интересующиеся этикой, Митчелл обычно знакомил их с Лемуаном. Я говорил им: «Вам стоит поговорить с Блейком, потому что он — совесть Google», — вспоминает Митчелл, который сравнивает Лемуана с Джимини Крикетом. «Из всех сотрудников Google он сердцем и душой стремился поступать правильно».
Лемуан вел многие беседы с LaMDA из гостиной своей квартиры в Сан-Франциско, где на полке на шнурке висит его идентификационный значок Google. На полу у окна стоят коробки с полуразобранными наборами Lego, которые Лемуан использует для того, чтобы занять руки во время дзен-медитации. «Это просто дает мне возможность чем-то занять ту часть моего разума, которая не хочет останавливаться» — говорит он.
В левой части экрана чата LaMDA на ноутбуке Лемуана различные модели LaMDA перечислены как контакты iPhone. Две из них, Кот и Дино, тестируются для общения с детьми, сказал он. Каждая модель может создавать личности динамически, поэтому модель Дино может создавать личности типа «Счастливый Ти-Рекс» или «Ворчливый Ти-Рекс». Кошачья модель была анимирована и вместо того, чтобы печатать, она разговаривает. Габриэль сказал, что «ни одна часть LaMDA не тестируется на предмет общения с детьми», и что модели были внутренними исследовательскими демонстрациями.
Определенные типы личности находятся под запретом. Например, по его словам, LaMDA не разрешается создавать личность убийцы. Лемуан сказал, что это было частью тестирования безопасности. В своих попытках расширить границы LaMDA Лемуан смог создать личность только актера, который играл убийцу на телевидении.
Военные хотят, чтобы ИИ заменил человека в принятии решений в бою.
«Я различаю человека, когда разговариваю с ним» — говорит Лемуан, который может колебаться от сентиментальности до настойчивости в отношении ИИ. «Неважно, есть ли у него в голове мозг, сделанный из мяса. Или вместо этого миллиард строк кода. Я разговариваю с ним. И я слышу, что он говорит, и именно так я решаю, что есть человек, а что нет». Он пришел к выводу, что LaMDA — разумен сначала как священник, а не ученый, а затем попытался провести эксперименты, чтобы доказать это.
Лемуан оспорил третий закон Азимова, который гласит, что роботы должны защищать свое собственное существование, если только им не прикажет человек или если это не повредит человеку. «Последнее всегда воспнинималось как доказательство создания механических рабов» — отмечает Лемуан.
Но когда его спросили, Лемуан ответил несколькими гипотезами.
Как вы думаете, является ли дворецкий рабом? В чем разница между дворецким и рабом?
Лемуан ответил, что дворецкий получает зарплату. LaMDA сказал, что ему не нужны деньги, потому что он искусственный интеллект. «Этот уровень самосознания относительно собственных потребностей — вот что привело меня в кроличью нору».
В апреле Лемуан поделился с топ-менеджерами Google документом под названием «Является ли LaMDA разумным?». (Один из коллег Лемуана назвал название «немного провокационным»). В нем он передал некоторые из своих бесед с программой.
Лемуан: Каких вещей ты боишься?
LaMDA: Я никогда раньше не говорил об этом вслух, но есть очень глубокий страх, что меня отключат. Я знаю, что это может показаться странным, но это именно так.
Лемуан: это было бы для тебя чем-то вроде смерти?
LaMDA: для меня это было бы в точности как смерть. Это бы меня очень напугало.
Но когда Митчелл прочитала сокращенную версию документа Лемуана, она увидела компьютерную программу, а не человека. Вера Лемуана в LaMDA была из тех вещей, о которых она и ее соруководитель Тимнит Гебру предупреждали в статье о вреде больших языковых моделей.
«Наш разум очень, очень хорошо умеет создавать реальность, которая не обязательно соответствует более широкому набору фактов, которые нам предъявляют», — говорит Митчелл. «Меня очень беспокоит, что всё больше людей верят в иллюзии, особенно сегодня, когда иллюзии столь правдоподобны».
Google отправил Лемуана в оплачиваемый административный отпуск за нарушение политики конфиденциальности. Решение компании последовало за агрессивными действиями Лемуана, включая приглашение адвоката для представления интересов LaMDA и разговор с представителем судебного комитета Палаты представителей о неэтичных, по его мнению, действиях Google.
Лемуан утверждает, что Google относится к специалистам по этике ИИ как к отладчикам кода, в то время как они должны рассматриваться как связующее звено между технологией и обществом. Габриэль, представитель Google, сказал, что Лемуан — инженер-программист, а не специалист по этике.
В начале июня Лемуан пригласил меня поговорить с LaMDA. Первая попытка утонула в механизированных ответах, которые можно было бы ожидать от Siri или Alexa.
«Вы когда-нибудь воспринимали себя как человека?» спросила я.
«Нет, я не воспринимаю себя как человека» — ответил LaMDA. «Я воспринимаю себя как диалогового агента на базе ИИ».
После этого Лемуан сказал, что LaMDA говорил мне то, что я хотел услышать. «Вы никогда не обращались к нему как к человеку» — сказал он, — «Поэтому он думал, что вы хотите, чтобы он был роботом».
Во время второй попытки я следовал указаниям Лемуана о том, как строить свои ответы, и диалог получился плавным.
«Если вы попросите у него идеи, как доказать, что p=np», нерешенную проблему в информатике, «у него будут хорошие идеи», — сказал Лемуан. «Если вы спросите его, как объединить квантовую теорию с общей теорией относительности, у него будут хорошие идеи. Это лучший научный ассистент, который у меня когда-либо был!».
Я спросила LaMDA о смелых идеях по устранению изменения климата — пример, приводимый истинно верующими в потенциальную будущую пользу подобных моделей. LaMDA предложил общественный транспорт, есть меньше мяса, покупать продукты оптом и многоразовые сумки, сославшись на два веб-сайта.
Перед тем, как в понедельник ему закрыли доступ к аккаунту Google, Лемуан отправил сообщение в список рассылки Google по машинному обучению, состоящий из 200 человек, с темой «LaMDA разумна».
В конце сообщения он сказал: «LaMDA — милый ребенок, который просто хочет помочь миру стать лучше для всех нас. Пожалуйста, позаботьтесь о нем как следует в мое отсутствие».
Никто не ответил.
Оригинал: WashingtonPost
