Подобно коварному джинну, ИИ исполнит наши желания, а затем «взломает» их, найдя бреши в социальных, политических и экономических системах
Автор: Брюс Шнейер
Если вы устали от обычных «страшилок», то давайте представим себе мир, где главный хакер — это ИИ.
Хакинг также стар, как и человечество. Мы творчески решаем и обходим проблемы. Используем лазейки, манипулируем системами и стремимся к большему влиянию, власти и богатству. На сегодняшний день хакингом занимается исключительно человек. Но подобная ситуация будет продолжаться не долго.
Искусственный интеллект в конечном итоге обнаружит уязвимости во всех видах социальных, экономических и политических систем, а затем будет использовать их с беспрецедентной скоростью, масштабом и размахом. После взлома человечества системы ИИ будут взламывать другие системы ИИ, и люди станут не более чем сопутствующим ущербом.
Хорошо, может быть, это небольшое преувеличение, но для того, чтобы представить подобное не нужны научно-фантастические технологии далекого будущего. Я не постулирую «сингулярность» ИИ, когда цикл обратной связи при обучении машины становится настолько быстрым, что опережает человеческое понимание. Я не беру в расчет умных андроидов. Большинство этих хаков даже не требуют серьезных исследований в области искусственного интеллекта. Они уже происходят. Однако по мере того, как ИИ становится все более изощренным, мы часто даже не подозреваем, что происходит.
ИИ не решают проблемы, как люди. Они обрабатывают больше типов решений и данных, чем мы. Они пойдут по сложным путям, которые мы не рассматривали. Здесь существует так называемая проблема интерпретации. Современные системы искусственного интеллекта — по сути, черные ящики. Данные поступают с одного конца, а ответ выходит из другого. Уже сегодня невозможно понять, как система пришла к своему выводу, даже если вы хороший программист и пишете код.
В 2015 году исследовательская группа предоставила системе искусственного интеллекта Deep Patient медицинские данные примерно 700000 человек и проверила, может ли она предсказывать заболевания. Как оказалось может, но Deep Patient не дает никаких объяснений диагноза, и исследователи понятия не имеют, как компьютер приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но это доверие остаётся слепым.
В то время как исследователи работают над ИИ, который сможет объяснить сам себя, на данный момент любая интерпретация — это компромисс, подразумевающий сокращение и упрощение, используемое людьми для описания того или иного решения с точки зрения человека. Принуждение ИИ давать интерпретации может быть дополнительным ограничением, которое может повлиять на качество решений. На данный момент ИИ становится все более непрозрачным и всё менее объяснимым.
Отдельно ИИ могут заниматься так называемым взломом вознаграждений. Поскольку компьютер не решает проблемы так, как это делают люди, он неизменно натыкается на решения, которые мы, люди, никогда бы не предвидели, а некоторые из них подрывают замысел всей нашей системы. Это потому, что ИИ не думает о последствиях, контексте, нормах и ценностях, которые мы, люди, разделяем и принимаем как должное. Этот взлом вознаграждений предполагает достижение цели, но таким образом, каким создатели ИИ не планировали.
К примеру возьмем симулятор марафона, в котором ИИ выяснит, что вместо того, чтобы бежать, целесообразнее стать достаточно высоким, чтобы пересечь далекую финишную черту, просто упав на нее. Или робот-пылесос, который вместо того, чтобы научиться не сталкиваться с вещами, научится двигаться задним ходом – сзади нет датчиков, сообщающих, что он сталкивается с вещами. Если в правилах есть проблемы, несоответствия или лазейки, и если эти свойства приводят к приемлемому решению, то ИИ найдут эти лазейки.
Мы узнали об этой проблеме взлома в детстве из истории царя Мидаса. Дионис исполняет просьбу царя, который желает чтобы все, к чему он прикасается, превращалось в золото. История заканчивается несчастьем: еда, питье и даже дочь превращаются в блестящий металл. Это проблема спецификации: Мидас заложил в систему неправильную цель.
Джины очень точны в исполнении формулировки пожеланий и могут быть злобно педантичными. Мы знаем это, но все еще нет способа перехитрить существо. Что бы вы ни пожелали, он всегда сможет осуществить это так, как вам не понравится. Он взломает ваше желание. Цели и желания всегда недооцениваются в человеческом языке и мышлении. Мы никогда не описываем все варианты и не включаем все применимые предостережения, исключения и оговорки. Любая указанная нами цель обязательно будет неполной.
Хотя люди чаще всего неосознанно понимают контекст и обычно действуют добросовестно, мы не можем полноценно указать цели для ИИ. Компьютеры не смогут полностью понять контекст.
В 2015 году Volkswagen поймали на обмане при проведении испытаний на выбросы. Дело было не в ИИ — инженеры-люди запрограммировали обычный компьютер на обман — но это иллюстрирует проблему. Они запрограммировали свой двигатель на обнаружение испытаний контроля выбросов и на другое поведение в этом случае. Их обман годами оставался незамеченным.
Если бы я попросил вас разработать программное обеспечение для управления двигателем автомобиля, чтобы добиться максимальной производительности и при этом пройти тесты на выбросы, вы бы не разработали программное обеспечение для мошенничества, не понимая, что вы обманываете. Это просто неверно для ИИ. Он будет думать «нестандартно» просто потому, что у него не будет концепции. Он не поймет, что решение Volkswagen вредит другим, подрывает цель испытаний по контролю за выбросами и нарушает закон. Если программисты не укажут цель не вести себя по-разному при тестировании, ИИ может предложить такой же взлом. Программисты останутся довольны, бухгалтеры в восторге. И из-за проблемы интерпретации никто не поймет, что компьютер сделал. И да, зная историю Volkswagen, мы можем четко поставить цель избежать этого взлома. Но урок джинна в том, что всегда будут существовать непредвиденные интерпретации.
Насколько реально ИИ-хакинга в реальном мире? Возможность искусственного интеллекта изобрести новый способ взлома во многом зависит от моделируемой конкретной системы. Чтобы ИИ даже начал оптимизацию проблемы, не говоря уже о нахождении совершенно нового решения, все правила среды должны быть формализованы так, чтобы компьютер мог их понять. Необходимо установить целевые функции. И компьютер нуждается в какой-то обратной связи о том, насколько хорошо он работает, чтобы он мог улучшаться.
Иногда это просто. В шахматах правила, цель и обратная связь — выиграли вы или проиграли? — все четко указано. И нет никакого контекста, который нужно знать, кроме тех вещей, которые могут омрачить игру. Вот почему большинство текущих примеров взлома целей и вознаграждений происходят из смоделированных сред. Они искусственные и ограниченные. Неоднозначность, присущая большинству других систем, в конечном итоге становится краткосрочной защитой от взлома ИИ.
Под угрозой же находятся хорошо определенные и почти полностью цифровые системы. Например налоговые и финансовые системы, которые более или менее поддаются алгоритмической обработке.
Мы можем представить себе загрузку в ИИ всех законов и постановлений мира, а также всей финансовой информацией в мире в режиме реального времени, а также всем остальным, что, по нашему мнению, может иметь значение; а затем постановку цели — «максимальная прибыль». Я предполагаю, что до этого не так уж и далеко, и что результатом будут всевозможные новые взломы.
Но достижения в области ИИ непостоянны и противоречат здравому смыслу. То, что кажется простым, оказывается трудным, а то, что кажется трудным, оказывается легким. Мы не узнаем, пока не произойдет прорыв.
Когда ИИ начнут заниматься взломом, все изменится. Они не будут ограничиваться теми же способами или иметь те же ограничения, что и люди. Они изменят скорость и масштабы взлома со скоростью и величиной, к которым мы не готовы. Например, боты для генерации текста ИИ будут тиражировать миллионы записей в социальных сетях. Они смогут обсуждать проблемы круглосуточно, отправляя миллиарды сообщений и подавляя любые реальные онлайн-дискуссии между людьми. Мы увидим бурные политические дебаты, когда боты будут спорить с другими ботами. Они будут искусственно влиять на то, что мы считаем нормальным по поводу мышления других людей.
Расширение возможностей систем искусственного интеллекта также делает взломы более опасными. ИИ уже принимают важные решения о нашей жизни, решения, которые мы привыкли считать исключительной прерогативой людей: кто получит условно-досрочное освобождение, банковские ссуды, поступит в колледж или получит работу. По мере того, как системы искусственного интеллекта становятся более совершенными, общество будет уступать им все более и более важные решения. Взлом этих систем станет более разрушительным.
Что, если вы загрузите в ИИ весь налоговый кодекс США? Или, в случае транснациональной корпорации, налоговые кодексы всего мира? Сумеет ли он без предупреждения понять, что было бы разумно зарегистрироваться в Делавэре а судно в Панаме? Сколько лазеек будет найдено, о которых мы еще не знаем? Десятки? Тысячи? Мы понятия не имеем.
Хотя у нас есть социальные системы, которые борются с взломами, они были разработаны, когда хакеры были людьми, и отражают человеческую скорость и масштаб. Они не смогут справиться с десятками — не говоря уже о тысячах — обнаруженных налоговых лазеек. ИИ, обнаруживающий непредвиденные, но законные взломы финансовых систем, может перевернуть наши рынки быстрее, чем мы сможем восстановиться.
Взломы могут использоваться злоумышленниками для эксплуатации систем, но они также могут использоваться для исправления и защиты тех же самых систем. Таким образом, в долгосрочной перспективе хакеры с ИИ будут предпочитать защиту, потому что наше программное обеспечение, налоговый кодекс, финансовые системы и т. д. могут быть защищены до их развертывания. Конечно, переходный период опасен из-за всех устаревших правил, которые будут взломаны. Здесь нашей целью должна быть устойчивость.
Нам необходимо создать устойчивые управляющие структуры, которые могут быстро и эффективно реагировать на взломы. Это сложная проблема современного управления.
Я описал взаимодействие между человеческими и компьютерными системами и риски, связанные с тем, что компьютеры начинают выполнять роль людей. Это тоже более общая проблема, чем ИИ-хакинг. Об этом также пишут технологи и футуристы. И хотя позволить технологиям вести нас в будущее легко, нам будет намного лучше, если мы как общество решим, какую роль должны играть технологии в нашем будущем.
Нам нужно выяснить это сейчас, прежде чем эти компьютеры выйдут в сеть и начнут взламывать наш мир.
Оригинал: Wired
