Автор: Брайан Уолш
Недавно Бюллетень ученых-атомщиков обнародовал результаты ежегодной перенастройки Часов Судного дня, которые призваны наглядно показать, насколько близко, по мнению экспертов организации, мир находится к концу. С учетом целого ряда экзистенциальных рисков, от обострения угрозы ядерной войны до изменения климата и роста авторитаризма, стрелки были установлены на 85 секунд до полуночи (89 секунд в 2025), что ближе к 12 часам, чем когда-либо.
Накануне генеральный директор Anthropic Дарио Амодей, который вполне может считаться королем-философом в области искусственного интеллекта, опубликовал крупное эссе под названием «Подростковый возраст технологии». Его вывод: «Человечество вот-вот получит почти невообразимую власть, но совершенно неясно, достаточно ли зрелы наши социальные, политические и технологические системы, чтобы ею распоряжаться».
Если мы не справимся с этим «серьезным вызовом цивилизации», как выразился Амодей, мир вполне может погрузиться в мрак полуночи.
Как я уже говорил, сейчас хороший момент для мрачных прогнозов. Но анализ этих двух очень разных попыток донести информацию об экзистенциальном риске — одна из которых является продуктом середины 20-го века, а другая — нашего собственного момента неопределенности — поднимает вопрос. К кому нам следует прислушиваться? К пророкам, кричащим за воротами? Или к первосвященнику, который также управляет храмом?
Тик-так
Часы Судного дня существуют так давно — они были созданы в 1947 году, всего через два года после того, как первое ядерное оружие уничтожило Хиросиму, — что легко забыть, насколько радикальным было это изобретение. Не только сами часы, которые, возможно, являются одним из самых знаковых и впечатляющих символов XX века, но и люди, которые их создали.
Бюллетень ученых-атомщиков был основан сразу после войны такими учеными, как Дж. Роберт Оппенгеймер — теми самыми мужчинами и женщинами, которые создали ту самую бомбу, которой они теперь боялись. Это придавало их предупреждениям исключительную моральную ясность. В момент особенно высокого уровня доверия к институтам, здесь собрались люди, которые знали о работе бомбы больше, чем кто-либо другой, и отчаянно пытались донести до общественности, что мы находимся на пути к ядерному уничтожению.
На стороне ученых из «Бюллетеня» была реальность. После Хиросимы и Нагасаки никто не мог усомниться в ужасающей силе этих бомб. К концу 1950-х годов ежегодно по всему миру проводились десятки ядерных испытаний. То, что ядерное оружие, особенно в тот момент, представляло явную и беспрецедентную угрозу существованию человечества, было по сути неоспоримым фактом, даже для политиков и генералов, эти арсеналы создававших.
Но именно то, что давало ученым из «Бюллетеня» моральный авторитет — их готовность порвать с правительством, которому они когда-то служили, — стоило им власти — единственной вещи, необходимой для устранения этих рисков.
Несмотря на то, что Часы Судного дня остаются ярким символом, по сути они являются средством коммуникации, которым пользуются люди, не имеющие никакого влияния на то, что они измеряют. Это слова пророка без какой-либо власти. Когда Бюллетень предупреждает, что новый договор СНВ истекает или что ядерные державы модернизируют свои арсеналы, он на самом деле не может ничего с этим поделать, кроме как надеяться, что политики — и общественность — прислушаются.
И чем более общими становятся эти предупреждения, тем труднее их расслышать.
С тех пор как окончание холодной войны сняло с повестки дня вопрос о ядерной войне — по крайней мере, временно — расчеты, лежащие в основе Часов Судного дня, стали также охватывать изменение климата, биобезопасность, ухудшение инфраструктуры здравоохранения, новые технологические риски, такие как «зеркальная жизнь», искусственный интеллект и автократия. Все эти проблемы реальны, и каждая из них по-своему угрожает жизни на этой планете. Но в совокупности они затуманивают пугающую точность, которую обещали Часы. То, что когда-то казалось часовым механизмом, оказывается догадкой, всего лишь еще одним предупреждением среди множества других.
Инсайдер
Амодея чаще, чем большинство лидеров в области искусственного интеллекта, сравнивают с Оппенгеймером.
В первую очередь Амодей был ученым-физиком. Так же как Оппенгеймер провел важные исследования, которые помогли проложить путь к созданию атомной бомбы, Амодей проделал значительную работу над «законами масштабирования», которые помогли раскрыть потенциал искусственного интеллекта. Как и Оппенгеймер, чей настоящий талант заключался в организаторских способностях, необходимых для управления Манхэттенским проектом, Амодей продемонстрировал высокие лидерские качества в корпоративном секторе.
И, как Оппенгеймер — по крайней мере, после войны — Амодей не стеснялся использовать свое общественное положение, чтобы недвусмысленно предупреждать о технологии, которую он помог создать. Если бы Оппенгеймер имел доступ к современным инструментам для ведения блогов, я гарантирую, что он написал бы что-то вроде «Подросткового возраста технологии», хотя и с немного большим количеством санскрита.
Разница между этими фигурами заключается в контроле. Почти сразу контроль над творением Оппенгеймера и его коллег-ученых перешел к правительству и военным, а к 1954 году доступа к секретной информации лишился и сам Оппенгеймер. С тех пор он и его коллеги в основном были голосами извне.
Амодей, напротив, выступает в качестве генерального директора Anthropic — компании, которая в настоящее время, пожалуй, больше всех других стремится довести ИИ до предела его возможностей. Когда он излагает революционные видения ИИ как «страны гениев в дата-центре» или проходит по сценариям катастроф, от созданного ИИ биологического оружия до массовой безработицы и концентрации богатства, вызванных технологическим прогрессом, он говорит изнутри храма власти.
Это почти как если бы стратеги, разрабатывающие планы ядерной войны, также манипулировали стрелками Часов Судного дня. (Я говорю «почти», потому что есть одно важное отличие: в то время как ядерное оружие обещало только разрушение, ИИ обещает как огромные преимущества, так и ужасающие риски.)
Все это оставляет вопрос: дает ли тот факт, что Амодей имеет такую власть, чтобы влиять на направление развития ИИ, его предупреждениям больше весомости, чем предупреждениям внешних экспертов, таких как ученые из Bulletin, или меньше?
Который час?
Модель Бюллетеня отличается высокой целостностью, но ее актуальность становится все более ограниченной, особенно в отношении ИИ. Физики-ядерщики утратили контроль над ядерным оружием в тот момент, когда оно заработало. Амодей, в свою очередь, не утратил контроль над ИИ — решения его компании по выпуску продуктов по-прежнему имеют огромное значение. Это делает позицию Бюллетеня менее релевантной. Невозможно эффективно предупреждать о рисках ИИ, находясь в положении полной независимости, потому что люди с наилучшим техническим пониманием в основном работают в компаниях, которые занимаются его разработкой.
Но модель Амодея имеет свою проблему: конфликт интересов становится структурным и неизбежным.
Каждое его предупреждение сопровождается фразой «но мы должны продолжать развиваться». В своей статье он прямо утверждает, что остановка или существенное замедление развития ИИ «фундаментально неприемлемо» — что если Anthropic не создаст мощный ИИ, это сделает кто-то хуже. Возможно, это правда. Возможно, это даже лучший аргумент в пользу того, почему компании, заботящиеся о безопасности, должны оставаться в гонке. Но это также удобный аргумент, который позволяет ему продолжать делать то, что он делает, со всеми огромными выгодами, которые это может принести.
Это ловушка, которую описывает сам Амодей: «На ИИ можно заработать так много денег — буквально триллионы долларов в год, — что любые меры безопасности или ограничения сталкиваются с мощным сопротивлением — экономическим, политическим, корпоративным».
Часы Судного дня были созданы для мира, в котором ученые могли выйти за пределы институтов, создающих экзистенциальные угрозы, и высказываться с позиции независимой авторитетности. Возможно, этот мир больше не существует. Вопрос в том, что мы создадим, чтобы заменить его — и сколько времени у нас для этого осталось.
Оригинал: Vox
