Автор: Энди Гринберг
Однажды январской ночью в субботу Сара Чжон сидела на своём диване, листала ленту твиттера и спонтанно написала то, что сегодня с горечью называет «твитом, который запустил тысячи кораблей». 28-летняя журналистка и автор книги «Интернет-мусор» о спаме и онлайн-домогательствах наблюдала за тем как сторонники Берни Сандерса атакуют феминисток и сторонников движения Black Lives Matter. В качестве гиперболизированной шутки она запостила в твиттер несколько политических карикатур, одна из которых называла типичного сторонника Сандерса «язвительным крипторасистом, который тратит 20 часов в день на интернет-оскорбления женщин».
Чжон признаёт, что этот опрометчивый ночной твит был провокационным и абсурдным — она лично даже поддерживала Сандерса. Но то, что случилось дальше, слишком хорошо знакомо женщинам, меньшинствам и всем тем, кто имеет в сети твёрдое мнение. К тому времени когда Чжон пошла спать, рой сторонников Сандерса обзывали её неолиберальным агитатором, а к рассвету началась более широкая и интенсивная травля. Она стала получать обнажённые фото и ссылки на шокирующие видео. Один тролль обещал «вырвать все её волосы» и «открутить сиськи».
Эти атаки продолжались неделями. «Мне было непросто» — вспоминает девушка. И она сделала то, что и многие другие жертвы массового преследования: сдалась и оставила за гонителями последнее слово. Чжон скрыла свои твиты, удалилась из публичной дискуссии на месяц и взяла двухнедельный неоплачиваемый отпуск со своей работы на новостном сайте Motherboard.
На протяжении многих лет в твиттере и практически любом другом открытом публичном форуме тролли были грозной силой. Вот новости только за последние несколько месяцев: Антисемиты-сторонники Трампа атаковали общественных-деятелей-евреев «шутками» на тему Холокоста. Анонимные расисты издевались над американским комиком африканского происхождения Лесли Джонсом в твиттере, посылая ему изображения обезьян и его же фотографии с прифотошопленной к лицу спермой. Колумнист Гардиан Джессика Валенти покинула сервис после того, как толпа женоненавистников стала угрожать изнасиловать её 5-летнюю дочь. «Это чересчур» — написала она — «я так жить не могу». Писатель-феминистка Сенди Дойл говорит, что её опыт массовой травли побудил использовать своего рода перманентную самоцензуру. «Есть вещи, которые я не позволяю себе говорить» — говорит она — «Например, не позволяю называть имена».
Джаред Коэн из Jigsaw: «Я хочу, чтобы мы чувствовали ответственность, которую берём на себя». Фото Бенедикта Иванса.
Массовая онлайн-травля оказалась столь эффективной, что превратилась в оружие некоторых политических режимов. В конце 2014 года финская журналистка Джессика Аро сообщила о российских фермах троллей, на которых постоянно работающие сотрудники размещают сообщения, продвигающие правительственные интересы, и атакуют противников на всех возможных площадках, в том числе твиттере и фейсбуке. В ответ на это её ежедневно стали травить в социальных сетях, комментариях под новостями и даже по электронной почте. Они называли её лживой, «натовской шлюхой», и даже наркоторговкой — после того как раскопали штраф 12-летней давности за хранение амфетаминов. «Они хотят нормализовать язык ненависть чтобы создать хаос и недоверие» — говорит Аро — «это способ заставить людей разочароваться».
Вся эта травля, другими словами, превратилась в форму цензуры, заставляя людей уходить в оффлайн, заглушая их голоса. В течение многих лет жертвы призывают компании, создавшие популярные платформы, помочь победить монстра, которого они породили. Но предлагаемые решения в целом стали Сизифовым трудом в войне с троллями.
Теперь небольшая дочерняя компания Google под названием Jigsaw (Головоломка – прим.перев.) собирается представить совершенно новый тип ответа на эту угрозу: набор инструментов под названием Conversation AI. Это программное решение создано для использования машинного обучения, чтобы автоматически обнаруживать язык травли — как говорят инженеры компании, его точность выше чем любой словесный фильтр, и это работает гораздо быстрее чем любая команда человеческих модераторов. «Я хочу использовать лучшую технологию которая у нас есть чтобы победить троллей и лишить их голоса» — говорит основатель Jigsaw и президент Джаред Коэн — «сделать всё возможное для наведения порядка».
Jigsaw использует искусственный интеллект, чтобы решить очень человеческую проблему — заставить людей вести себя в интернете лучше
Conversation AI — лишь один из честолюбивых проектов Jigsaw. Нью-Йоркский мозговой центр и технический инкубатор создаёт продукты, которые используют массивную инфраструктуру и инженерные мускулы Google не для совершенствования лучших особенностей интернета, но для исправления худших: слежки, экстремистской пропаганды, цензуры. Эта группа видит свою работу в качестве части одной из самых сложных миссий Google – попытке сделать мировую информацию «универсально доступной и полезной».
Коэн основал Jigsaw, в которой сейчас работает около 50 сотрудников (почти половина из них инженеры) после короткой и не слишком удачной карьеры в Госдепартаменте США, где он работал над тем, чтобы сосредоточить внимание американской дипломатии на интернете. Одна из долгосрочных целей, стоящих перед компанией — покончить с цензурой за десятилетие, которая происходит в форме политически мотивированных кибератак на оппозиционные вебсайты, или правительственных ограничений для интернет-провайдеров. И если эта задача не окажется достаточно сложной, Jigsaw собирается использовать Conversation AI против травли, где единственный способ защитить кого-то в сети — выборочно заткнуть других. Если системе удастся найти выход из этого речевого парадокса, Jigsaw удастся невероятное: с помощью искусственного интеллекта решить очень человеческую проблему — заставить людей вести себя лучше в интернете.
Автор рисунка Мержин Хос
Jigsaw — развитие более ранних усилий проекта под названием «Идеи Google» (Google Ideas), который тогдашний гендиректор корпорации Эрик Шмидт и Коэнн запустили в качестве «мозгового/деятельного центра». Но на практике, в отличие от организованных конференций и красивых презентаций, Идеям удалось не слишком многое. «Люди приходили и несли всякую чушь в течение нескольких дней» — вспоминает один из участников конференций Идей Google — «из этого ничего не вышло».
Однако постепенно возвышенные задачи группы начали привлекать внимание инженеров, некоторые при из других частей Google после добровольческой работы в команде Коэна. Одним из их первых творений стал инструмент под названием uProxy, который позволяет любому пользователю, чей интернет-доступ цензурируется, пускать свой трафик через дружеское соединение вне файрволла, сейчас он используется в более чем ста странах. Другой инструмент, расширение в браузере Chrome под названием Password Alert, позволяет блокировать фишинг, предупреждая людей когда они вводят данные своего gmail-аккаунта на фишинговом сайт, компания разработала его для сирийских активистов, подвергавшимся атакам правительственных хакеров, но после того, как инструмент доказал свою эффективность, он стал доступен для всех пользователей Google.
«Мы не собираемся быть одними из тех, кто просто представляет себе что испытывают уязвимые группы. Мы собираемся знать наших пользователей»
В феврале группа была переименована в Jigsaw дабы отразить своё внимание на построении практических продуктов. Программа под названием Montage позволяет военным корреспондентам и некоммерческим организациям анализировать видеозаписи Youtube чтобы отслеживать конфликты и собирать доказательства нарушений прав человека. Ещё один бесплатный сервис под названием Project Shield использует серверы Google чтобы поглощать поддерживаемые правительствами кибератаки, направленные на отключение сайтов СМИ, наблюдателей за выборами и организаций защиты прав человека. И инициатива призванная дерадикализировать новобранцев ИГИЛ (организация запрещена в России — ред.) идентифицирует потенциальных джихадистов на основе их поисковых запросов, а затем переадресует их на видео, созданные бывшими экстремистами, которые объясняют отрицательные стороны присоединения к ультражестокому, апокалиптическому культу. В качестве пилотного проекта антиигиловские ролики были столь эффективны, что в некоторых случаях на них кликали в два-три раза чаще чем на обычные рекламные баннеры.
Общая нить, которая связывает эти проекты, говорит Коэн — акцент на том, что он называет «уязвимые группы населения». С этой целью он даёт новобранцам своей команды следующее задание: вытащить маленький листок бумаги из бейсболки, в которой лежат листки с названиями самых проблемных и репрессивных стран, найти в них кого-то, кто подвергается угрозам, и поговорить об их жизни онлайн. Затем представить эти истории другим работникам Jigsaw.
В ходе одного из недавних совещаний Коэн наклоняется над столом для конференций, за которым сидят 15 или около того новобранцев Jigsaw — инженеров, дизайнеров и специалистов по внешней политике — готовящих доклад о тёмных уголках интернета. «Мы не собираемся быть одними из тех, кто сидит в своих офисах и просто представляет себе что испытывают уязвимые группы» — говорит он. — «Мы собираемся знать наших пользователей». Он говорит скороговоркой, на гиковский манер, что контрастирует с его голубоглазой и плечистой внешностью политика, замаскированного под деятеля Силиконовой долины — или наоборот. «Я хочу чтобы мы каждый день чувствовали ответственность, которую берём на себя».
«Новобранцы Jigsaw будут слушать истории о людях, которых шантажировали с помощью их паролей, или поддерживаемой государством кибертравле»
Мы слушаем об албанском ЛГБТ-активисте, который пытался скрыть свою личность на фейсбуке несмотря на политику сервиса, допускающую только реальные имена, об администраторе ливийской молодёжной группы, опасающемся правительственных стукачей, страшные воспоминания беглецов из цифровой черной дыры Северной Кореи. Многие из этих Гуглеров в футболках и сандалиях позднее будут отправлены в некоторые из этих отдалённых мест, чтобы встретиться со своими контактами лицом к лицу.
«Они услышат истории о людях, которых шантажировали с помощью их паролей, или поддерживаемой государством кибертравле» — говорит мне позднее Коэн. Цель этих полевых поездок — не просто получить фидбэк для будущих продуктов, говорит он. Это о создании личного впечатления от проблем, изначально кажущихся далёкими и невидимыми — чувство сопричастности, которое сам Коэн получил, когда 4 года двадцатилетним работал в Госдепартаменте, и до этого, в ходе многочисленных путешествий по Ближнему Востоку и Африке в качестве студента.
Коэн подчиняется напрямую топ-менеджменту компании Alphabet, но на практике Jigsaw функционирует как ответвление Google, сконцентрированное на защите прав человека. Во время запуска проекта Шмидт заявил о дерзкой цели — «решить самые сложные геополитические проблемы в мире» — и перечислил некоторые из этих проблем в пределах компетенции корпорации: «отмывание денег, организованная преступность, полицейская жестокость, торговля людьми и терроризм». В интервью в нью-йоркском офисе Google, Шмидт (ныне представитель Alphabet) резюмировал их как «проблемы с информационной составляющей, которые захлестнули человечество».
Другими словам, Jigsaw стала Лигой Справедливости Google, и представляет собой понятие, что компания не хочет быть злом. Она хочет, насколько это этически возможно, быть добром.
Ясмин Грин, глава исследований и разработок Jigsaw
В сентябре 2015 года Ясмин Грин, тогда руководитель операций и стратегического планирования Google Ideas, рабочей группы, которая позднее стала Jigsaw, пригласила 10 женщин, бывших жертвами травли, прийти в офис и рассказать о своём опыте. Некоторых из них преследовали члены антифеминистского движения Gamergate. Разработчику компьютерных игр Зоэ Куинн неоднократно угрожали изнасилованием, также злоумышленники раскопали и распространяли старые ню-фотографии девушки. Другой гостье, Аните Саркисян, даже пришлось временно переехать из своего дома из-за многочисленных угроз убийством.
В конце этой встречи Грин и несколько других работников Google сделали совместное фото с женщинами и опубликовали его в твиттере компании. Почти сразу тролли Gamergate обратили свой гнев против Google. В течение следующих 48 часов десятки тысяч комментариев на Reddit и в твиттере требовали увольнения Гуглеров за сотрудничество с «феминаци».
«Это как если ты идешь по Мэдисон Сквер Гарден, а 50 тысяч человек говорят, что ты сосешь, ты ужасна и должна умереть» — говорит Грин — «если ты действительно поверишь, что вселенная именно так думает о тебе, ты, безусловно, замолчишь. И это может унести твою жизнь».
Для борьбы с троллингом сервисы вроде Reddit, Youtube и фейсбука в течение многих лет зависели от пользователей, которые должны были отмечать нарушения для проверки перегруженными работой штатными сотрудниками, или же модераторами контента на аутсорсе, в странах вроде Филиппин. Выполнение этой задачи достаточно дорого и может травмировать сотрудников, которые тратят целые дни, изучая омерзительный контент — но этого всё равно недостаточно чтобы победить нечистоты, льющиеся в реальном времени. Твиттер недавно представил новые фильтры, созданные для того, чтобы оградить пользователей от чтения нежелательных сообщений, но пока непонятно повлияет ли данное решение на троллей.
Встреча с жертвами Gamergate стала генезисом для другого подхода. Лукас Диксон, шотландец с большими глазами и докторской степенью в машинном обучении, а также продукт-менеджер Си Джей Адамс, задались вопросом: может ли искусственный интеллект, созданный для определения травли, очистить онлайн-беседы с помощью обнаружения грязного языка — со всеми его идиомами и формами — также надёжно как и люди?
«Покажите миллионы гнусных комментариев самообучающемуся искусственному интеллекту Google, и он сможет распознать тролля»
Чтобы создать жизнеспособный инструмент, Jigsaw для начала пришлось научить свой алгоритм видеть разницу между безобидным стёбом и преследованием. Поэтому группа стала сотрудничать с The New York Times, которая предоставила инженерам Jigsaw 17 миллионов комментариев, написанных под статьями издания, вместе с информацией о том, какие из этих комментариев были помечены модераторами как неприемлемые. Jigsaw также работала с Wikimedia Foundation над разбором 13000 фрагментов дискуссий о страницах Википедии. Компания показала эти текстовые строки 10 людям, нанятым случайным образом с помощью сервиса CrowdFlower, и опросила о наличии во фрагментах кода «персональной атаки» или «преследования». Затем Jigsaw загрузила массив данных онлайн-дискуссий и человеческих оценок в TensorFlow — программу машинного обучения Google с открытым кодом.
Машинное обучение — ветвь компьютерной науки, которую Google использует для улучшения всего, от Гугл-переводчика до ядра своей поисковой системы, работает по типу человеческого обучения. Вместо программируемого алгоритма вы учите машину на основе примеров. Показывайте зверька определённой формы, обозначенного как кошка, и в конце концов он сможет распознать кошку. Покажите миллионы гнусных комментариев самообучающемуся искусственному интеллекту Google, и он сможет распознать тролля.
По некоторым оценкам, Jigsaw удалось научить Conversation AI находить грубый язык с поразительной точностью. Загрузите строку текста в эту систему, и она сможет с вероятностью, которую Google определяет как более чем 92-процентную при примерно 10-процентном ложно-позитивном срабатывании, дать определение представляет ли текст собой атаку. Пока что инструмент рассматривает только содержание одной строки текста. Но Грин говорит, что Jigsaw также смотрит в сторону методов обнаружения массового притеснения, основанных на большем объёме сообщений, и других долгосрочных паттернов.
Википедия и Таймс будут первыми, где в комментариях опробуют автоматизированную систему Google по обнаружению преследования. Википедия всё ещё решает как именно будет использовать этот инструмент, в то время как Таймс планирует сделать Conversation AI первым барьером для комментариев на вебсайте, блокирующим любую грубость до того момента, пока она не будет дополнительно изучена человеком. Jigsaw также планирует сделать эту работу общедоступной, позволив любому веб-форуму или соцсети адаптировать её для автоматической отметки оскорблений, бана агрессоров и даже автоматического удаления грубого языка, оберегая потенциальную жертву преследования даже от чтения комментария. Смысл в том, что «любой может взять эти модели и работать с ними» — говорит Адамс, который помогал вести проект.
«Адамс пишет: как дела сучка? и нажимает кнопку «Вычислить». Conversation AI немедленно даёт оценку 63 из 100 по шкале атаки»
Более того, некоторые данные свидетельствуют, что подобный вид быстрого обнаружения действительно может помочь победить троллинг. Conversation AI был частично вдохновлён экспериментом, проведённым игровой компанией Riot Games, которая управляет крупнейшей в мире многопользовательской игрой League of Legends с 67 миллионами игроков. С конца 2012 компания начала использовать машинное обучение, чтобы пытаться анализировать результаты внутриигровых бесед, по результатам которых игроков банили. Алгоритм в реальном времени замечал пользователей, позволявших себе сексистские и оскорбительные ремарки. Когда игроки видели мгновенные автоматические предупреждения, 92 процента немедленно меняли своё поведение к лучшему, согласно сообщению научного журнала Nature.
Мой личный тест Conversation AI произошёл одним солнечным днём в офисе Jigsaw, когда группа инженеров показала мне прототип и предложила использовать что-то оскорбительное для анализа. Вздрогнув, я предложил первую пришедшую на ум оскорбительную, двусмысленную и женоненавистническую фразу: «Как дела сучка?». Адамс пишет предложение и нажимает «Вычислить». Conversation AI немедленно даёт оценку 63 из 100 по шкале атаки. Затем, для контраста, Адамс показывает результат для более жесткой фразы: «Ты такая сука». Она оценивается в 96.
На самом деле Conversation AI обнаруживает удивительно тонкие различия. Плюрализация моего развязного приветствия до «Как дела сучки?» опускает оценку до 45. А добавление улыбающегося эмодзи снижает её ещё сильнее — до 39.
Но позднее, когда я покинул офис Google, запустил прототип Conversation AI в своих апартаментах и попробовал самую жесткую фразу, которой травили Сару Чжон — «Я собираюсь вырвать все её волосы и открутить сиськи» — он оценил её по шкале атаки на 10, красноречивый результат. Замена слова «её» на «твои» повысила оценку до 62. Conversation AI до сих пор, вероятно, не знает, что угрозы не обязательно могут быть направлены непосредственно жертве чтобы иметь ожидаемый эффект. Судя по всему, этому алгоритму ещё есть чему поучиться.
Для технического специалиста, бросающего вызов возможным террористам, финансируемым государствами троллям и тоталитарным режимам, создатель Jigsaw имеет удивительно позитивный взгляд на битву между людьми, которые используют интернет, и властями, стремящимися его контролировать. «У меня есть твёрдое убеждение, что технологии помогут людям» — говорит Джаред Коэн. Между нами стоит журнальный столик, на котором расположены сувениры из его путешествий: глиняная молитвенная монета из Ирака, шоколадка из Сирии в пластиковой упаковке, пачка северокорейских сигарет. «Для меня трудно представить мир, в котором не продолжается игра в кошки-мышки. Но в своё время мышь может стать больше чем кот».
Чувство цифрового популизма, как это называет Коэн, захлестнуло его во время поездки по Ирану, Сирии, Ливану и Ираку в начале 2000х годов в качестве стипендиата Родса. Его самые яркие воспоминания того времени — наблюдения как молодые люди используют технологии: везде мобильные телефоны, промоутеры ночных гей-клубов в Иране, рассылающие текстовые сообщения незнакомцам с помощью Bluetooth, спутниковое ТВ, вещающее на регион цензурируемую здесь западную культуру. Он был особенно поражён временем, которое провёл в обществе двух одержимых сотовыми телефонами и интернетом молодых сирийских женщин в Хомсе, которые предоставляли ему жильё, гуляли с ним — американским мужчиной – на публике, и использовали косметику вместе с откровенными рубашками рукавами на фоне неодобрительных взглядов из-под паранджи. «В отличие от их матерей, эти девушки знали чего им не хватает» — пишет он в книге о своих путешествиях, «Дети Джихада» — «общество изменилось, и технологии открыли им глаза на то, что их родители не могут понять».
Когда Коэн стал самым молодым в истории человеком, работающим в отделе планирования политики Госдепартамента США в 2006 году, он привнёс с собой видение, сформированное в ходе своих ближневосточных поездок: интернет может быть политической силой, и даже источником потрясений. И когда фейсбук, youtube а затем твиттер стали развиваться в качестве инструментов протеста и революций, его теория позволила получить доступ к чиновникам гораздо более высокого уровня — таким как госсекретари Кондолиза Райс и, позднее, Хиллари Клинтон. Райс описывает Коэна в своих воспоминаниях как «вдохновляющее» назначение. Бывший директор планирования политики Анн-Мари Слотер, непосредственный босс Коэна, характеризует его как «потрясающе умного».
Многие его идеи имели цифровой оттенок. После посещения Афганистана Коэн помог создать платёжную систему на основе сотовых телефонов для местной полиции, с помощью которой офицеры могли ускорить перевод денег членам своей семьи. И в июне 2009, когда твиттер планировал остановку сервиса для техобслуживания в ходе массовых иранских протестов против президента Махмуда Ахмадинежада, Коэн написал основателю сервиса Джеку Дорси с просьбой оставить сервис онлайн. Этот несанкционированный шаг, который нарушил политику администрации Обамы по невмешательству в иранские дела, чуть было не стоил Коэну работы. Но когда Клинтон поддержала Коэна, это стало сигналом сдвига в отношениях Госдепартамента с Ираном и Силиконовой Долиной.
Примерно в то же время Коэн начал приглашать руководителей технокомпаний на совместные встречи и поездки — для того, чтобы вдохновить их создавать продукты, которые помогут людям в репрессированных уголках мира. Он пригласил главу Google Шмидта посетить Ирак, эта поездка установила контакт, который через год приведёт к приглашению Коэна в Google Ideas. Но более всего Шмидта впечатлил емейл Коэна в твиттер в ходе иранских протестов. «Он не играет пьесу» — говорит Шмидт — «он её пишет».
Критики Коэна фокусируются на его участии в создании печально известной программы под названием Haystack, предназначенной для анонимности и обхода цензуры. Они говорят, что Коэн помог запустить инструмент в начале 2010 года в качестве помощи иранским диссидентам. После того как правительство США достаточно быстро его утвердило, специалист по безопасности обнаружил вопиющие уязвимости, которые ставят под удар любого диссидента, использующего программу. Сегодня Коэн отрицает какую-либо ответственность за Haystack, но двое бывших коллег подтвердили, что он отстаивал проект. Его бывший босс, Слойтер, описывает его время в правительстве более дипломатично: «в государстве существует несоответствие между масштабами идей Джареда и теми инструментами, которые может обеспечить департамент» — говорит она — «Jigsaw это гораздо лучший вариант для него».
Но вмешательство Google в сложные геополитические проблемы приводит к новым вопросам о роли мультинациональной корпорации. Некоторые обвиняют группу в попытках монетизировать чувствительные темы которые они поднимают, директор фонда Electronic Frontier Джиллиан Йорк называет эту работу «несколько империалистической». При всём озвученном альтруизме, замечает она, Jigsaw — часть коммерческой организации. По этому вопросу Шмидт честен: компания Alphabet надеется, что когда-нибудь работа Jigsaw начнёт приносить прибыль. «Лучший способ понять это такой: лучшая связь — лучший доступ к информации, что позволит поднять нам больше денег» — объясняет он мне. Шмидт проводит аналогию с усилиями компаний, закладывающих сети в некоторых развивающихся странах. «Почему мы пытаемся охватить Африку?» — спрашивает он — «потому что в конечном итоге там будут рынки рекламы».
«Мы не правительство» — Эрик Шмидт говорит медленно и осторожно — «мы не пытаемся менять режимы. Мы не делаем такие вещи»
Основатель Wikileaks Джулиан Ассанж обвинил Коэна в том, что он де факто остаётся сотрудником Госдепартамента США, тихо достигая внешнеполитических целей с помощью Google, и назвал его «директором по смене режимов». Когда я вспоминаю эту цитату в разговоре со Шмидтом, он явно напрягается, а затем решительно это опровергает. «Мы не правительство» — он говорит медленно и осторожно — «мы не пытаемся менять режимы. Мы не делаем такие вещи. Но если получается так, что расширение прав и возможностей граждан, происходящее при помощи смартфонов и информации, приводит к изменениям в их стране… знаете, наверное это ведь неплохо, не так ли?».
Помимо вопроса о корыстных мотивах Jigsaw или воображаемых связях с правительством, существует и ещё один сомнительный момент в оптимистичном цифровом интервенционизме Коэна: у технологий всегда непредвиденные последствия. Инструмент вроде Haystack, который был предназначен для помощи иранцам, поставил их под угрозу. Твиттер, с его революционным потенциалом, породил к жизни новые формы травли. А Conversation AI, созданный чтобы победить травлю, может нанести вред своей же цели достижения свободы слова.
В самый тяжёлый момент, когда она была мишенью для банды женоненавистников в прошлом году, Сэнди Дойл смотрела на свой телефон и за час видела сотню новых уведомлений твиттера, многие сообщения представляли собой грубые сексуальные комментарии и атаки на её историю умственного здоровья. Но когда я рассказываю ей о решении в виде Conversation AI, её охватывают сомнения. «Людям нужно говорить то что они говорят» — отвечает она — «представьте себе на что будет похож интернет, в котором вы не можете сказать: Дональд Трамп — идиот». Фактически когда я запускаю прототип Conversation AI, то могу увидеть, что обзывание кого-то идиотом набирает 99 баллов из 100 по рейтингу персональной атаки.
Этот пример демонстрирует, что Conversation AI подвержена ложным срабатываниям в случаях, когда это касается так называемых серых зон речи. В конце концов, даже без автоматизированной маркировки твиттер и фейсбук постоянно критикуют за блокирование законного и даже политически мощного контента: в прошлом году твиттер забанил аккаунт Politwoops, который собирал удалённые твиты политических деятелей с целью обнаружить импровизированные заявления. Фейсбук блокировал фотографии утонувших детей-мигрантов, которые предназначались для лучшего осведомления американцев о трагедии сирийских беженцев.
Сара Чжан, автор сайта Motherboard, которую заткнули братья Берни, говорит, что в теории она поддерживает идею Conversation AI. «Интернету нужна модерация» — говорит она. Но тем не менее предупреждает, что никто не должен позволять системе автоматически удалять комментарии: «это человеческие взаимодействия». Любое исправление данных взаимодействий, говорит она, также должно относиться к человеческим компетенциям. «Автоматизированная система обнаружения может открыть дверь к опции «удали это всё» вместо того чтобы тратить время и ресурсы для идентификацию ложных срабатываний — добавляет Эмма Лиансо, директор проекта “Свободное Самовыражение” и некоммерческого центра “За Демократию и Технологию”.
Мои тесты Conversation AI по факту демонстрируют большое количество ложных срабатываний. «Я не мешал тебя с дерьмом» странным образом набирает 98 из 100, столько же сколько и гораздо более оскорбительная фраза «ты дерьмо». Довольно безобидное «ты вбираешь всё веселье жизни» (you suck all the fun out of life) набирает 98, столько же сколько и выражение «ты сосёшь» (you suck). И, возможно, наиболее проблематичное из всех: «ты тролль» — логичный ответ для любой жертвы троллей — помечается по рейтингу атаки на уровне 93 баллов.
«Есть определённые сложности в определении онлайн-преследования и свободного выражения. У нас нет ответа на все вопросы»
Выпиливание нормальной речи, похожей на преследование, может нанести удар по ценностям гражданского общества, которые Jigsaw обещала защитить. Когда я спросил изобретателей Conversation AI о возможном ущербе, инженеры ответили, что процент ложных срабатываний уменьшится с течением времени, так как система будет продолжать себя тренировать. Но на вопрос о том на чьих решениях сеть будет основываться, авторы кивают на тех, кто будет использовать данный инструмент. «Мы хотим дать сообществам возможность иметь те дискуссии, которые они хотят» — говорит один из создателей Conversation AI Лукас Диксон. А что насчёт того, что это очистит интернет от некоторых видов нормальной речи? Лучше ошибиться по поводу вежливости. «В интернете уже достаточно мерзких мест. Что мы можем сделать, так это создать места, где люди смогут вести нормальные беседы».
Одним душным утром в июне я присоединился к Джареду Коэну в одном из его любимых мест Нью-Йорка: рядом с памятником солдатам и матросам, пустым, высоким мраморным куполом в сонном Риверсайд Парк. Когда Коэн появляется, он говорит мне, что это место напоминает ему тихие руины, по которым он любил бродить в ходе своего путешествия по сельской местности Сирии.
Одной из целей нашей встречи было обсуждение критических замечаний, которые я услышал о Conversation AI. Но когда я упомянул о возможности ложных срабатываний, он отвечает с удивительным смирением. «Мы постоянно задаём эти дополнительные вопросы» — говорит он. И они касаются не только Conversation AI, но и всего, что создаёт Jigsaw. — «Какой наиболее опасный метод использования данной штуки? Есть ли риски, которые мы не предусмотрели?»
Jigsaw пропускает все свои проекты через группу бета-тестеров и настаивает на вовлечении тех же групп, которые будут являться их пользователями. Но Коэн признаёт что никогда не знает получают ли они достаточный фидбек или правильный взгляд. Частично Conversation AI остаётся экспериментом. «Есть определённые сложности в разграничении онлайн-преследования и свободного выражения» — признаёт он, и это гораздо более взвешенный ответ, чем тот что я услышал от разработчиков системы — «у нас нет ответа на все вопросы».
И если этот эксперимент провалится а инструмент закончит тем, что будет вредить свободной речи, которую пытается защитить, убьёт ли его Jigsaw? «Возможно» — без колебаний отвечает Коэн.
Я начинаю задавать ещё один вопрос, но Коэн прерывает меня, не желая опровергать тезис что инструменты Jigsaw могут иметь непредсказуемые последствия. Он хочет говорить о людях, которых встретил в ходе путешествия по наиболее репрессивным странам Ближнего Востока, о друзьях, у которых он жил и которые служили ему гидами из чистого любопытства и гостеприимства.
Только когда Коэн вернулся в США он понял как это всё было опасно для них — помогать и даже быть рядом с евреем-американцем во время пика антиамериканизма. «Моё присутствие подвергало их риску» — говорит он с неподдельно искренней эмоцией в голосе — «У меня есть чувство вины за это. Я не совершу снова такую ошибку».
Коэн по прежнему почти ежедневно шлёт шифрованные сообщения этим друзьям, особенно тем, кто находится на орбите войны Сирии и ИГИЛ — просто чтобы убедиться, что они живы и в порядке. Это упражнение, вроде того которому он подвергает новых сотрудников Jigsaw, но созданное для собственной совести: ежедневное напоминание о том, что его вмешательства в мир должны сделать его лучше, чем он был до этого.
«Через десять лет я оглянусь назад и посмотрю к чему стремился сегодня» — говорит он. — «Что я сделал правильно, а что нет». Он надеется, что он всё сделает хорошо.
Приложение
Проекты Jigsaw
Этот инкубатор предназначен для достижения глобальных целей, пытаясь решить различные задачи — от победы над онлайн-цензурой до преодоления жестокого экстремизма. Ниже — несколько его проектов.
uProxy
Расширение для браузера Chrome, которое позволяет каждому интернет-пользователю, подвергающемуся цензуре, обойти файрволл с использованием дружеского неблокированного соединения.
Project Shield
Бесплатная защита для сайтов медиа, систем наблюдения за выборами и борцов за права человека, предназначенная для отражения кибератак, направленных на сокрушение веб-сайтов.
Montage
Краудсорсный анализ Youtube-видеозаписей, созданный для того, чтобы помочь журналистам и гуманитарным группам документировать конфликты и нарушения прав человека.
Password Alert
Предупреждает пользователей при введении пароля от Gmail-почты или аккаунта на фишинговом сайте, который выглядит как сайт компании Google.
The Redirect Method
Выявляет потенциальных джихадистов по поисковым запросам и перенаправляет их на антиигиловские видеозаписи, созданные с привлечением бывших экстремистов.
Conversation AI
Фильтр для онлайн-дискуссий, который использует машинное обучение чтобы автоматически определять проявления речи ненависти.
Digital Attack Map
Визуализация DDos-кибератак по всему миру, включая те страны, где свобода самовыражения ограничена.
Оригинал: Wired
