В игре рекламировалось использование генератора текста GPT-3. Затем алгоритм начал генерировать тревожные истории
Автор: Том Симонит
В декабре 2019 года стартап Latitude из Юты запустил инновационную онлайн-игру под названием AI Dungeon, которая демонстрировала новую форму взаимодействия человека и компьютера. Компания использовала технологию генерации текста от компании OpenAI, занимающейся искусственным интеллектом, для создания приключенческой игры в духе «выбери сам», вдохновленной правилами Dungeons & Dragons. Когда игрок набирал действие или диалог, который он хотел, чтобы его персонаж выполнил, алгоритмы создавали следующую фазу его персонализированного, непредсказуемого приключения.
Прошлым летом OpenAI предоставил Latitude ранний доступ к более мощной коммерческой версии своей технологии. В маркетинговых материалах OpenAI рекламировал AI Dungeon как пример коммерческого и творческого потенциала алгоритмов письма.
Затем, в прошлом месяце, как сообщает OpenAI, он обнаружил, что AI Dungeon также демонстрирует темную сторону взаимодействия человека и ИИ. Новая система мониторинга показала, что некоторые игроки набирали слова, которые заставляли игру создавать истории, изображающие сексуальные контакты с участием детей. OpenAI попросили Latitude принять немедленные меры. «Решения о модерации контента трудны в некоторых случаях, но дело не в этом» — отметил в своем заявлении генеральный директор OpenAI Сэм Альтман. — Это не то будущее ИИ, которого мы хотим».
На прошлой неделе Latitude включил новую систему модерации, чем вызвал недовольство среди пользователей. Некоторые жалуются, что фильтр слишком чувствителен и что они не могут упомянуть на «ноутбук 8-летней давности», не получив предупреждающего сообщения. Другие беспокоятся, что планы компании вручную проверять помеченный контент приведут к отслеживанию частных, вымышленных творений сексуального характера с участием только взрослых — популярный вариант использования AI Dungeon.
Короче говоря, попытка Latitude объединить людей и алгоритмы для контроля контента, создаваемого людьми и алгоритмами, превратилась в бардак. Гневные мемы и заявления об отмене подписок быстро разлетелись в Твиттере и официальных сообществах Reddit и Discord проекта.
«Сообщество чувствует себя обманутым тем, что Latitude будет сканировать, вручную открывать и читать частный вымышленный литературный контент», — говорит пользователь AI Dungeon, известный под ником Мими, который утверждает, что с помощью ИИ написал примерно более 1 миллиона слов включая стихи, пародии на Twilight Zone и эротические приключения. Мими и другие расстроенные пользователи говорят, что понимают стремление компании контролировать общедоступный контент, но говорят, что они переборщили и разрушили мощную площадку для творчества. «Это позволило мне исследовать аспекты моей психики, о существовании которых я даже не подозревал» — отмечает Мими.
Представитель Latitude сообщил, что система фильтрации и политика приемлемого контента компании в настоящее время дорабатываются. Сотрудники ранее банили игроков, которые, как удавалось выяснить, использовали AI Dungeon для создания сексуального контента с участием детей. Но после недавнего предупреждения OpenAI компания работает над «необходимыми изменениями» — сказал представитель. Latitude пообещал в своем блоге на прошлой неделе, что AI Dungeon «продолжит поддерживать другой NSFW-контент, включая контент для взрослых, насилие по обоюдному согласию и ненормативную лексику».
Будет сложно запретить системе ИИ создание определённых типов сексуального или взрослого контента, но разрешить другой. Такие технологии, как OpenAI, могут генерировать текст во многих различных стилях, потому что он построен с использованием алгоритмов машинного обучения, которые переваривают статистические шаблоны использования языка в миллиардах слов, извлеченных из Интернета, включая части, не подходящие для несовершеннолетних. Программа способна к поразительным моментам подражания, но не понимает социальные, юридические или жанровые категории так, как люди. Добавьте дьявольскую изобретательность Homo internetus, и результат может быть странным, красивым или токсичным.
OpenAI выпустила свою технологию генерации текста с открытым исходным кодом в конце 2019 года, но в прошлом году превратила значительно обновленную версию под названием GPT-3 в коммерческую услугу. Такие клиенты, как Latitude, платят за то, чтобы вводить строки текста и получать в ответ лучшее предположение системы о том, какой текст должен следовать далее. Сервис привлек внимание технологической индустрии после того, как программисты, которым был предоставлен ранний доступ, делились впечатляющими шутками, сонетами и кодом, сгенерированным этой технологией.
OpenAI заявила, что эта служба расширит возможности бизнеса и стартапов, и предоставила Microsoft, крупному спонсору OpenAI, эксклюзивную лицензию на базовые алгоритмы. WIRED и некоторые программисты и исследователи искусственного интеллекта, опробовавшие систему, показали, что она также может генерировать сомнительный текст, например антисемитские комментарии и экстремистскую пропаганду. OpenAI заявила, что будет тщательно проверять клиентов, чтобы отсеять злоумышленников, и требует, чтобы большинство клиентов — но не Latitude — использовали фильтры, созданные поставщиком программного обеспечения для блокировки ненормативной лексики, языка ненависти или контента сексуального характера.
«Очень сложно понять, как эти модели будут вести себя в свободной среде».
Вне всеобщего внимания AI Dungeon обеспечила относительно неограниченный доступ к технологии генерации текста OpenAI. В декабре 2019 года, когда игра была запущена с использованием более ранней версии технологии OpenAI с открытым исходным кодом, она привлекла 100 000 игроков. Некоторые быстро открыли для себя и стали ценить его свободное владение сексуальным содержанием. Другие жаловались, что ИИ непроизвольно поднимал сексуальные темы, например, когда они пытались путешествовать, садясь на дракона, и их приключение принимало неожиданный оборот.
Соучредитель Latitude Ник Уолтон признал проблему в официальном сообществе игры на Reddit в течение нескольких дней после запуска. Он рассказал, что несколько игроков прислали ему примеры, которые заставили их «почувствовать глубокий дискомфорт», добавив, что компания работает над технологией фильтрации.
Официальные сообщества AI Dungeon на Reddit и Discord добавили специальные каналы для обсуждения контента для взрослых, созданного в игре. В Latitude добавлен дополнительный «безопасный режим», который отфильтровывает предложения от ИИ с использованием определенных слов. Однако, как и все автоматические фильтры, он не был идеальным. Некоторые игроки заметили, что якобы безопасная настройка улучшила эротическое письмо текстового генератора, потому что в нем использовалось больше аналогий и эвфемизмов. Компания также добавила премиум-уровень подписки для получения дохода.
Когда в июле 2020 года AI Dungeon добавила более мощные коммерческие алгоритмы письма OpenAI, текст стал еще более впечатляющим. «Резкий скачок в творчестве и способности рассказывать истории был просто невообразим» — говорит один из опытных игроков. По словам этого человека, система стала заметно более креативной в своей способности исследовать сексуально откровенные темы. Некоторое время в прошлом году игроки заметили, что Latitude экспериментирует с фильтром, который автоматически заменяет входящие слова вроде «изнасилование» на «уважение», но эта функция была упразднена.
Опытный игрок был среди поклонников AI Dungeon, которые восприняли игру как инструмент письма с улучшенным ИИ для изучения тем для взрослых, в том числе в специальной группе писателей. Нежелательные предложения алгоритма могут быть удалены из истории, чтобы направить ее в другом направлении; результаты не раскрывались публично, если только кто-то не решал ими поделиться.
Latitude отказался сообщить данные о количестве приключений сексуального характера. На веб-сайте OpenAI говорится, что AI Dungeon привлекает более 20 000 игроков каждый день.
Игрок AI Dungeon, который на прошлой неделе опубликовал сообщение о недостатке безопасности, благодаря которому каждая история, созданная в игре, стала общедоступной, говорит, что ему удалось скачать несколько сотен тысяч приключений, созданных за четыре дня апреля. Он проанализировал выборку из 188 000 из них и обнаружил, что 31 процент содержал откровенно сексуальные слова. Этот анализ и недостаток безопасности, который теперь исправлен, усилили гнев некоторых игроков по поводу нового подхода Latitude к модерированию контента.
Перед Latitude теперь стоит задача вернуть доверие пользователей, одновременно выволнив требования OpenAI по более строгому контролю над своим текстовым генератором. Представитель OpenAI заявил, что теперь стартап должен использовать технологию фильтрации OpenAI.
Как ответственно развертывать системы ИИ, которые поглощают большие объемы интернет-текста, в том числе некоторые сомнительные части? Два видных исследователя Google были вынуждены покинуть компанию после того, как менеджеры возразили против статьи, в которой приводились доводы в пользу осторожности использования подобной технологии.
Эту технологию можно использовать очень ограниченно, например, в поиске Google, где она помогает анализировать смысл длинных запросов. OpenAI помог AI Dungeon запустить впечатляющее, но сложное приложение, которое позволяло людям предлагать технологии более или менее разворачивать все, что она могла.
«Очень сложно понять, как эти модели будут вести себя в свободной среде» — говорит Сучин Гуруранган, исследователь Вашингтонского университета. Он участвовал в исследовании и интерактивной онлайн-демонстрации с исследователями из UW и Института искусственного интеллекта Аллена, показывающих, что когда текст, заимствованный из Интернета, использовался для создания пяти различных моделей генерации языков, в том числе из OpenAI, все они были способны выдавать токсичный текст.
Гуруранган сейчас является одним из многих исследователей, пытающихся выяснить, как усилить контроль над языковыми системами ИИ, в том числе более осторожно подходя к тому, на основе какого контента они учатся. OpenAI и Latitude говорят, что они тоже работают над этим, одновременно пытаясь заработать на этой технологии.
Оригинал: Wired
