Автор: Дэвид Колдевей
Существует множество способов обработки фотографий с целью сделать их лучше: удаление эффекта красных глаз, бликов объектива и так далее. Но до сих пор моргание оставалось настоящей проблемой. Всё может измениться благодаря технологии Facebook, которая весьма убедительно заменяет закрытые глаза открытыми.
Это далеко не единственный пример умного «приукрашивания», такое название получила технология, в ходе которой программа заполняет пространство тем, что, по её мнению, должно в этом месте находиться. Adobe, в частности, успешно применяет её в своём «контекстно-зависимом заполнении», позволяя пользователям легко заменять нежелательные элементы, например выступающую ветвь или облако на то, что по мнению пользователей должно было там находиться.
Но некоторые функции выходят за рамки возможностей инструментов замены, например глаза. Их подробный и сильно изменяющийся характер делает их достаточно сложной для копирования вещью.
Соцсеть Facebook, у который, вероятно, больше всего фотографий моргающих людей, чем у кого-либо в истории, поставила себе задачу решить эту проблему.
Она делает это с помощью Generative Adverarial Network (GAN), по существу, системы машинного обучения, которая пытается обмануть себя, думая, что ее творения реальны. В GAN одна часть системы учится распознавать, скажем, лица, а другая создает изображения, которые на основе обратной связи от части распознавания постепенно растут в реализме.
Слева направо: изображения «Exemplar», исходные изображения, алгоритм открытия глаз Photoshop и метод Facebook
В этом случае сеть обучается как распознавать, так и воссоздавать открытые глаза. Это можно сделать уже, но, как вы можете видеть в примерах выше, существующие методы оставляют желать лучшего. Они, кажется, вставляют в глаза людям без особого внимания на остальные части изображения.
Машины наивны: у них нет интуитивного понимания, что открытие глаз не изменяет цвет кожи вокруг них (в этом отношении у них нет интуитивного понимания глаз, цвета или чего-либо вообще).
Главное достижение Facebook, состояло в убедительной имплементации «образцовых» данных от целевого лица с открытыми глазами, из которого GAN узнает не только о том, какие глаза у человека, но какую форму имеют глаза этого конкретного человека, какой цвет и т. д. ,
Результаты вполне реалистичны: рассогласования цветов или очевидной склейки незаметно.
При тестировании люди ошибочно принимали обработанные фотографии за настоящие, или говорили, что сомневаются в своём выборе в более чем половине вариантов. И если я не знал, что фотография определенно обработана, то, вероятно, не заметил бы отличий в своей ленте новостей. Однако Ганди выглядит немного странно.
В некоторых ситуациях программа по-прежнему терпит неудачу, создавая странные артефакты, если глаза человека например частично скрыты застежкой волос, или иногда не могут правильно воссоздать цвет. Но это решаемые проблемы.
Можно представить себе полезность автоматической функции открывания глаз на Facebook, которая проверяет другие фотографии человека и использует их в качестве ссылки, чтобы заменить моргание. Всё это звучит немного жутко, но скоро станет стандартом для Facebook, и спасёт пару ваших групповых снимков.
Оригинал: Techcrunch
