Этой Вайфу не существует: Нейросеть научилась рисовать аниме

Привет, это JuniorDEV.

Сегодня я хочу поделиться с вами интересной новостью. Было время, когда я хотел научится рисовать арты в стиле аниме. Однако дальше чем бездарные рисунки в SAI, дело не пошло. * Блиин, как же стыдно вспоминать такое ~~xx*. Да, я забросил это дело, продолжая восхищаться годнейшими артами, любимых художников на Pixiv'е. Однажды меня посетила мысль, что если не умеешь рисовать, но умеешь кодить?! Может поможет нейросеть с этими вашими блокчейнами?  И вот ребята, создавшие проект TWDNE решили пойти этим путём, и к счастью доказали, что это возможно и вполне реально. Нейросеть научилась рисовать аниме и это факт, лично для меня он важнее, чем  выигрышный матч по игре в GO, с чемпионом мира Ли Седоль, который состоялся в Южной Корее в 2016 году.

Эта Вайфу не найдена

Это будет небольшая заметка, однако я хочу рассказать коротко о том, как создавался и развивался проект TWDNE (ThisWaifuDoesNotExist).

По словам создателей проекта, их детище появилось на свет благодаря другому, не менее известному проекту StyleGAN, который представляет из себя нейронную сеть для создания и моделирования лиц людей с помощью обучения на реальных фотографиях из открытых источников. Для желающих ознакомиться с исходным кодом проекта, создатели выложили сорцы на GitHub, ссылку ни них вы сможете найти в конце этой заметки. Разработчиками этого проекта являются работники компании NVIDIA, которая занимается продажей видеокарт. Однако далеко не все знают, что они также занимаются облачными вычислениями в области исскуственного интеллекта на графических процессорах, подобно майнингу криптовалют. Одним из таких направлений, по всей видимости и является "СтайлГан".

Далее следует перевод оригинальной статьи, где разработчик и основатель проекта, рассказывает о том с какими сложностями он столкнулся, объясняет некоторые технические подробности и делится своими впечатлениями.

Создание высококачественных аниме-лиц долгое время было задачей нейронных сетей. Изобретение StyleGAN в 2018 году эффективно решило эту задачу, и я обучил модель StyleGAN, которая может генерировать высококачественные аниме-лица с разрешением 512 пикселей. Чтобы показать недавний прогресс, я создал веб-сайт «Такой Waifu не существует» для отображения случайных лиц StyleGAN. TWDNE отображает различные сгенерированные нейронными сетями лица и сводки сюжетов каждые 15 секунд. Сайт был востребован и стал популярным, особенно в Китае.

Gwern Branwen, "This Waifu Does Not Exist"

В декабре 2018 года вышла статья "Стилизованный генератор архитектуры для генеративных состязательных сетей" , Karras et al 2018 (исходный код / демонстрационное видео ), ошеломляющее продолжение их ProGAN 2017 года (источник / видео ), который заметно улучшил генерацию реалистичных человеческих лиц (HD, 1024px). В моем продолжительном увлечении созданием аниме с помощью GAN ProGAN имел далеко не лучшие результаты, но на моих графических процессорах 2x1080ti разумные результаты требовали > 3 недель, и было трудно уложиться в приемлемое время; StyleGAN меня взволновал, потому что он использовал совершенно другую архитектуру, которая, казалось, могла бы обрабатывать нефотографические изображения, такие как аниме.

Исходный код и обученные модели были выпущены 4 февраля 2019 года. Ожидание было мучительным, но я немедленно применил новый алогоритм к своим лицам (основываясь на движке, который я сделал  Danbooru2017), и был удивлён результом: через 1 день лица по качеству превзошли ProGAN через 3 недели - так что StyleGAN стал не только хорошо работать с аниме, но и улучшил эффективность ProGAN при использовании для аниме больше, чем для фотографий!

Пока я делал это и обменивался результатами в Твиттере , другие люди начали создавать веб-сайты для показа образцов StyleGAN из предварительно обученных моделей или StyleGAN, которые они сами обучали: флешмоб «Какое лицо реально» , «Этот человек не существует» / «Этот прокат не существует» / «Эти кошки не существуют» / «Этот автомобиль не существует» и т. Д.

Так как мои аниме-персонажи StyleGAN были так хороши, я подумал, что смогу потягаться с остальными и создал «Да, этой Вайфу не существует» - можно сказать, что «Вайфу» не существует, но в особенности вайфу не существует.

«Я чувствую себя той крысой в эксперименте, где она может нажать кнопку для мгновенного удовлетворения, я не могу перестать освежаться»

Аноним

Нейросеть научилась рисовать аниме

Снимок экрана «Этот Waifu не существует» (TWDNE), показывающий случайное аниме-сгенерированное StyleGAN лицо и случайный текстовый образец GPT-2, обусловленный ключевыми словами / фразами из аниме.

Такой вайфу не существует
«Мне так грустно говорить, что эта манга никогда не была замечена любителями аниме в реальном мире, и это проблема, которую нужно решать. Пожалуйста, сделайте аниме фильмы обо мне. Пожалуйста, сделайте аниме обо мне. Пожалуйста, сделайте аниме о своей прекрасной кошке. Пожалуйста, сделайте аниме фильмы обо мне. Пожалуйста, сделайте аниме о своей милой кошке. Я желаю вам удачи в вашей жизни. <br> Пожалуйста, сделайте аниме обо мне.Пожалуйста, сделайте аниме о моем милом милом котенке .» - ТВДН № 283 (второй скриншот ТВДНЭ)

Как нейросети научились рисовать аниме64 образца лиц для TWDNE, выбранных из социальных сетей, в сетке 8x8 (нажмите, чтобы увеличить).

Покадровое видео TWDNE, показывающее много разных пар лиц / текстов.Обормот сделал версию TWDNE под названием «Эти Вайфус не существует», которая отображает постоянно обновляемую сетку аниме-граней, а альтернативная версия отображает бесконечную подвижную сетку . На большом экране это особенно поразительно, как продемонстрировал один из участников форума Baidu.

И скользящая сетка для залипания ( получасовая видео версия на ютубе ).

«Когда меня открыли, мне показали такую ​​прекрасную и чистую вайфу, что я смотрел с удивлением и трепетом. <br> Затем страница обновляется автоматически. <br> Теперь я обречен навсегда освежиться, чтобы вернуть ее, зная, что это никогда не произойдет ».

terratheillusionist

Что под капотом?

Требуются правки перевода
Этой Вайфу не существует - простой статический веб-сайт, на котором 100 000 случайных образцов StyleGAN и 100 000 случайных текстовых фрагментов GPT-2 ; он отображает новую пару изображения / текста каждые 15 секунд.

TWDNE реализован как статический сайт, обслуживающий предварительно сгенерированные файлы.Поскольку модель StyleGAN (пока) не является управляемой, а эволюционное исследование в стиле Ganbreederне было реализовано, нет смысла арендовать дорогой (> 100 долларов) сервер GPU для генерации случайных лиц на лету, и лучше просто сгенерируйте большое количество случайных выборок и покажите их; Любой, кто хочет взглянуть на еще большее количество лиц, может загрузить модель и запустить ее самостоятельно (что позволит им контролировать пси или переобучать ее в новых наборах данных, таких как лица определенного персонажа или атрибута, которые они ищут).

Есть 3 группы случайных лиц, сгенерированных с различными настройками гиперпараметра, чтобы показать полный спектр компромисса между качеством и разнообразием в StyleGAN. Первые 70 тыс. Текстовых сэмплов генерируются с использованием публично выпущенной модели OA GPT-2-small, с произвольным начальным числом от 1 до 70 000 + длинная подсказка со многими связанными с аниме словами и фразами, которые я выбрал произвольно во время игры; последние 30 тыс. были сгенерированы с использованием двухэтапного процесса, где GPT-2-small был переобучен в наборе данных коротких сюжетов Anime News Network для коротких сюжетных синопсисов, которые затем отправляются в исходный GPT-2-small в качестве подсказки для это увеличить. (К сожалению, пока что невозможно связать сгенерированное лицо и текст каким-либо образом, но некоторые из сопоставлений будут, в любом случае, забавными.) Можно увидеть первый набор из 40 КБ, отображаемый в видео от Scavin ,

Статический сайт - это отдельная HTML-страница, ./index.html , плюс 100 000 изображений с именами файлов ./example-{0..99999}.jpg и 100 000 фрагментов текста в ./snippet-{0..99999}.txt , JS выбирает случайное целое число 0–99 999, загружает изображение с этим идентификатором в фоновом режиме, меняет его на 2 и загружает новый фрагмент текста с тем же идентификатором; это повторяется каждые 15 секунд.Дополнительный JS добавляет кнопки для принудительного немедленного обновления, остановки процесса обновления (возможно, из-за того, что пользователю нравится пара и он хочет посмотреть на нее дольше или сделать снимок экрана / отрывок) и, конечно, для загрузки Google Analytics, чтобы следить за трафиком.

Здесь нет кнопки перемотки назад или отслеживания истории, так как это удешевляет опыт, устраняя моно-неосведомленность и ощущение чтения аниме-версии бесконечной Вавилонской библиотеки - если пользователь слишком медленный, лицо или история будут исчезают, фактически навсегда (если они не хотят проходить через них вручную).

Большая куча адаптивных CSS (написанных Obormot) на странице HTML пытается сделать TWDNE пригодным для использования на всех устройствах от небольшого экрана смартфона 3 до широкоэкранного 4k-дисплея, изменяя размеры граней в соответствии с шириной экрана и помещая изображение и текстовую часть на достаточно широких дисплеях.

Как HTML сайт, он может быть размещен на Amazon S3 как набор файлов и кеширован CloudFlare (функция, которая оказалась критической, когда проект "Этой Вайфу не существует" стал вирусным). Общий размер сайта составляет ~ 6 ГБ.

Основная первоначальная стоимость составила ~ 50 долларов США для предоплаты 4-летнего срока службы DNS для thiswaifudoesnotexist.net (оказалось, что thiswaifudoesnotexist.com был зарегистрирован всего за несколько часов до того, как я начал над этим работать); Хотя CloudFlare бесплатен, он не кэшируется на 100%, а пропускная способность и хостинг без кэширования CloudFlare S3 в феврале 2019 года стоят 98 долларов.

Коллаж из аниме рисунков нейросети

«Есть эта нейронная сеть, которая генерирует аниме-девушек ... некоторые результаты выглядят нормально, а другие ужасают. Я нарисовал коллаж из моих любимых результатов ». - Диносарден , 22 февраля 2019 г.

Послесловие от автора блога

Дальше автор описывает о том, как использовал Python и регулярки для вывода GPT-2 текста справа от арта вайфу на оригинальном сайте, затем о том как его процетировали китайские и японские сми. Ну и конечно же вспомнил о траффике, который составил более 3TB в неделю!

Лично мне проект очень понравился, более того, когда я решил скачать все изображения и начал наблюдать за тем, как в моей папке появляются тян.. а затем ещё.. и ещё... нахлынули смешанные чувства, особенно когда некоторые из них напоминали мне различных героинь из многочисленных прекрасных сеттингов. В голову лезли различные мысли, что уж таить, побоявшись что обильная носокровь зальет единственную клавиатуру, было решено продолжить перевод этой статьи. Весь архив с тянками занял около 5+ гигабайт, в определённый момент просматривая архив, меня посетила мысль что я только что скачал всех персонажей со всего Pixiv'а или Девианта)

Однозначно это большой прорыв в области компьютерной графики и нейросетей. Нейросети уже доказали что могут научится творить искусство, и пускай оно находится целиком под влиянием внешних факторов, на живого художника они тоже часто оказывают самое важное влияние при создании работ. Возможно однажды, мир увидит первое настоящее аниме, целиком созданное с помощью ИИ и нейронных сетей, и оно будет куда интересней чем большинство современного шлака.

Полезные ссылки

Нравится!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *