Создание МЕМЕСов: замена персонажей или замена лиц

Я начал создавать MEEMES, потому что был разочарован. Каждый инструмент замены лица, который я пробовал, отлично работал в демоверсиях — когда человек в меме был похож на человека, которого заменяли. Но в тот момент, когда возникло несоответствие оттенка кожи, пола или строения лица? Результаты варьировались от неловких до действительно тревожных.

Это не нишевая проблема. Это большинство людей, большую часть времени.

Проблема с традиционной заменой лиц

Традиционная технология замены лиц делает именно то, что говорит: берет лицо и вставляет его в другое лицо. ИИ пытается смешать оттенки кожи и подобрать освещение, но его возможности принципиально ограничены. Он пытается вписать ваше лицо в пространство, сформированное чьей-то костной структурой, цветом кожи и чертами лица.

Это прекрасно работает, когда обмен происходит между похожими на вид людьми. Но попробуйте заменить женское лицо на мужской шаблон мема или любой другой обмен, где есть значительная разница в оттенке кожи, и вы получите… проблемы. Странные вещи из долины. Результаты, которыми вы точно не захотите делиться.

Введите замену символов

Итак, мы построили что-то другое. Вместо того, чтобы просто менять лица, наша функция «Смена персонажей» переосмысливает всего персонажа. Он не пытается смешать ваше лицо с чьей-то головой — он регенерирует сцену, в которой вы играете роль персонажа.

Разница незначительная, но огромная. Тон вашей кожи остается вашим тоном кожи. Структура вашего лица определяет весь персонаж, а не просто наклеенное лицо. Результат выглядит так, будто вы действительно принадлежите к этому мему, потому что ИИ не борется с несоответствием — он строится вокруг вас.

Когда какой использовать

Мы сохранили оба варианта, потому что каждый из них имеет свое место:

Статическая смена лиц работает быстрее и отлично работает, когда вы переключаетесь на мем, исходное лицо которого похоже на ваше — похожий оттенок кожи, похожее гендерное представление, похожее строение лица. Это также лучше для сохранения точных выражений оригинального мема.

Смена персонажей — это то, что вам нужно, когда есть существенная разница между вами и шаблоном мема. Разный оттенок кожи? Смена персонажей. Другой пол? Смена персонажей. У оригинального мема совершенно другая форма лица? Смена персонажей. Обработка занимает немного больше времени, но результат того стоит.

Получение наилучших результатов

Какой бы режим вы ни использовали, есть две вещи, которые больше всего влияют на качество вывода: исходная фотография и выбранный вами мем.

Ваше исходное фото имеет большое значение (большое)

ИИ может работать только с тем, что вы ему дадите. Размытая, темная или частично затемненная фотография приведет к размытым и странным результатам. Вот что на самом деле работает:

В кадре только ты. Групповые фотографии не позволяют ИИ понять, какое лицо использовать. Даже если ваше лицо самое большое, другие лица на изображении могут мешать обнаружению и генерации. Обрежьте их или используйте другую фотографию.

Нейтральное выражение. Знаю, знаю - твоя смеющаяся фотография великолепна. Но для смены лиц лучше всего подойдет нейтральная или легкая улыбка. Экстремальные выражения (широко открытый рот, прищуренные глаза и т. д.) плохо передаются, потому что у целевого мема есть свое собственное выражение, которое необходимо проявить.

Никаких солнцезащитных очков. Это кажется очевидным, но я получаю достаточно писем от службы поддержки, чтобы знать, что это не так. ИИ должен видеть ваши глаза. Солнцезащитные очки, лыжные очки, VR-гарнитуры — ничего из этого не подойдет. Обычные очки обычно подходят.

Хорошее освещение, фронтальная сторона. Фотографии в помещении при естественном освещении или в хорошо освещенном помещении. Лицом к камере. Боковые профили могут работать, но вы усложняете задачу, чем нужно.

Выбор правильного шаблона мема

Не все мемы одинаково подходят для замены лиц. Выбранный вами шаблон влияет на ваши результаты так же, как и исходная фотография.

Более высокое разрешение = лучшие результаты. Тот хрустящий, прожаренный во фритюре мем, скриншот которого был снят и перезагружен 47 раз? ИИ борется с этим. По возможности ищите более чистые версии шаблонов. У Tenor обычно есть версии популярных мемов достойного качества.

Четкие, видимые лица работают лучше всего. Если лицо в меме крошечное, сильно скрытое, расположенное под большим углом или покрытое краской/сильной стилизацией, результаты будут противоречивыми. Классика не просто так классика — Дрейк, Отвлеченный парень, мемы-реакции с четкими выражениями.

Гифки со стабильными лицами. Для анимированных мемов лучше всего подходят те, которые имеют относительно стабильное положение лица. Легкие движения (мигание, небольшие повороты головы) допустимы. Резкие движения камеры, быстрые смены ракурсов или чрезмерная деформация лица приведут к более грубым результатам.

Что дальше

Мы все еще активно строим. Модель замены символов становится лучше с каждой итерацией, и мы работаем над тем, чтобы ускорить обработку без ущерба для качества. Есть также некоторые интересные вещи, связанные со сменой анимированных персонажей — подход переосмысления, но для GIF-файлов.

Если у вас есть отзывы или проблемы с обращениями, дайте мне знать. Все началось с того, что существующие инструменты подходили не всем. Весь смысл в том, чтобы убедиться, что MEEMES действительно работает для всех.