MEEMES 구축: 캐릭터 교체와 얼굴 교체

답답해서 MEEMES를 만들기 시작했습니다. 제가 시도한 모든 얼굴 교체 도구는 데모에서 훌륭하게 작동했습니다. 즉, 밈 속 사람이 교체되는 사람과 비슷하게 보였을 때였습니다. 하지만 피부색, 성별 또는 얼굴 구조가 일치하지 않는 순간이 있었나요? 결과는 어색한 것부터 정말 불안한 것까지 다양했습니다.

그것은 틈새 문제가 아닙니다. 대부분의 사람들이 대부분 그렇습니다.

전통적인 얼굴 교체의 문제점

기존의 얼굴 교환 기술은 말 그대로 얼굴을 가져와서 다른 얼굴에 붙여넣는 것입니다. AI는 피부색을 혼합하고 조명을 맞추려고 시도하지만 근본적으로 제한적입니다. 다른 사람의 뼈 구조, 피부색 및 특징에 따라 형성된 공간에 귀하의 얼굴을 맞추려고 노력하고 있습니다.

비슷한 외모의 사람들끼리 스왑을 하면 괜찮습니다. 하지만 여성의 얼굴을 남성 밈 템플릿으로 바꾸거나 피부색에 상당한 차이가 있는 곳으로 바꾸면... 문제가 발생합니다. 불쾌한 골짜기 물건. 공유하고 싶지 않은 결과입니다.

문자 교환 입력

그래서 우리는 뭔가 다른 것을 만들었습니다. 단순히 얼굴을 바꾸는 대신, 캐릭터 스왑은 전체 캐릭터를 재구성합니다. 그것은 당신의 얼굴을 다른 사람의 머리에 섞으려고 하지 않습니다. 그것은 당신을 캐릭터로 삼아 장면을 재생성합니다.

그 차이는 미묘하지만 엄청납니다. 피부톤이 그대로 유지됩니다. 당신의 얼굴 구조는 단순히 붙인 얼굴이 아닌 전체 캐릭터를 알려줍니다. 결과는 당신이 실제로 그 밈에 속한 것처럼 보입니다. 왜냐하면 AI는 불일치에 맞서 싸우지 않고 당신 주위에 구축되기 때문입니다.

언제 어느 것을 사용하는가?

두 옵션 모두 각자의 위치가 있으므로 두 가지 옵션을 모두 유지했습니다.

정적 얼굴 교환 은 원래 얼굴이 귀하의 얼굴과 비슷한(비슷한 피부색, 비슷한 성별 표현, 비슷한 얼굴 구조) 밈으로 전환할 때 더 빠르고 훌륭하게 작동합니다. 또한 원본 밈의 정확한 표현을 보존하는 데 더 좋습니다.

문자 교환 은 귀하와 밈 템플릿 사이에 상당한 차이가 있을 때 원하는 것입니다. 피부톤이 다른가요? 캐릭터 스왑. 성별이 다른가요? 캐릭터 스왑. 원본 밈은 얼굴 모양이 완전히 다른데요? 캐릭터 스왑. 처리하는 데 시간이 조금 더 걸리지만 결과는 그만한 가치가 있습니다.

최상의 결과 얻기

어떤 모드를 사용하든 출력 품질에 가장 큰 차이를 만드는 두 가지 요소는 원본 사진과 선택한 밈입니다.

원본 사진이 중요합니다(많은 부분)

AI는 주어진 만큼만 작동할 수 있습니다. 흐릿하거나 어둡거나 부분적으로 가려진 사진은 흐릿하고 이상한 결과를 낳습니다. 실제로 작동하는 방법은 다음과 같습니다.

프레임 안에는 당신뿐이다. 단체 사진은 어떤 얼굴을 사용해야 할지 AI에게 혼란을 줍니다. 자신의 얼굴이 가장 크더라도 이미지의 다른 얼굴이 감지 및 생성을 방해할 수 있습니다. 잘라내거나 다른 사진을 사용하세요.

중립적인 표현입니다. 알아요, 알아요. 웃는 사진이 멋지네요. 그러나 얼굴 교환의 경우 중립적이거나 약간의 미소가 가장 잘 작동합니다. 극단적인 표현(입 크게 벌리기, 눈을 가늘게 뜨고 있는 눈 등)은 대상 밈에 전달되어야 하는 고유한 표현이 있기 때문에 잘 전달되지 않습니다.

선글라스는 없습니다. 당연한 것 같지만 그렇지 않다는 것을 알 수 있을 만큼 충분한 지원 이메일을 받았습니다. AI는 당신의 눈을 볼 수 있어야 합니다. 선글라스, 스키 고글, VR 헤드셋 - 이들 중 어느 것도 작동하지 않습니다. 보통 안경은 괜찮습니다.

조명이 좋고 전면이 좋습니다. 자연광 또는 조명이 밝은 실내 사진. 카메라를 바라보세요. 측면 프로필은 작동할 수 있지만 필요 이상으로 어렵게 만들고 있습니다.

올바른 밈 템플릿 선택하기

얼굴 교환을 위해 모든 밈이 동일하게 생성되는 것은 아닙니다. 선택한 템플릿은 원본 사진만큼 결과에 영향을 미칩니다.

해상도가 높을수록 더 나은 결과를 얻을 수 있습니다. 스크린샷을 찍고 47번이나 다시 업로드된 딱딱하고 튀긴 밈이요? AI는 그것으로 어려움을 겪습니다. 가능하면 더 깔끔한 버전의 템플릿을 찾으세요. Tenor는 일반적으로 인기 있는 밈의 괜찮은 품질 버전을 보유하고 있습니다.

선명하고 눈에 띄는 얼굴이 가장 좋습니다. 밈의 얼굴이 작거나, 심하게 가려지거나, 각도가 너무 크거나, 얼굴 페인트/과도한 스타일로 덮여 있으면 결과가 일관되지 않습니다. 클래식이 클래식인 데는 이유가 있습니다. Drake, Distracted Boyfriend, 명확한 표현이 포함된 반응 밈 등이 있습니다.

안정된 얼굴의 GIF. 애니메이션 밈의 경우 상대적으로 안정적인 얼굴 위치를 갖는 것이 가장 잘 작동합니다. 미묘한 움직임(눈 깜박임, 작은 머리 회전)은 괜찮습니다. 거친 카메라 움직임, 각도 간 빠른 컷 또는 극단적인 얼굴 변형으로 인해 더 거친 결과가 생성됩니다.

다음은 무엇일까요?

우리는 여전히 적극적으로 구축하고 있습니다. 캐릭터 스왑 모델은 반복될 때마다 더 좋아지며, 품질 저하 없이 처리 속도를 높이기 위해 노력하고 있습니다. 애니메이션 캐릭터 교체와 관련된 몇 가지 흥미로운 내용도 있습니다. 재구성된 접근 방식을 취하지만 GIF용입니다.

피드백이 있거나 문제가 발생하면 알려주세요. 이 모든 일은 기존 도구가 모든 사람에게 적합하지 않았기 때문에 시작되었습니다. MEEMES가 실제로 모든 사람에게 작동하는지 확인하는 것이 핵심입니다.