Xây dựng MEEMES: Hoán đổi nhân vật và hoán đổi khuôn mặt

Tôi bắt đầu xây dựng MEEMES vì cảm thấy nản lòng. Mọi công cụ hoán đổi khuôn mặt mà tôi thử đều hoạt động hiệu quả trong các bản demo - khi người trong meme trông giống với người được hoán đổi. Nhưng tại thời điểm đó có sự không khớp về màu da, giới tính hoặc cấu trúc khuôn mặt? Các kết quả dao động từ khó xử đến thực sự đáng lo ngại.

Đó không phải là vấn đề thích hợp. Đó là hầu hết mọi người, hầu hết thời gian.

Vấn đề với Hoán đổi khuôn mặt truyền thống

Công nghệ hoán đổi khuôn mặt truyền thống thực hiện chính xác những gì nó nói - nó lấy một khuôn mặt và dán nó lên một khuôn mặt khác. AI cố gắng pha trộn các tông màu da và điều chỉnh ánh sáng, nhưng về cơ bản nó bị hạn chế. Đó là cố gắng làm cho khuôn mặt của bạn phù hợp với một không gian được định hình bởi cấu trúc xương, màu da và đặc điểm của người khác.

Điều này hoạt động tốt khi trao đổi giữa những người có ngoại hình giống nhau. Nhưng hãy thử hoán đổi khuôn mặt của một người phụ nữ thành mẫu meme nam hoặc bất kỳ sự hoán đổi nào có sự khác biệt đáng kể về màu da và bạn sẽ gặp phải... vấn đề. Những thứ ở thung lũng kỳ lạ. Loại kết quả mà bạn chắc chắn không muốn chia sẻ.

Nhập hoán đổi ký tự

Vì vậy, chúng tôi đã xây dựng một cái gì đó khác biệt. Thay vì chỉ hoán đổi khuôn mặt, Hoán đổi nhân vật của chúng tôi sẽ mô phỏng lại toàn bộ nhân vật. Nó không cố gắng ghép khuôn mặt của bạn vào đầu của người khác - nó tái tạo lại cảnh với bạn là nhân vật.

Sự khác biệt rất nhỏ nhưng rất lớn. Màu da của bạn giữ nguyên màu da của bạn. Cấu trúc khuôn mặt của bạn nói lên toàn bộ nhân vật chứ không chỉ là một khuôn mặt được dán lên. Kết quả có vẻ như bạn thực sự thuộc về meme đó vì AI không chiến đấu chống lại sự không phù hợp - nó đang xây dựng xung quanh bạn.

Khi nào nên sử dụng cái nào

Chúng tôi giữ cả hai lựa chọn vì mỗi lựa chọn đều có vị trí riêng:

Hoán đổi khuôn mặt tĩnh nhanh hơn và hoạt động hiệu quả khi bạn chuyển sang một meme có khuôn mặt ban đầu giống với khuôn mặt của bạn - màu da giống nhau, cách thể hiện giới tính giống nhau, cấu trúc khuôn mặt giống nhau. Việc bảo tồn các biểu thức chính xác từ meme gốc cũng sẽ tốt hơn.

Hoán đổi ký tự là điều bạn mong muốn khi có bất kỳ sự khác biệt đáng kể nào giữa bạn và mẫu meme. Màu da khác nhau? Hoán đổi nhân vật. Khác giới tính? Hoán đổi nhân vật. Meme gốc có hình dạng khuôn mặt hoàn toàn khác? Hoán đổi nhân vật. Phải mất một chút thời gian để xử lý, nhưng kết quả là xứng đáng.

Đạt được kết quả tốt nhất

Dù bạn sử dụng chế độ nào thì có hai điều tạo nên sự khác biệt lớn nhất về chất lượng đầu ra: ảnh nguồn và meme bạn chọn.

Nguồn ảnh của bạn rất quan trọng (Rất nhiều)

AI chỉ có thể hoạt động với những gì bạn cung cấp cho nó. Một bức ảnh bị mờ, tối hoặc bị che khuất một phần sẽ cho kết quả mờ, kỳ lạ. Đây là những gì thực sự hoạt động:

Chỉ có bạn trong khung hình. Các bức ảnh nhóm khiến AI bối rối không biết nên sử dụng khuôn mặt nào. Ngay cả khi khuôn mặt của bạn lớn nhất, các khuôn mặt khác trong ảnh có thể cản trở việc phát hiện và tạo khuôn mặt. Cắt chúng ra hoặc sử dụng một bức ảnh khác.

Biểu cảm trung tính. Tôi biết, tôi biết - bức ảnh bạn cười thật tuyệt. Nhưng đối với việc hoán đổi khuôn mặt, một nụ cười trung tính hoặc nhẹ nhàng là phù hợp nhất. Những biểu cảm quá khích (miệng há to, nheo mắt, v.v.) không truyền tải tốt vì meme mục tiêu có biểu cảm riêng cần phải vượt qua.

Không đeo kính râm. Điều này có vẻ hiển nhiên nhưng tôi nhận được đủ email hỗ trợ để biết rằng không phải vậy. AI cần nhìn thấy đôi mắt của bạn. Kính râm, kính trượt tuyết, tai nghe VR - đều không có tác dụng. Kính thông thường thường ổn.

Ánh sáng tốt, hướng chính diện. Ánh sáng tự nhiên hoặc ảnh chụp trong nhà đủ ánh sáng. Đối mặt với máy ảnh. Cấu hình bên có thể hoạt động nhưng bạn đang làm cho nó khó hơn mức cần thiết.

Chọn đúng mẫu Meme

Không phải tất cả các meme đều được tạo ra như nhau để hoán đổi khuôn mặt. Mẫu bạn chọn ảnh hưởng đến kết quả của bạn nhiều như ảnh nguồn của bạn.

Độ phân giải cao hơn = kết quả tốt hơn. Meme chiên giòn, giòn đó đã được chụp màn hình và tải lại 47 lần? AI đấu tranh với nó. Hãy tìm các phiên bản mẫu sạch hơn khi có thể. Tenor thường có phiên bản chất lượng khá của các meme phổ biến.

Khuôn mặt rõ ràng, dễ nhìn là hiệu quả nhất. Nếu khuôn mặt trong meme nhỏ, bị che khuất nhiều, ở góc quá cao hoặc bị che phủ bởi lớp sơn mặt/cách điệu quá mức, thì kết quả sẽ không nhất quán. Những tác phẩm kinh điển là có lý do - Drake, Bạn trai mất tập trung, những meme phản ứng với biểu cảm rõ ràng.

GIF có khuôn mặt ổn định. Đối với các meme hoạt hình, những meme hoạt động tốt nhất có vị trí khuôn mặt tương đối ổn định. Những chuyển động tinh tế (chớp mắt, quay đầu nhỏ) đều ổn. Chuyển động mạnh của máy ảnh, cắt nhanh giữa các góc hoặc biến dạng khuôn mặt quá mức sẽ tạo ra kết quả thô hơn.

Điều gì tiếp theo

Chúng tôi vẫn đang tích cực xây dựng. Mô hình hoán đổi ký tự trở nên tốt hơn sau mỗi lần lặp và chúng tôi đang nỗ lực cải thiện quá trình xử lý nhanh hơn mà không làm giảm chất lượng. Ngoài ra còn có một số nội dung thú vị xoay quanh việc hoán đổi nhân vật hoạt hình - áp dụng phương pháp mô phỏng lại nhưng dành cho ảnh GIF.

Nếu bạn có phản hồi hoặc gặp sự cố, hãy cho tôi biết. Toàn bộ điều này bắt đầu vì các công cụ hiện có không phù hợp với tất cả mọi người. Mục đích chính là đảm bảo MEEMES thực sự có tác dụng với mọi người.