Yapay zeka ve derin öğrenme teknikleri kullanılarak yüz fotoğrafları içeren sahte fotoğraf ve video sentezi

Abstract

Günümüzde sosyal medya ve Web aracılığıyla fotoğraf paylaşımı oldukça arttı. Neredeyse hemen her çekildiğimiz fotoğrafı, özel olsun olmasın, Web' e bir şekilde yüklüyoruz. Ama bu fotoğrafların kötü niyetli insanlar tarafından da görülebileceği ve kullanılabileceği konusunda pek bilinçli değiliz. Bu çalışmanın amacı da bu noktada ortaya çıkıyor. Çalışmada bu amaçla; bir kişinin gerçekte var olan kısa bir videosundan veya birkaç fotoğrafından bile, o kişinin yüz fotoğrafını içeren sahte videolar oluşturulabileceği kanıtlanmaktadır. Bu birkaç fotoğraf veya kısa bir video alınıp derin öğrenme teknikleriyle eğitilerek sahte fotoğraflar ve videolar oluşturulabilir. Sahte videolarda kişinin yüzüyle başka bir kişinin yüz değişimi (Face swapping) uygulanabilir veya kişinin yüzüne yeniden canlandırma (hareketlendirme) (Face reenactment) yapılabilir. Yeniden canlandırmada ise kaynak bir kişinin yüzüne başka bir kişinin videosundaki yüz hareketleri uygulanabilir. Hatta StyleGAN gibi teknikler ile gerçek insan yüz fotoğraflarından oluşan bir fotoğraf kümesi kullanılarak var olmayan insan fotoğrafları bile üretilebilir. Yaygın olarak Derin sahtelik (Deepfake) teknolojisi olarak bilinen bu teknikler, bu çalışmada yüzde kullanılan çeşitleri ve yapıları ile birlikte ele alınmıştır. Bu teknikler, eski dönemlerde yaşamış bilim adamlarının, ünlülerin var olan fotoğraflarına yeniden canlandırma yapılıp konuşturularak çocuklar için eğitim amaçlı kullanılabilir. Kuklacılıkta bu yöntem kullanılabilir. Oyuncuların (Aktörlerin-Aktrislerin) yerine sahnelerde, onların fotoğraflarıyla bilgisayarda yeniden canlandırma yapılabilir. Portreler canlandırılabilir (hareketlendirilebilir). Bilgisayar oyunlarındaki karakterlerde de bu yöntem kullanılabilir. Son zamanlarda özellikle bu teknolojilerle oluşturulan Kemal Sunal başta olmak üzere birçok oyuncu ve sanatçının videoları, reklam filmlerinde ve sosyal medyada artmıştır. Bu çalışmanın benzer araştırmalardan ayrıldığı nokta ise eğitim için kullanılacak olan verinin diğer çalışmalardaki verilerden daha az olması ve sahte video oluşturma çeşitlerinin, yapılarının birlikte ele alınmasıdır. Veri eğitimi için kullanılan materyal GPU ve veri seti olarak ise VoxCeleb veri seti, birkaç kısa video ve birkaç fotoğraftan oluşmaktadır. Kullanılan yöntem ise Çekişmeli üretici ağlar ve Otomatik kodlayıcılar gibi üretken ağlardır. Yapılan çalışma kullanılan video ve fotoğraflarda yüzün karşıya (öne) dönük veya hafif sağa ya da hafif sola dönük iken, yüz hareketinin belirli bir alanda sınırlı olduğunda ve yüzün yavaş hareket ettiğinde yapay zekayı daha iyi eğittiği ve bu eğitim verileri kullanılarak oluşturulan sahte videoların daha başarılı olduğunu göstermiştir.

Sharing photos from social media and the Web has increased considerably these days. We upload almost every photograph we take, private or not, to the Web in some way. But we are not very conscious that these photos can also be seen and used by malicious people. The purpose of this study emerges at this point. For this purpose, in the study; It is proved that even from a short video or a few photos of a person that actually exists, fake videos containing a face photo of that person can be created. Fake photos and videos can be created by taking these few photos or a short video and training them with deep learning techniques. In fake videos, face swapping of another person can be applied with the face of the person or face reenactment can be applied to the person's face. In re-enactment, facial movements of another person's video can be applied to the face of a source person. Even non-existent human photographs can be produced using techniques such as StyleGAN using a set of photographs of real human faces. These techniques, commonly known as deepfakes technology, are discussed in this study together with the types and structures used on the face. These techniques can be used for educational purposes for children by animating existing photographs of scientists and celebrities who lived in ancient times. This method can be used in puppetry. Instead of actors (Actors-Actresses), scenes can be animated with their photos on the computer. Portraits can be animated. This method can also be used in characters in computer games. Recently, the videos of many actors and artists, especially "Kemal Sunal", who were created with these technologies, have increased in commercials and social media. The difference of this study from similar studies is that the data used for training is less than the data in other studies, and the types and structures of fake video creation are considered together. The material used for data training is the GPU and the dataset consists of VoxCeleb dataset, several short videos and several photos. The method used is generative networks such as Generative adversarial networks (GAN) and Auto-encoders. The study has shown that in the videos and photos used, when the face is turned forward or slightly to the right or slightly to the left, when the facial movement is limited in a certain area and the face moves slowly, it trains the artificial intelligence better. It has shown that the fake videos created using this training data are more successful.