Derin Öğrenme Temelli Yöntemler ile İnsan Animasyonu Üzerinden Kişilik Analizi ve Öğrenilen Kişilik Özelliklerinin İnsan Animasyonuna Aktarılması
(Personality Analysis through Human Animation with Deep Learning-based Methods and Transferring Learned Personality Traits to Human Animation)

Project Description (English)

Proje Özeti (Türkçe)

Araştırmacılar:

  • Öğretim Üyesi
    • Uğur Güdükbay (Proje Yürütücüsü)

  • Lisansüstü Bursiyerler
    • Sinan Sonlu (Doktora Öğrencisi)
    • Serkan Demirci (Doktora Öğrencisi)
    • Arçin Ülkü Ergüzen (Yüksek Lisans Öğrencisi)
    • Musa Ege Ünalan (Yüksek Lisans Öğrencisi)

  • Lisans Öğrencileri
    • Ayda Yurtoğlu
    • Halil Özgür Demir

Proje Süresi:

15 Eylül 2022 - 15 Eylül 2024

Destekleyen Kuruluş:

Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) (Proje no: 122E123)

Bütçe:

1.044.899,03 TL

Proje Faaliyetleri

3. Dönem (15/03/2024 - 15/09/2024) Faaliyetleri
  • Etiketlenen insan hareketi örnekleri üzerinden kişilik tespiti ve aktarımı konusunda etkisi gösterilen hareket parametrelerine dair çalışma ilgili Animasyon Kişiliği Proje Github Sayfasında erişime açık hale getirilmiştir. Bu çalışma Sinyal İşleme ve Uygulamaları Kurultayı (SIU 2024) ile Workshop on Multi-modal Affective and Social Behavior Analysis and Synthesis in Extended Reality (MASSXR 2024) konferanslarında sunulmuştur.
  • Proje kapsamında geliştirilen yöntemler eğitim amaçlı etkileşimli avatarların (botların) gerçekçiliğini ve eğitim kalitesini artırmak amacıyla bu sistemlere entegre edilebilmektedir. Geliştirdiğimiz yöntemlerle bu avatarların yüz ifadeleri ve vücut hareketleri (mimik ve jestler) kişilik özelliklerine göre entegre edilerek bu avatarların gerçekçiliğini artırmak mümkündür. Ziyaret ettiğimiz Denver, Colorado, ABD'de 28 Temmuz - 2 Ağustos tarihlerinde gerçekleştirilen "ACM SIGGRAPH 2024 - The Premier Conference & Exhibition on Computer Graphics & Interactive Techniques" konferansının firmaların ürünlerini sergilediği kısmında eğitim amaçlı robotlar geliştiren ABD menşeli Embodied, Inc. firması temsilcisiyle görüşme gerçekleştirilmiş, firmaya bu proje kapsamında yaptığımız çalışmalarla ilgili bilgi verilmiş ve görüş alışverişinde bulunulmuştur. Firma daha sonra işbirliği imkanlarını araştırmak üzere görüşme talep etmiş ve firma ile görüşmeler gerçekleştirilmiştir. Firmanın Moxie isimli etkileşimli eğitim amaçlı robotunda geliştirdiğimizi yöntemlerin kullanımı ile ilgili görüş alışverişinde bulunulmuştur. Bu işbirliği olanaklarının proje sonrasında devam etmesi planlarımız arasındadır.
  • NeMF yapısını temel alan, girdi animasyonu hedef kişilik özelliklerini yansıtacak biçimde dönüştüren sistemin geliştirilmesi tamamlanmıştır. Yalnızca BANDAI veri kümesindeki kişilik özellikleri açısından etiketli animasyon örnekleri üzerinden eğitilen sistem çıktı animasyonların bütünlüğünü koruma konusunda başarısız olmuştur, bu sebeple sistemin eğitiminde etiketli örneklerin yanı sıra, BANDAI-2 olarak adlandırılan genişletilmiş veri kümesindeki etiketsiz örneklerden de yararlanılmıştır. Etiketsiz örneklerin kişilik açısından dönüştürülmesi konusunda, geçen proje döneminde geliştirilen Laban Hareket Analizi temelli hareket dönüşümü sisteminden yararlanılmıştır. Daha fazla sayıda örnek üzerinden eğitilen sistemin çıktıları animasyon açısından daha gerçekçi sonuçlar vermektedir.
  • Kişilik aktarımı sisteminin başarısını değerlendirmek üzere, farklı animasyon girdileri kullanılarak çıktılar üretilmiştir. Bu çıktıların ilk grubu, girdi animasyonu sayısal olarak belirtilen kişilik özelliklerine göre dönüştürmektedir. Bu gruptaki çıktılar, kullanıcı çalışmasında, sistemin her kişilik faktörünü ne kadar değiştirdiğini analiz etme amacıyla kullanılmıştır. İkinci gruptaki çıktılar, dönüştürülecek animasyonun hedef kişilik özelliklerini başka bir animasyon örneğinden almaktadır. Bu gruptaki çıktılar, kullanıcı çalışmasında, sistemin genel başarısını ölçme amacıyla kullanılmıştır.
  • Kişilik analizi ve aktarımı üzerine geliştirilen sistemlerin başarısı, proje sonuç raporunda yorumlanmıştır. Özet olarak, her iki sistemin başarısı da eğitim sırasında kullanılan etiketli verinin yeterli çeşitliliği göstermesiyle yakından ilişkilidir. Geliştirilen sistemlerin BANDAI veri kümesi üzerinden kişilik analizi ve aktarımı amacıyla kullanılabileceği gösterilmiştir, ancak farklı kişilik faktörleri açsından elde edilen başarı farklılık göstermektedir. Eğitim sırasında kullanılan veride daha iyi temsil edilen, dışadönüklük gibi kişilik özellikleri hem kişilik analizi hem de kişilik aktarımı açısından daha olumlu sonuç vermektedir. Geliştirilen kişilik aktarım sisteminin, girdi animasyonu dönüştürürken semantik anlamını koruduğu da bir kullanıcı çalışmasıyla gösterilmiştir.

2. Dönem (15/09/2023 - 15/03/2024) Faaliyetleri
  • İnsan hareketi içeren TED Konferans videoları üzerinden yapılan bir kullanıcı çalışmasıyla seçilen örneklerin kişilik özellikleri tespit edilmiş, videoda kişilik algısında hareket ve dış görünüşün etkileri üzerinde analiz yapılmıştır.
  • Önceki proje döneminde ifade ettikleri kişilik özellikleri açısından etiketlenen örnekleri artırma amacıyla girdi animasyonları Laban Hareket Analizi açısından dönüştüren bir Blender eklentisi geliştirilmiştir. Bu eklenti yardımıyla, proje kapsamında geliştirilen öğrenme sistemlerinin daha başarılı biçimde eğitilmesi öngörülmektedir.
  • Mevcut GANimator ve Deep Motion Editing sistemleri kişilik algısını değiştirme amaçlı animasyon tarz aktarımı yönünden test edilmiş, bu sistemlerin kişilik aktarımı konusundaki eksikleri tespit edilmiştir.
  • Mevcut sistemlerin eksiklerini giderecek yönde, animasyon girdisi üzerinden hedeflenen kişilik özelliklerini yansıtacak değişiklikleri yaparak çıktı animasyon üreten bir pekiştirmeli öğrenme sistemi tasarlanmıştır. Sistemin eğitim süreci devam etmekte olup mevcut çıktılar yaklaşımın kişilik üzerindeki olumlu yöndeki etkisini doğrular niteliktedir.
  • NeMF yapısını temel alan bir kişilik aktarım sistemi tasarım aşamasındadır. Bu sistemin çıktılarının pekiştirmeli öğrenme kullanan sistemin çıktılarıyla karşılaştırılması planlanmaktadır.

1. Dönem (15/09/2022 - 15/09/2023) Faaliyetleri
  • Proje dâhilinde ihtiyaç olarak belirtilen ve masrafları bütçelendirilen MacBook Pro 14 inç M1 Pro çipli dizüstü bilgisayar bu dönem içerisinde temin edilmiştir.
  • Proje sürecinde kullanılmak üzere, çeşitli hareketleri içerecek biçimde, insan animasyonları erişime açık veri kümelerinden toplanıp hareket türü açısından eksik bulunan noktalarda, var olan hareket yakalama teknolojileri kullanılarak, yeni animasyonlar elde edilmiştir. Bu animasyonlar proje dahilinde oluşturulacak modellerin eğitiminde kullanılacaktır.
  • Projede kullanılabilecek derin öğrenme metodları test edilerek uygun modellerin amaçlar doğrultusunda değiştirilmesine başlanmıştır.
  • Bilkent Üniversitesi, Bilgisayar Mühendisliği Bölümünün bünyesindeki Modelleme ve Görselleştirme Araştırma Grubu (Mod-Vis) altında projenin sonuçlarının paylaşılması amacıyla bir proje web sayfası hazırlanmıştır. Proje Web sayfasına TÜBİTAK EEE-AG 122E123 Araştırma Projesi adresinden ulaşılabilir.

Yayınlar

Hakemli Dergi Makaleleri
  • Hamila Mailee, Sinan Sonlu, and Uğur Güdükbay. Personality Expression in Cartoon Animal Characters Using Sasang Typology.Computer Animation and Virtual Worlds. 34(3-4): Article No. e2164, 14 pages, June/July 2023. Work Presented at 36th International Conference on Computer Animation and Social Agents (CASA 2023), Online from Limassol, Cyprus, 15-17 July 2023. (pdf) (Sunum Videosu) (Proje Github Sayfası)
  • Ayda Yurtoğlu, Sinan Sonlu, Yalım Doğan, Uğur Güdükbay, "Personality Perception in Human Videos Altered by Motion Transfer Networks", Computers & Graphics, Vol. 119, Article No. 103886, 11 pages, April 2024. (pdf) (Sunum Videosu) (Proje Github Sayfası) Bu makale Yeniden Üretilebilirlik Sertifikası almıştır.
Konferans Bildirileri
  • Sinan Sonlu, Yalım Doğan, Arçin Ülkü Ergüzen, Musa Ege Ünalan, Serkan Demirci, Funda Durupinar, and Uğur Güdükbay. Towards Understanding Personality Expression via Body Motion. In Proceedings of the IEEE Conference on Virtual Reality and 3D User Interfaces, Workshop on Multi-modal Affective and Social Behavior Analysis and Synthesis in Extended Reality, pp. 628–631, MASSXR '24, IEEE, Piscataway, NJ, USA, 2024. (pdf) (Sunum Videosu) (Proje Github Sayfası)
  • Sinan Sonlu, Yalım Doğan, Arçin Ülkü Ergüzen, Musa Ege Ünalan, Serkan Demirci, Funda Durupinar, and Uğur Güdükbay. İnsan Hareketi Kişilik Tespit Parametreleri (Human Movement Personality Detection Parameters) (in Turkish). In Proceedings of the IEEE Signal Processing and Communications Applications - Sinyal İşleme ve Uygulamaları Kurultayı, pp. 1–4, SİU '24, Mersin, Türkiye, May 2024 (pdf) (Proje Github Sayfası)