Teknoloji ve eğlence firmaları yüz tanıma teknolojisine büyük yatırımlar yapıyorlar. Bu yarışta yer alan Disney de, parmakla gösterilen firma olmayı amaçlıyor.
Firmanın araştırma ekibi izleyicilerin filme olan duygusal tepkilerini ölçmek amacıyla yüz ifadelerini kontrol eden derin öğrenme tekniklerini kullanıyor.
‘Faktörize Değişken Oto-Şifreleyiciler (FVAEs)’ olarak adlandırılan yeni algoritma o denli tutarlı ki, izleyiciler arasında yer alan bir kişinin 10 dakikalık yüz ifadelerini inceleyerek, filmin kalan bölümüne nasıl tepki vereceğini tahmin edebiliyor.
Amazon’un online alışveriş yapanlar için kullanmakta olduğu geçmişte yaptığınız alışverişlere dayalı olarak yeni ürünler sunan tavsiye sisteminin daha gelişmiş bir versiyonu olan FVAEs, izleyicilerin gülümseme ve kahkaha gibi bir dizi yüz ifadelerini algılıyor.
Daha sonra izleyiciler arasında ilişkiler kuran algoritma, değerlendirmede olan filmin doğru yerde ve zamanda beklenen tepkileri alıp almadığını tespit ediyor. Örneğin güldürerek izleteceği düşünülen ‘Inside Out (Tersyüz)’ filmini izlerken gerçekten de gülüyor musunuz, yoksa esneme modunda mısınız, bunun tespitini yapıyor.
Disney araştırma biriminde laboratuar görevlisi olarak çalışan Doktora öğrencisi Zhiwei Deng “FVAE’ler gülümseme ya da kahkaha gibi kavramları kendi kendilerine öğrenebildiler. Dahası, bu yüz ifadelerinin komik sahnelerle nasıl ilişkili olduklarını da gösterebildiler” diyor.
Disney’in araştırma ekibi 400 kişilik 4 adet infrared kamera ile donatılmış bir tiyatro salonunu kullanarak, ‘Orman Kitabı’, ‘Büyük Kahraman’, ‘Star Wars: The Force Awakens’ ve ‘Zootopia’ gibi 9 sevilen filmin 150 gösterimi esnasında izleyicilerin tepkilerini kayıt altına almış.
Sonuç itibariyle nöral ağı besleyecek 3179 seyircinin 16 milyon yüz görüntüsünden oluşan bir veri seti elde edilmiş.
FVAE’lerde olduğu gibi değişken oto-şifreleyici sistemler bu veri noktalarını, belirli özellikleri temsil eden bir dizi rakama otomatik olarak tercüme ederek çalışır. Bir yüzün ne kadar gülümsediği, gözlerin ne denli büyüdüğü, v.b. faktörleri hesaba katar.
Bu rakamlar daha sonra diğer veri parçacıklarıyla bağlanarak, seyircinin filme olan tepkisi ölçülür.
“İnsan davranışını anlamak, etkileyici davranışsal ve sosyal zeka yeteneği sergileyen Yapay Zeka sistemlerinin geliştirilmesinde temel rol oynar. Örneğin, yaşlı insanları gözlem altında bulundurmaya yönelik Yapay Zeka sistemleri geliştirmek onların vücut dillerinden ip uçlarını toplayabilmeye dayalıdır. Zira insanlar duygularıyla ilgili olarak kesin ifadelerde bulunmayabilirler.”
Söz konusu proje IEEE’nin Hawaii’de düzenlenen ‘Bilgisayar Vizyonu ve Kalıp Algılama’ konferansında sunulmuş.
