İşaret dili, işitme engellilerin ana dilidir. İşaret dili, mesajı iletmek için pek çok görsel öğeden yararlanır: El şekli ve yörüngesinden oluşan jestler (işmarlar); vücut pozu, ve yüz ifadeleri. Her kültürel grubun ayrı bir işaret dili vardır ve Türk işaret dili (TİD), Türkiye’deki işitme engellilerin ana dilidir. TİD’den Türkçe yazılı ve sözlü dile tercüme ve bunun tersi, ancak her iki dili de bilen ve işitme engeli olmayan tercümanlar yoluyla yapılabilmektedir ve pahalıdır. Örneğin, ancak sınırlı sayıda televizyon programı, TİD ile simültane tercüme edilerek yayınlanmaktadır. İşaret dilinin otomatik tanınması, bilgisayarla görmede çözülmemiş zor problemlerden birisidir. İşaret dili tanıma teknolojisinin gelişmesi, işitme engelli bireylerin topluma katılmasını kolaylaştıracak ve hızlandıracaktır. Öte yandan, işaret dili tanıma, bilgisayarla görme teknolojisinin gelişmesi için öncü rol yapmaktadır; ve bu alandaki gelişmeler insan- bilgisayar etkileşiminde de kullanılmaktadır.
Bilgisayarla görmede derin öğrenme yaklaşımı, son yıllarda, nesne tanımada büyük başarı kazanarak, en tercih edilen yöntem haline gelmiştir. Bu gelişmeyi hazırlayan etkenlerden birisi, çok büyük ölçekli imge veri tabanlarının toplanması ve içeriğinin işaretlenmesi olmuştur. İşaret dili alanında, benzer şekilde, her dilin işaret diline ait geniş veri setleri toplanmaktadır. Bu projede amacımız, toplanan bu veri tabanlarını kullanarak işaret dili için özelleşmiş bir derin sinir ağı eğitmektir. Derin sinir ağlarının eğitiminde, başka bir alanda eğitilen bir ağın, hedeflenen alanda kullanılması için transfer öğrenmesi teknikleri kullanılır. Eğitilen derin ağ, değişik işaret dillerinin betimlenmesinde kullanılabilecek ortak bir gösterim verecektir; ancak başarımının artırılması için, hedef alandaki veriyle tekrar eğitilmesi gerekir. Bu amaçla, TİD’de toplanmış kaynaklarda transfer öğrenmesi yöntemlerini kullanacağız.
Yapılan araştırmalar sonucunda, işaret dilinde yapılmış ayrık bir işaretin tanınması ve bir video içinde işaret dili ile sorgu yapılması için sistemler geliştirilecektir. Bu sistemlerle, işaret dili bilmeyen bir kişinin, gördüğü bir işaretin anlamını öğrenmesi, ve bir işitme engelli kişinin, işaret dili ile videolarda sorgu yapması mümkün olacaktır. Aynı zamanda, işaret dili ile işaretlenmiş sesli videolarda yapılan sorgularla, videodan sese ve yazıya tercüme yapabilen TİD sözlüğü geliştirilmiş olacaktır.
English