Cooperative Sign Language Tutoring: A Multiagent Approach
Summary:
Sign language is the natural means of communication for the hearing-impaired. Sign languages are based on signs, which are a combination of hand gestures, facial expressions, and head movements. Teaching these visual languages to others is an important, but a difficult task. Sign languages can be learned effectively only with frequent feedback from an expert in the field. The expert needs to watch a performed sign, and decide whether the sign has been performed well based on her previous knowledge about the sign. The experts role can be imitated by an automatic system, which uses a training set as its knowledgebase to train a classifier that can decide whether the performed sign is correct. However, when the system does not have enough previous knowledge about a given sign, the decision will not be accurate. Accordingly, we propose a multiagent architecture in which agents represent sign language experts, and they cooperate with each other to decide on the correct classification of performed signs. We apply different cooperation strategies and test their performances in varying environments. We further study the robustness of our strategies. Our results also show that the best performing strategy is our proposal, the Bayesian modeling strategy. Further, through analysis of the multiagent system, we discover inherent properties of sign languages, such as the existence of dialects.
Özet:
İşaret dili duyma engellilerin doğal iletişim aracıdır. İşaret dili el hareketleri, yüz ifadesi ve kafa hareketlerinin bir karışımı olan işaretlere dayalıdır. Bu görsel dilleri başkalarına öğretmek zor fakat önemli bir iştir. İşaret dillerinin verimli öğrenilmesi bir uzmanın sıkça geri bildirimde bulunmasıyla mümkündür. Uzman kimse, gerçekleştirilen işareti izlemeli, ve işaret hakkındaki varolan bilgisine göre işaretin doğru gerçekleştirilip gerçekleştirilmediğine karar vermelidir. Uzmanların rolü, gerçekleştirilen işaret hakkında karar vermek için bir eğitim kümesini bilgi dağarcığı olarak kullanıp bir sınıflayıcı eğiten, otomatik bir sistem tarafından taklit edilebilir. Fakat, otomatik sistemin, yeterli eski tecrübesi olmadığı takdirde, vereceği kararlar isabetli olamayacaktır. Bu problemi çözmek için etmenlerin işaret dili uzmanlarını temsil ettiği ve kendi aralarında işbirliği yaparak gerçekleştirilen bir işaretin doğru sınıfına karar verdikleri, çok etmenli bir mimari öneriyoruz. Geliştirilen mimari üzerinde çeşitli işbirliği stratejileri uyguluyor ve bunların performansını değişen koşullarda test ediyoruz. Daha sonra, bu stratejilerin ne kadar sağlam olduklarını inceliyoruz. Sonuçlarımıza göre en iyi performansı sergileyen strateji bizim önermiş olduğumuz Bayesçi modelleme stratejisidir. Bir sonraki adım olarak, çok etmenli sistem üzerinde gerçekleştirdiğimiz analizlerle, işaret dilinin içerdiği dialektlerin varlığı gibi bir takım özellikleri keşfediyoruz.