Yakın Doğu Üniversitesi Mühendislik Fakültesi, Uygulamalı Yapay Zeka Araştırma Merkezi mühendisleri işaret dilini yazıya çeviren yazılım geliştirdiler.

Yakın Doğu Üniversitesi Basın ve Halkla İlişkiler Müdürlüğü’nden yapılan açıklamada, Yakın Doğu Üniversitesi Mühendislerinden Murat Arslan, Şenol Korkmaz ve Idoko John Bush’un, işitme engellilerin kullandıkları işaret dilini anlık olarak harflere çeviren yazılım programı geliştirdiği belirtildi. Geliştirilen program, işitme ve konuşma engelli kişilerin günlük hayatlarında işaret dilini bilmeyenlerle iletişim kurmasını kolaylaştıracak.

Programa Öğrenme Yetisi Koydular…
Mühendisler, kameradan aldıkları görüntüden önce “nesne algılama” tekniği kullanarak elleri bulup, daha sonra bu el figürlerinin “nesne sınıflandırma” tekniği kullanılarak ellerin o anki durumunun hangi harfe denk geldiğini bilgisayara öğrettiler. Bilgisayar görüntü işleme algoritmaları ve derin öğrenme teknikleri kullanan mühendisler, kameradan aldıkları görüntülerde önce kullanıcının elini algılayıp daha sonra bu elin şekline karşılık gelen harfi ekrana yazdırdılar. Böylece, kamera önünde işaret dili ile konuşan kişinin ifade etmek istedikleri, uygulama sayesinde yazılı metin haline geliyor. Yazılım için, 28 el işareti harfi için yaklaşık 50 bin tane fotoğraftan oluşan veri seti kullanılarak sisteme harflerin hangi el şekilleri olduğunu öğretildi. Ayrıca, 5 bin kadar el fotoğrafı kullanarak sisteme el’in ne olduğunu öğrettiler.

İnception Algoritması Kullanılarak Başarılı Sonuçlar Elde Edildi…
Mühendisler, “nesne algılama” için en yeni ve hızlı algoritmalardan biri olan ayrıca otonom arabalarda da kullanılan Single Shot MultiBox Detector (SSD) kullandıklarını ifade ederek, nesne sınıflandırmada ise bu alanda daha önce kullanılmamış olan ve bir çeşit konvolusyon algoritması olan Inception algoritmasını kullanarak elin belirli özelliklerini çıkardıklarını dile getirdiler. Bu özellikleri daha sonra destek vektör makinesine girdi olarak veren mühendisler, % 99.9 oranında başarılı sonuçlar elde ettiler.

Uygulamanın Cep Telefonunda Kullanımı Test Ediliyor…
Yazılımın bilgisayar ortamındaki testlerinin bittiğini ve bunu cep telefonları için yapmaya başladıklarını vurgulayan yazılımı geliştiren mühendislerden Murat Arslan, işaret dili ile konuşan bir insana telefonun kamerasını doğrulttuğumuz da harfleri yazılara çevirerek karşıdaki insanı anlamayı hedeflediklerini belirtti. Yazılımın cep telefonu için sürdürülen test aşamaları da bitince, cep telefonları sayesinde konuşma engelli bir kişinin söylemek istedikleri okunabilecek. Daha sonra ise kullanıcının söylediği cümleleri harflere ayırarak karşıdaki kullanıcıya işaret olarak göstermeyi hedeflediklerini belirttiler.

İnsanlığa Hizmet Edecek Çalışmalar Yürütülüyor…
Otonom araba, engelli bireyler için kafa hareketleri ile mouse kontrolü, elle uzaktan obje kontrolü, beyin sinyallerinden epilepsi durumu algılama, araç içerisindeki şoförün uyku durumunu algılama gibi bir çok yazılım geliştiren mühendisler, farklı ve insanlığa hizmet edecek çalışmalarını sürdürdüklerini ve önümüzdeki günlerde bu çalışmaların Yakın Doğu Üniversitesi ve Uygulamalı Yapay Zeka Merkezi adı altında çeşitli konferans ve dergilerde yayınlanacağını bildirdiler.