Platform Katakan AI menang kompetisi Microsoft AI Accessibility

Microsoft bersama dengan Telkom University telah menyelesaikan rangkaian kompetisi hackathon AI for Accessibility (AI4A). Kompetisi ini menyertakan 26 tim yang terdiri dari mahasiswa Telkom University lintas jurusan, mereka berpartisipasi untuk memecahkan tantangan dunia nyata yang dihadapi penyandang disabilitas,mulai dari kehidupan sehari-hari, pekerjaan, hingga komunikasi–dengan bantuan teknologi kecerdasan buatan (AI).

Hasilnya, tim ‘Katakan AI’ keluar sebagai pemenang, dan berhak memperoleh hadiah berupa kredit Azure, dukungan dari pakar teknis Microsoft, serta pendampingan berkelanjutan untuk mengembangkan ide mereka di Microsoft Azure.

‘Katakan AI’ adalah ide yang digagas oleh lima orang mahasiswa Telkom University untuk membantu teman penyandang tunarungu berkomunikasi secara lancar dengan teman dengar di ruang pertemuan virtual. Ide tersebut didesain dalam dua bentuk arsitektur. Pertama, sebagai platform desktop dan mobile ‘Katakan AI’ yang berdiri sendiri. Kedua, sebagai extension di platform penyedia layanan konferensi.

Berikut adalah fitur-fitur utama yang hendak dikembangkan dalam ‘Katakan AI’:

Voice to text (Bahasa Indonesia)

Di sini, AI akan digunakan untuk mengembangkan sistem penerjemah speech-to-text, sehingga teman penyandang tunarungu dapat memahami perkataan peserta teman dengar dengan membaca teks hasil terjemahan kata-kata mereka.

Penerjemah bahasa isyarat (gerakan tangan)

Menggunakan kamera atau sensor gerakan yang dihubungkan dengan platform pertemuan virtual, AI akan dapat mengenali gerakan tangan teman penyandang tunarungu, untuk kemudian mengubahnya menjadi teks dan atau speech yang dipahami peserta teman dengar.

Chatbot untuk menemukan kosakata yang tidak dikenal

Menyediakan kemampuan memberikan definisi, sinonim, atau contoh dari kata-kata teman dengar yang sulit dipahami, chatbot ini dapat membantu teman penyandang tunarungu untuk menemukan dan memahami kosakata yang tidak mereka pahami ketika membaca teks hasil terjemahan voice to text, secara mudah dan cepat.

Caption dan subtitle media otomatis

AI dapat digunakan untuk memberikan caption dan subtitle otomatis dari media yang digunakan di pertemuan virtual, seperti slide presentasi, video, maupun media-media pendukung lainnya.

Selain ‘Katakan AI’ yang keluar sebagai pemenang utama, sejumlah ide lain juga mendapatkan penghargaan khusus. Misalnya, ide tongkat bantu jalan pintar bagi penyandang tuna netra, aplikasi tata rias berbasis AI yang dapat membantu penyandang disabilitas penglihatan untuk meningkatkan kepercayaan diri dan kemandirian mereka saat merias diri, dan lain sebagainya.