Le but de ce projet et de développer une application qui aide les personnes sourdes et malentendantes à entretenir des conversations avec des interlocuteurs non malentendants et n’ayant aucune connaissance du langage des signes.
En ayant recours à diverses techniques de traitement de la parole telles que la reconnaissance vocale, l’application pourrait ainsi permettre de briser les barrières de communication entre la communauté sourde et malentendante et le reste du monde.
Cette application permet de :
Visualiser la conversation entre une personne malentendante et son interlocuteur sous forme de chat.
Enregistrer un interlocuteur.
Identifier un locuteur.
Traduire les dires de l’interlocuteur sous forme de texte.
Synthétiser la parole à partir du texte écrit par l’utilisateur.
L'application utilise les technologies vocales de Google TTS pour la reconnaissance et la synthèse de la parole. L'application comprend également un ensemble de phrases prêtes à l'emploi, un historique des conversations et une grande fonction de police.
Backend utilisant Firebase and SQLite.
Intégration de la caméra et la galerie de téléphone.
Intégration de la géolocalisation en utilisant l'API de Google Maps.
Intégration du micro.
Exploitation de l'intélligence artificielle à l'aide des APIS de Google tels que TTS(Text To Speech) , Synthése vocale.
Exploitation de l'intélligence artificielle à l'aide de l'API MARF qui permet d'identifier les locuteurs à travers leurs voix.
Quelques chaines youtube qu'on a utilisé comme référence.
EDMT Dev : https://www.youtube.com/user/eddydn71
ProgrammingKnowledge : https://www.youtube.com/channel/UCs6nmQViDpUw0nuIx9c_WvA
Free Code Camp : https://www.youtube.com/channel/UC8butISFwT-Wl7EV0hUK0BQ
Documentation :
Camera : https://developer.android.com/guide/topics/media/camera
Micro : https://developer.android.com/guide/topics/media/mediarecorder
TTS : https://developer.android.com/reference/android/speech/tts/TextToSpeech
Audio Recognition MARF Framework : https://github.com/activityworkshop/MARF
Speech to Text Stackoverflow : https://stackoverflow.com/questions/5913773/speech-to-text-on-android
Voici une vidéo démonstrative de l'application :
Cliquez sur l'image pour voir la vidéo sur youtube.
