La technologie

Un écolier de Russie a remporté un concours Google pour le développement d'un interprète en langue des signes.

Est-il possible d'aider les sourds-muets à exprimer leurpensées, traduisant automatiquement les gestes de la main qu’ils montrent en mots? Cette question a été posée par Daniil Kazantsev, élève de dixième année, du lycée d'Ekaterinbourg. La décision de comprendre ce problème a conduit Daniel à la victoire dans l'une des catégories du concours des jeunes scientifiques de Google Science Fair 2019. Il a développé un système capable d'interpréter le langage des signes et de remplacer l'interprète en langage des signes.

Comme indiqué sur le site Web du concours Google, Kazantseva été sélectionné parmi des milliers d'autres participants au concours et est devenu l'un des 24 finalistes de 14 pays du monde. Finalement, il a reçu le prix Lego Education Builder Award pour le développement de son traducteur en langue des signes.


Tous les finalistes de la compétition. Daniel est parti

Qu'est-ce que l'électromyographie?

Au cœur du développement d'un jeune génie russe se trouvela technologie électromyographique, qui détermine l'activité électromécanique des muscles en tenant compte de l'évolution de la position du bras et des doigts. Dans ce cas, chaque mouvement de membre crée de minuscules signaux électriques qui peuvent être lus puis traduits en commandes conviviales. Cette technologie est notamment utilisée pour contrôler les prothèses artificielles.

Voir aussi: Comment les gens stupides peuvent-ils retrouver le pouvoir de parler?

Mais un étudiant russe a mis au point un système basé sur la technologie électromyographique capable de traduire les signaux musculaires électriques en mots.


Les croix bleues et blanches indiquent l'emplacement des électrodes qui lisent les impulsions électriques des muscles.

Comment fonctionne le traducteur en langue des signes

Le dispositif consiste en un brassard qui est portésur l'avant-bras. 24 électrodes sont installées sur le brassard, qui lisent chacune certains signaux électriques des muscles de l'avant-bras. De plus, un capteur spécial est utilisé ici, qui détermine la position de l'avant-bras dans l'espace. Sur la base de tous ces signaux, une «empreinte» unique de la position de chaque partie de la brosse dans l’espace est formée.

Tous les signaux collectés sont amplifiés et filtrés.excès de bruit électromagnétique, puis transmis par fil à un micro-ordinateur externe. Ce micro-ordinateur numérise les signaux des capteurs et des électrodes, puis les transfère vers un serveur informatique puissant doté d'un réseau de neurones spécialement formé. C'est à l'aide d'un réseau de neurones que s'effectue l'interprétation (traduction en mots) de données de signaux électriques responsables de chaque geste de la langue.

Comment le traducteur de geste a-t-il été vérifié?

Le système a été vérifié par Daniel sur lui-même et par deux autres volontaires. Il a utilisé 5 gestes et le langage gestuel populaire ASL (American Sign Language) comme base de la traduction.


Bonjour Oui Non S'il vous plaît (s'il vous plaît); Je t'aime

Pour tester l'efficacité du système, 10 tentatives ont été utilisées pour chaque reconnaissance de geste. Comme l'indique l'auteur du développement, le système a pu afficher une précision de reconnaissance de 92,6%.


Le tableau montre les participants à l'expérience, les noms des gestes que le système doit reconnaître, ainsi que le nombre de reconnaissances correctes.

Une vidéo de vérification de la technologie peut être vue ci-dessous:

</ p>

</ p>

Daniel note continuer à travailler sur autonomeémetteur en langue des signes. Plusieurs points ne permettent pas encore de l'utiliser comme solution toute faite. Par exemple, le système ne peut maintenant traduire que des gestes individuels. Mais jusqu'à présent, il n'est pas capable de former des phrases à partir des mots reçus. Ainsi, le système ne peut plus être utilisé en remplacement complet de l'interprète en langue des signes. La solution à ce problème sera l’une des tâches futures du jeune scientifique.

Voir aussi: Ce réseau de neurones sait à quoi vous ressemblerez dans 50 ans. Comment travaille-t-elle?

En outre, un interprète électronique en langue des signes nécessiteaccès permanent à un serveur informatique puissant doté d'un réseau de neurones qui reconnaît les signaux des gestes de la langue et les traduit en mots. Cependant, l'auteur note que la vitesse de transfert de données moderne sur l'Internet mobile permet un accès constant au serveur, compensant ainsi partiellement cet inconvénient. L'auteur envisage également la possibilité de rendre l'appareil plus compact en réduisant la surface des électrodes à 7 centimètres.

En général, il est à noter que lors de la finalisation de tellestechnologie, il peut être utilisé avec n’importe quel dictionnaire gestuel. De plus, l'utilisateur n'aura besoin d'aucune formation particulière pour pouvoir utiliser un tel système.

Plus de détails sur le développement de Daniil Kazantsev sont disponibles sur la page de son projet.

Si vous êtes intéressé par les nouvelles de la science et de la technologie, abonnez-vous à notre chaîne de Yandex. Vous y trouverez des matériaux exclusifs qui n'ont pas été publiés sur le site!

Avis Facebook pour l'UE ! Vous devez vous connecter pour afficher et publier des commentaires FB !