Gadgets

Touch glove vertaler van gebarentaal naar gewone taal (2 foto's + video)


Het gebruik van machine learning en kunstmatigintelligentie zal in de nabije toekomst helpen om mensen met verschillende fysieke handicaps te integreren in de samenleving. De ontwikkelaars van de University of California, Los Angeles (UCLA) hebben een systeem ontwikkeld waarmee je de communicatiebarrière tussen mensen die gedwongen worden gebarentaal te gebruiken en andere mensen kunt verwijderen. Het apparaat in de vorm van een elektronische contactloze handschoen kan de vertaling van de Amerikaanse gebarentaal bijna in realtime vertalen in het Engels.

Het systeem bestaat uit een paar handschoenen met dunne,flexibele sensoren die het werk over de gehele lengte van elk van de vijf vingers kunnen regelen. Deze sensoren, gemaakt van elektrisch geleidende filamenten, registreren de bewegingen van de handen en de posities van de vingers, die individuele letters, cijfers, woorden en zinnen aangeven.


Het apparaat zet vingerbewegingen om inelektrische signalen die naar het controlepaneel worden gestuurd ter grootte van een dollar munt die om de pols wordt gedragen. Verder worden deze signalen draadloos verzonden naar een smartphone, die ze vertaalt in woorden met een snelheid van ongeveer één woord per seconde. Vervolgens spreekt de applicatie de vertaalde zin door de spreker.

Luchtsensoren worden aan het systeem toegevoegd, gemonteerd op het gezicht van de gebruiker aan beide zijden van de mond en tussen de wenkbrauwen. Dit is nodig om gezichtsuitdrukkingen vast te leggen, die deel uitmaken van het Amerikaanse gebarentaalsysteem.


Autonoom werk van een handschoen is voorziende batterij. Tijdens de voorbereiding, na het werken met machine learning en de ervaring van vier dove Amerikanen, begon het algoritme vol vertrouwen 660 karakters te herkennen, inclusief letters en cijfers. In de toekomst zal het algoritme volgens ingenieurs zijn vocabulaire actief aanvullen en de vertaalsnelheid verhogen. Momenteel is de uitvinding bezig met het registreren van een octrooi.

Bron: ucla