Преводач за допир на ръкавици от езика на знаците на обикновен език (2 снимки + видео)

Използване на машинно обучение и изкуственоразузнаването ще помогне в близко бъдеще за интегриране на хора с различни физически увреждания в обществото. Разработчиците в Калифорнийския университет в Лос Анджелис (UCLA) са създали система, която премахва комуникационната бариера между хората, които са принудени да използват езика на знаците и други хора. Устройството под формата на електронна безконтактна ръкавица е способно да излъчва превода на американски език на жестомимици на английски, почти в реално време.

Системата се състои от чифт ръкавици с тънки,гъвкави сензори, способни да контролират цялата дължина на всеки от петте пръста. Изработени от електрически проводими нишки, тези сензори записват движения на ръцете и позиции на пръстите, които представляват отделни букви, цифри, думи и фрази.

Устройството преобразува движенията на пръстите велектрически сигнали, които се изпращат на контролна платка с размер на монета от долар, носена на китката ви. След това тези сигнали се предават безжично на смартфон, което ги превежда в думи със скорост около една дума в секунда. След това приложението чете преведената фраза през високоговорителя.

Към системата се добавят надземни сензори, които са прикрепени към лицето на потребителя от двете страни на устата и между веждите. Това е необходимо за заснемане на изражения на лицето, които са част от американската система на езика на знаците.

Осигурена е автономната работа на ръкавицатабатерия. При подготовката, след работа с машинно обучение и опит на четирима глухи американци, алгоритъмът уверено разпозна 660 знака, включително букви и цифри. В бъдеще, според инженерите, алгоритъмът активно ще попълва речника си и ще увеличи скоростта на превод. Изобретението в момента е на етап регистрация на патент.

Източник: ucla