Technology

Школяр з Росії виграв конкурс Google за розробку перекладача з мови жестів

Чи можна допомогти глухонімим людям висловити своїдумки, автоматично переводячи жести руками, які вони показують, в слова? Таким питанням задався російський десятикласник Данило Казанцев з Єкатеринбурзького ліцею. Рішення розібратися в цій проблемі привело Данила до перемоги в одній з категорій конкурсу молодих вчених Google Science Fair 2019. Він розробив систему, яка може інтерпретувати мову жестів і замінювати сурдоперекладача.

Як зазначено на сайті конкурсу Google, Казанцевпройшов відбір серед тисяч інших учасників конкурсу та став одним з 24 фіналістів з 14 країн світу. В результаті він отримав премію Lego Education Builder за розробку свого перекладача мови жестів.


Всі фіналісти конкурсу. Данило крайній зліва

Що таке електроміографія?

В основі розробки юного російського генія лежитьтехнологія електроміографії, яка визначає електромеханічну активність м'язів з урахуванням мінливого положення руки і пальців. У цьому випадку кожен рух кінцівки створює крихітні електричні сигнали, які можна вважати, а потім перевести в зрозумілі для комп'ютера команди. Зокрема, ця технологія використовується для управління штучними протезами.

Читайте також: Як німі люди можуть відновити мову?

Але російський школяр розробив на основі технології електроміографії систему, яка може переводити електричні сигнали м'язів в слова.


Синіми і білими хрестиками позначені місця розташування електродів, які зчитують електричні імпульси м'язів

Як працює перекладач мови жестів

Пристрій складається з манжети, яка одягаєтьсяна передпліччі. На манжеті встановлені 24 електрода, кожен з яких зчитує певні електричні сигнали м'язів передпліччя. Крім того, тут використовується спеціальний датчик, який визначає положення передпліччя в просторі. На базі всіх цих сигналів формується унікальний «відбиток» положення кожної окремої частини кисті в просторі.

Всі зібрані сигнали посилюються і фільтруютьсявід зайвого електромагнітного шуму, а потім по дротах передаються на зовнішній мікрокомп'ютер. Цей мікрокомп'ютер оцифровує сигнали з датчиків і електродів, після чого передає їх в потужний обчислювальний сервер із спеціально навченим нейромережею. Саме за допомогою нейромережі проводиться інтерпретації (переклад в слова) даних про електричні сигнали, що відповідають за кожен мовної жест.

Як проводилась перевірка перекладача жестів

Перевірку системи Данило проводив на собі і двох інших добровольцях. В якості основи для перекладу він використовував 5 жестів і популярного жестової мови ASL (American Sign Language).


Hello (привіт); Yes (так); No (ні); Please (будь ласка); I love you (я люблю тебе)

Для перевірки ефективності системи для кожного розпізнавання жесту використовувалося 10 спроб. Як вказує автор розробки, система змогла показати 92,6-процентну точність при розпізнаванні.


У таблиці відзначені учасники експерименту, найменування жестів, які потрібно розпізнати системі, а також кількість вірних распознаваний

Відео перевірки технології можна побачити нижче:

</ P>

</ P>

Данило зазначає, продовжить роботу над автономнимсурдопереодчіком. Є кілька моментів, які поки не дозволяють використовувати його в якості готового рішення. Наприклад, зараз система може переводити тільки окремі жести. Але поки не здатна формувати з отриманих слів пропозиції. Таким чином зараз систему не можна використовувати в якості повної заміни сурдоперекладача. Вирішення цього питання стане однією з майбутніх завдань молодий науковець був.

Читайте також: Ця нейросеть знає, як ви будете виглядати через 50 років. Як вона працює?

Крім того, електронний сурдоперекладач вимагаєпостійного доступу до потужного обчислювальному сервера з нейромережею, яка виробляє розпізнавання сигналів мовних жестів і переводить їх в слова. Однак автор зазначає, що сучасна швидкість передачі даних по мобільному інтернету дозволяє забезпечити постійний доступ до сервера, тим самим частково компенсуючи цей недолік. Автор також розглядає можливість зробити пристрій більш компактним, зменшивши площу розташування електродів до 7 сантиметрів.

В цілому відзначається, що при доопрацюванні такийтехнології, її можна буде використовувати з будь-яким жестовою словником. При цьому від користувача не потрібно ніякої спеціальної підготовки для можливості використання такої системи.

Більш детально з розробкою Данила Казанцева можна ознайомитися на сторінці його проекту.

Якщо вам цікаві новини науки і технологій, підпишіться на наш канал в Яндекс.Дзен. Там ви знайдете ексклюзивні матеріали, які не були опубліковані на сайті!