технология

Ученик от Русия спечели конкурс на Google за разработване на преводач на жестомимичен език.

Можете ли да помогнете на глухи хора да изразят своетомисли, автоматично превеждащи жестове с ръцете, които показват в думи? Този въпрос беше зададен руският десетокласник Даниил Казанцев от Екатеринбургския лицей. Решението да се разбере този проблем доведе Даниел до победа в една от категориите на младия научен конкурс Google Science Fair 2019. Той разработи система, която може да тълкува езика на знаците и да замени преводача на жестомимичен език.

Както е посочено на уебсайта на Google Contest, Казанцевбеше избран сред хиляди други участници в състезанието и стана един от 24 финалисти от 14 държави по света. В резултат на това той получи наградата Lego Education Builder за разработване на своя преводач на жестомимичен език.


Всички финалисти на състезанието. Даниел е отляво.

Какво е електромиография?

Основата на развитието на младия руски гений еелектромиографска технология, която определя електромеханичната активност на мускулите, като се отчита променящото се положение на ръката и пръстите. В този случай всяко движение на крайника създава малки електрически сигнали, които могат да бъдат прочетени и след това преведени в компютърно четими команди. По-специално, тази технология се използва за контрол на изкуствени протези.

Вижте също: Как тъпите хора могат да си възвърнат безмълвието?

Но руското училище е разработило система, базирана на електромиографска технология, която може да превежда електрически мускулни сигнали в думи.


Сините и бели кръстове показват местоположението на електродите, които отчитат електрическите импулси на мускулите

Как работи преводачът на жестомимичен език

Устройството се състои от маншет, който се слага.на предмишницата. В маншета има 24 електроди, всеки от които чете определени електрически сигнали от мускулите на предмишницата. В допълнение, той използва специален сензор, който открива положението на предмишницата в пространството. Въз основа на всички тези сигнали се формира уникален „отпечатък“ на положението на всяка отделна част от четката в пространството.

Всички събрани сигнали се усилват и филтрират.от излишния електромагнитен шум и след това се предава по жица към външен микрокомпютър. Този микрокомпютър цифровизира сигнали от сензори и електроди, след което ги прехвърля на мощен изчислителен сървър със специално обучена невронна мрежа. Именно с помощта на невронната мрежа се извършва интерпретация (превод в думи) на данни за електрически сигнали, отговорни за всеки жестов език.

Как беше проверен преводачът с жестове

Даниел прекара проверка на системата върху себе си и други двама доброволци. Той използва 5 жеста и популярния език на жестомиката ASL (American Sign Language) като основа за превод.


Добре (здравей); Да (да); Не (не); Моля, (моля); Обичам те (обичам те)

За тестване на ефективността на системата бяха използвани 10 опита за всяко разпознаване на жестове. Според автора на разработката системата е успяла да покаже 92,6 процента точност в разпознаването.


Таблицата посочва участниците в експеримента, имената на жестовете, които трябва да бъдат разпознати от системата, както и броя на правилните разпознавания

Технологията за видео потвърждаване може да се види по-долу:

</ P>

</ P>

Даниел отбелязва, ще продължи да работи върху автономнитепреводач на сигнали. Има няколко точки, които все още не позволяват да го използвате като решение "до ключ". Например, сега системата може да превежда само отделни жестове. Но тя все още не е в състояние да формира изречения от думите, които е получила. По този начин сега системата не може да се използва като пълно заместване на интерпретатора на езика на знаците. Решението на този въпрос ще бъде една от бъдещите задачи на младия учен.

Вижте също: Тази невронна мрежа знае как ще изглеждате след 50 години. Как работи тя?

В допълнение, електронният език на знаците изисквапостоянен достъп до мощен изчислителен сървър с невронна мрежа, който разпознава сигналите от езикови жестове и ги превежда в думи. Авторът обаче отбелязва, че съвременната скорост на предаване на данни през мобилния интернет позволява осигуряване на постоянен достъп до сървъра, като по този начин частично компенсира този недостатък. Авторът също така разглежда възможността устройството да стане по-компактно чрез намаляване на площта на местоположението на електродите до 7 сантиметра.

Като цяло се отбелязва, че при финализирането на такиватехнология, може да се използва с всеки знаков речник. В този случай потребителят няма да се нуждае от специално обучение за възможността да използва такава система.

По-подробно с развитието на Даниел Казанцев можете да намерите на страницата на неговия проект.

Ако се интересувате от новините за науката и технологиите, се абонирайте за нашия канал в Yandex. Там ще намерите изключителни материали, които не са публикувани на сайта!