Egy oroszországi iskolásfiú nyert egy Google versenyen a jelnyelvi tolmács fejlesztésére.

Segíthetsz a siket embereknek a kifejezésébengondolatok, automatikusan fordítva a gesztusokat a kezükkel, amelyet szavakba mutatnak? Ezt a kérdést Oroszország tizedik osztályosának, Daniil Kazantsevnek a Jekatyerinburgi Líceumból kérdezték. A probléma megértése mellett döntött, hogy Dániel győzelemre került a fiatal tudományos verseny a Google Science Fair 2019 egyik kategóriájában. Fejlesztett egy rendszert, amely értelmezni tudja a jelnyelvet és helyettesíti a jelnyelvi tolmácsot.

Amint azt a Google Contest webhelyén jelezték, KazantsevA verseny több ezer résztvevője között választották ki, és a világ 14 országának 24 döntősének egyike lett. Ennek eredményeként megkapta a Lego Education Builder díjat a jelnyelvi tolmács fejlesztéséért.

A verseny összes döntőse. Daniel a bal oldalon van.

Mi az elektromiográfia?

A fiatal orosz zseni fejlődésének alapja:elektromiográfiás technológia, amely meghatározza az izmok elektromechanikai aktivitását, figyelembe véve a kéz és az ujjak változó helyzetét. Ebben az esetben a végtag minden egyes mozgása apró elektromos jeleket generál, amelyeket el lehet olvasni, majd számítógépesen olvasható parancsokká alakítani. Különösen ezt a technológiát használják a mesterséges protézisek ellenőrzésére.

Lásd még: Hogyan lehet buta emberek visszanyerni beszédetlenségüket?

Az orosz iskolások azonban olyan elektromiográfiás technológián alapuló rendszert fejlesztettek ki, amely az elektromos izomjeleket szavakba fordítja.

Kék és fehér kereszt jelzi az elektródok helyét, amelyek leolvasják az izmok elektromos impulzusát

Hogyan működik a jelnyelvi fordító?

Az eszköz egy felöltött mandzsettából áll.az alkaron. A mandzsetta 24 elektródával rendelkezik, amelyek mindegyike az alkar izmainak bizonyos elektromos jeleit olvassa. Ezen felül egy speciális érzékelőt használ, amely felismeri az alkar helyét az űrben. Mindezeknek a jeleknek az alapján a kefe egyes különálló részeinek térbeli helyzetét egyedi „lenyomat képezi”.

Az összes összegyűjtött jelet erősítjük és szűrjük.a felesleges elektromágneses zajtól, majd vezeték útján továbbítják egy külső mikroszámítógéphez. Ez a mikroszámítógép digitalizálja az érzékelők és az elektródák jeleit, majd egy speciálisan kiképzett neurális hálózattal továbbítja azokat egy nagy teljesítményű számítási szerverre. Az egyes nyelvi gesztusokért felelős elektromos jelek adatainak értelmezése (szavakba történő fordítás) az idegi hálózat segítségével történik.

Hogyan ellenőrizték a gesztus fordítót?

Daniel a rendszer ellenőrzésére töltötte magát és két másik önkéntest. 5 mozdulatot és a népszerű jelnyelvet ASL (amerikai jelnyelv) használt a fordítás alapjául.

Hello (helló); Igen (igen); Nem (nincs); Kérjük (kérem); Szeretlek (szeretlek)

A rendszer hatékonyságának tesztelésére 10 kísérlet történt minden gesztusfelismeréshez. A fejlesztés szerzője szerint a rendszer 92,6 százalékos pontosságot tudott mutatni a felismerésben.

A táblázat feltünteti a kísérlet résztvevőit, a gesztusok nevét, amelyeket a rendszernek fel kell ismernie, valamint a helyes felismerések számát.

A video-ellenőrző technológia az alábbiakban tekinthető meg:

</ p>

</ p>

Daniel megjegyzi, továbbra is az autonóm munkán dolgozikjelfordító. Számos pont még nem engedélyezi a kulcsrakész megoldás használatát. Például, most a rendszer csak az egyes gesztusokat tudja lefordítani. De még nem képes mondatokat alkotni a kapott szavakból. Ezért a rendszer most már nem használható a jelnyelvi tolmács teljes helyettesítésére. Ennek a kérdésnek a megoldása lesz a fiatal tudós egyik jövőbeli feladata.

Lásd még: Ez a neurális hálózat tudja, hogyan fog kinézni 50 év múlva. Hogyan működik?

Ezenkívül az elektronikus jelnyelv megköveteliállandó hozzáférés egy nagy teljesítményű kiszolgálóhoz egy neurális hálózattal, amely felismeri a nyelvi gesztusok jeleit és lefordítja azokat szavakba. A szerző azonban megjegyzi, hogy a mobil interneten keresztüli adatátvitel korszerű sebessége lehetővé teszi a folyamatos hozzáférést a szerverhez, ezáltal részben ellensúlyozva ezt a hátrányt. A szerző fontolóra veszi annak lehetőségét is, hogy az eszközt kompaktabbá tegyék azáltal, hogy az elektródák helyét 7 centiméterre csökkentik.

Általában meg kell jegyezni, hogy ilyen véglegesítéskortechnológia, bármilyen jelszótárban használható. Ebben az esetben a felhasználónak nincs szüksége külön képzésre az ilyen rendszer használatának lehetősége érdekében.

Daniel Kazantsev fejlesztésével kapcsolatos további információ a projekt oldalán található.

Ha érdekli a tudomány és a technológia hírei, feliratkozzon csatornánkra Yandexben. Ott exkluzív anyagokat talál, amelyeket még nem tettek közzé a webhelyen!