Teknologi

En skoledreng fra Rusland vandt en Google-konkurrence for at udvikle en tegnsprogstolk.

Kan du hjælpe døve med at udtrykke derestanker, automatisk oversætter bevægelser med de hænder, de viser til ord? Dette spørgsmål blev stillet den russiske tiendeklassing Daniil Kazantsev fra Jekaterinburg Lyceum. Beslutningen om at forstå dette problem førte Daniel til sejr i en af ​​kategorierne i den unge videnskabskonkurrence Google Science Fair 2019. Han udviklede et system, der kan fortolke tegnsprog og erstatte en tegnsprogstolk.

Som angivet på Google Contest-webstedet, Kazantsevblev valgt blandt tusinder af andre deltagere i konkurrencen og blev en af ​​24 finalister fra 14 lande i verden. Som et resultat modtog han Lego Education Builder Award for at udvikle sin tegnsprog tolke.


Alle finalister i konkurrencen. Daniel er til venstre.

Hvad er elektromyografi?

Grundlaget for udviklingen af ​​det unge russiske geni erelektromyografiteknologi, der bestemmer musklernes elektromekaniske aktivitet under hensyntagen til den ændrede position af hånden og fingrene. I dette tilfælde skaber hver bevægelse af lemmet små elektriske signaler, der kan læses og derefter oversættes til computerlæsbare kommandoer. Især anvendes denne teknologi til at kontrollere kunstige proteser.

Se også: Hvordan kan dumme mennesker genvinde deres målløshed?

Men den russiske skolebarn har udviklet et system baseret på elektromyografiteknologi, der kan oversætte elektriske muskelsignaler til ord.


Blå og hvide kryds angiver placeringen af ​​elektroderne, der læser de elektriske impulser i musklerne

Sådan fungerer en tegnsproget oversætter

Enheden består af en manchet, der er sat på.på underarmen. Mansjetten har 24 elektroder, som hver læser visse elektriske signaler fra underarmens muskler. Derudover bruger den en speciel sensor, der registrerer underarmsens position i rummet. På basis af alle disse signaler dannes et unikt "aftryk" af placeringen af ​​hver separat del af børsten i rummet.

Alle indsamlede signaler forstærkes og filtreres.fra overskydende elektromagnetisk støj og derefter overført med ledning til en ekstern mikrocomputer. Denne mikrocomputer digitaliserer signaler fra sensorer og elektroder, hvorefter den overfører dem til en stærk computerserver med et specielt trænet neuralt netværk. Det er ved hjælp af det neurale netværk, der udføres fortolkning (oversættelse til ord) af data om elektriske signaler, der er ansvarlige for hver sprogbevægelse.

Hvordan blev gestusoversætter kontrolleret

Daniel brugte kontrol på systemet på sig selv og to andre frivillige. Han brugte 5 bevægelser og det populære tegnsprog ASL (amerikansk tegnsprog) som grundlag for oversættelse.


Hej (Hej); Ja (ja); Nej (nej); Venligst (venligst); Jeg elsker dig (jeg elsker dig)

Til test af systemets effektivitet blev der anvendt 10 forsøg til hver gestusgenkendelse. Ifølge udviklerens forfatter var systemet i stand til at vise 92,6 procent nøjagtighed i anerkendelse.


Tabellen viser deltagerne i eksperimentet, navnene på de bevægelser, der kræves for at blive genkendt af systemet, samt antallet af korrekte genkendelser

Videoverificeringsteknologi kan ses nedenfor:

</ p>

</ p>

Daniel bemærker, vil fortsætte med at arbejde på autonomesignaltolk. Der er flere punkter, som endnu ikke tillader at bruge det som en nøglefærdig løsning. For eksempel kan systemet nu kun oversætte individuelle bevægelser. Men hun er endnu ikke i stand til at danne sætninger ud fra de ord, hun modtog. Således kan systemet nu ikke bruges som en komplet erstatning for tegnsprogetolk. Løsningen på dette spørgsmål vil være en af ​​de fremtidige opgaver for den unge videnskabsmand.

Se også: Dette neurale netværk ved, hvordan du ser ud om 50 år. Hvordan fungerer hun?

Derudover kræver det elektroniske tegnsprogkonstant adgang til en kraftfuld computerserver med et neuralt netværk, der genkender signalerne fra sprogbevægelser og oversætter dem til ord. Forfatteren bemærker imidlertid, at den moderne hastighed af datatransmission via mobilt internet giver mulighed for konstant adgang til serveren og derved delvist kompenserer for denne ulempe. Forfatteren overvejer også muligheden for at gøre enheden mere kompakt ved at reducere området for placeringen af ​​elektroderne til 7 centimeter.

Generelt bemærkes det, at når en sådan afsluttesteknologi, kan det bruges med en hvilken som helst tegnordbog. I dette tilfælde har brugeren ikke brug for nogen særlig træning for muligheden for at bruge et sådant system.

Mere detaljeret med udviklingen af ​​Daniel Kazantsev kan findes på siden af ​​hans projekt.

Hvis du er interesseret i nyhederne om videnskab og teknologi, skal du abonnere på vores kanal i Yandex. Dzen. Der vil du finde eksklusive materialer, der ikke er blevet offentliggjort på hjemmesiden!