technologie

Neurowetenschappers hebben het neurale netwerk getraind om hersensignalen te vertalen naar een articulaire spraak

Gebruikmakend van brainwave-scantechnologieactiviteit, kunstmatige intelligentie en spraaksynthesizer, hebben wetenschappers van Columbia University (VS) een apparaat ontwikkeld dat iemands gedachten omzet in een gearticuleerde spraak. De resultaten van de studie, gepubliceerd in het tijdschrift Scientific Reports, vormen een belangrijke stap in de verbetering van de interface tussen de hersenen en de computer. In de toekomst kunnen dergelijke apparaten worden gebruikt door mensen die het vermogen hebben verloren om te spreken als gevolg van een letsel of ziekte.

Een apparaat verbinden dat mogelijkheden biedtspraaksynthesizer en kunstmatige intelligentie auteur Neurobioloog Neem Mesgarani, de auteur van het onderzoek, en zijn collega's wendde zich tot de meest recente ontwikkelingen op het gebied van deep machine learning en spraaksynthese technologieën. Het resultaat van hun werk was een op kunstmatige intelligentie gebaseerde vocoder, die in staat is om hersenactiviteit vrij nauwkeurig te interpreteren vanuit de auditieve cortex, en deze vervolgens te vertalen naar een onderscheidbare spraak. De auteurs van het artikel merken op dat de toespraak in dit geval erg geautomatiseerd is, maar dat mensen de woorden in de meeste gevallen kunnen herkennen.

Volgens de makers, de kern van het nieuwe apparaat,gebruikt om de resulterende spraak te spelen, wordt dezelfde technologie gebruikt die wordt gebruikt in digitale assistenten zoals Alexa, Siri en Google Assistant.

In het begin hebben de experts de vocoder correct getraind.menselijke hersenactiviteit interpreteren. Daartoe hebben wetenschappers vijf vrijwilligers uitgenodigd die op dat moment een behandeling voor epilepsie ondergingen om aan het experiment deel te nemen. Alle vijf waren geïmplanteerde elektroden voor het lezen van het elektro-encefalogram in de auditieve cortex.

"We vroegen patiënten die lijden aan epilepsie,die al een chirurgische behandeling ondergaan in het brein, luister naar de zinnen die worden uitgesproken door verschillende mensen. Tegelijkertijd analyseerden we patronen in de hersenactiviteit van patiënten. Over de resulterende neurale modellen en geleerde vocoder, "- verklaart Mesgarani.

Patiënten werd gevraagd om naar opnames te luisteren waarinde acteurs lezen reeksen van getallen uit van 0 tot 9. Tegelijkertijd registreerden wetenschappers hersensignalen en passeerden die vervolgens door een vocoder, waarbij de signalen voor een grotere helderheid het neurale netwerk corrigeerden, dat de geluiden van de vocoder zelf analyseerde, die deze signalen als antwoord gaven. Als gevolg hiervan kon je een robotstem horen die de reeks gesproken cijfers herhaalde. Om de resultaten te beoordelen, nodigden wetenschappers 11 mensen uit met een uitstekend gehoor.

"Het bleek dat mensen de woorden kunnen herkennenin ongeveer 75% van de gevallen, wat veel groter is dan eerdere pogingen. De gevoelige vocoder en krachtige neurale netwerken genereerden de geluiden waar de patiënten met verbazingwekkende nauwkeurigheid naar luisterden, "zegt Mesgarani.

In de toekomst zal het team van Mesgarani lesgevenneuraal netwerk om meer complexe woorden, zinsneden en zelfs hele zinnen uit te spreken. Daarna willen ze een implantaat ontwikkelen dat de gedachten van een persoon kan vertalen in een volwaardige speech.

"Bijvoorbeeld als de implantaathouder denkt: "Ik heb een glas water nodig", telt ons systeem de signalen uit de hersenen en vertaalt deze in spraak. Dit geeft iedereen die het vermogen heeft verloren om te spreken vanwege een blessure of ziekte, een nieuwe kans om te communiceren met de buitenwereld, "voegt Mesgarani toe.

Je kunt de ontwikkeling van Amerikaanse wetenschappers bespreken in onze Telegram-chat.