technológia

Az idegtudósok kiképezték a neurális hálózatot az agyi jelek artikulált beszédre történő lefordítására

Agyhullámú szkennelési technológia használatatevékenység, mesterséges intelligencia és beszédszintetizátor, a Columbia Egyetem (USA) tudósai olyan eszközt hozott létre, amely képes egy személy gondolatait a beszédre fordítani. A tudományos jelentésekben megjelent tanulmány eredményei fontos lépést jelentenek az agy-számítógép interfészek javításában. A jövőben az ilyen eszközöket azok használhatják, akik a sérülés vagy betegség következtében elvesztették a beszédképességüket.

Egy eszköz összekötő képességek fejlesztésebeszédszintetizátor és mesterséges intelligencia szerző Neem Mesgarani Neurobiológus, a tanulmány szerzője és munkatársai a mély gépi tanulás és a beszédszintézis technológiák terén elért legújabb eredményekhez fordultak. Munkájuk eredménye egy mesterséges intelligencia alapú vokóder volt, amely képes az agyi aktivitást közvetlenül a hallókéregből pontosan értelmezni, majd megkülönböztethető beszédbe fordítani. A cikk szerzői megjegyzik, hogy a beszéd ebben az esetben nagyon számítógépes, de a legtöbb esetben az emberek felismerhetik a szavakat.

Az alkotók szerint az új eszköz szívébenaz így kapott beszéd lejátszásához használják ugyanazt a technológiát, amelyet az olyan digitális asszisztensekben használnak, mint az Alexa, a Siri és a Google Assistant.

Először a szakértők helyesen képezték a vokódot.értelmezi az emberi agyi aktivitást. E célból a tudósok öt önkéntest hívtak, akik akkoriban epilepsziás kezelésben részesültek a kísérletben való részvételre. Mind az öt beültetett elektróda volt az elektroencefalogram beolvasására a hallókéregbe.

"Az epilepsziában szenvedő betegeket kértük,akik már az agyban sebészeti bánásmódban részesülnek, hallgatják a különböző emberek által kifejezett mondatokat. Ugyanakkor elemeztük a betegek agyi aktivitásának mintáit. A kapott neurális modelleken és a tanult énekkódon - magyarázza Mesgarani.

A betegeket felkérték, hogy hallgassanak olyan felvételeket, amelyekbenugyanakkor a tudósok az agyjeleket rögzítették, majd átadták őket egy vokóderen keresztül, a jeleket, amelyek a nagyobb érthetőség érdekében korrigálták a neurális hálózatot, amely elemezte a maga hangkódolójának hangjait, ami válaszokat adott. Ennek eredményeként hallhatott egy hangos hangot, amely megismétli a beszélt számok sorrendjét. Az eredmények felmérése érdekében a tudósok 11 embert hívtak meg kiváló hallással.

"Kiderült, hogy az emberek felismerhetik a szavakataz esetek körülbelül 75% -ában, ami jelentősen meghaladja a korábbi kísérleteket. Az érzékeny vokoder és az erős neurális hálózatok megteremtették a hangokat, amelyeket a betegek meglepő pontossággal hallgattak ”- mondja Mesgarani.

A jövőben a Mesgarani csapata tanítani foga neurális hálózat bonyolultabb szavakat, kifejezéseket és akár egész mondatokat is mondhat. Ezt követően olyan implantátumot kívánnak kifejleszteni, amely képes egy személy gondolatait teljes értékű beszédre fordítani.

„Például, ha az implantátum tulajdonosa úgy gondolja: „Szükségem van egy pohár vízre” - számolja a rendszer az agyból érkező jeleket, és beszédre fordítja őket. Ez azt jelenti, hogy bárki, aki sérülés vagy betegség miatt elvesztette a beszédképességét, új lehetőséget teremt a külvilággal való kommunikációra ”- tette hozzá Mesgarani.

Megvitathatja az amerikai tudósok fejlődését a Telegram-csevegésünkben.