технология

Невролозите са обучавали невронната мрежа да превежда мозъчните сигнали в артикулативна реч

Използвайки технология за сканиране на мозъчни вълниУчените от Колумбийския университет (САЩ) са създали устройство, способно да преведе мислите на човека в ясно изразена реч. Резултатите от изследването, публикувани в списание "Научни доклади", представляват важна стъпка за подобряване на интерфейсите между мозъка и компютъра. В бъдеще такива устройства могат да се използват от хора, които са загубили способността си да говорят в резултат на нараняване или заболяване.

Да се ​​разработи устройство, което свързва възможностиреч синтезатор и изкуствен интелект автор Neurobiologist Neem Mesgarani, авторът на проучването, и неговите колеги се обърнаха към най-новите постижения в областта на дълбокото машинно обучение и технологии за синтез на реч. Резултатът от тяхната работа е вокодер на базата на изкуствен интелект, способен да тълкува точно мозъчната дейност директно от слуховия кортекс и след това да го превежда в различима реч. Авторите на работата отбелязват, че речта в този случай е много компютъризирана, но хората могат да разпознаят думите в повечето случаи.

Според създателите, в сърцето на новото устройство,използва се за възпроизвеждане на речта, използвана в същата технология, която се използва в дигиталните асистенти като Alexa, Siri и Google Assistant.

Първоначално експертите обучиха вокодера правилно.интерпретира човешката мозъчна дейност. За това учените поканиха пет доброволци, които по това време са били подложени на лечение за епилепсия, за да участват в експеримента. Всичките пет са имплантирани с електроенцефалографски електроди в слуховия кортекс.

"Попитахме пациенти, страдащи от епилепсия,които вече се подлагат на хирургично лечение на мозъка, слушат изреченията, които се произнасят от различни хора. В същото време ние анализирахме моделите на мозъчната активност на пациентите. В резултат на невронни модели и научих вокодер, "- обяснява Mesgarani.

Пациентите бяха помолени да слушат записи, в коитоактьорите четат последователности от числа от 0 до 9. В същото време учените записват мозъчни сигнали и след това ги предават чрез вокодер, сигналите, за които, за по-голяма яснота, коригират невронната мрежа, която анализира звуците на самия вокодер, който произвежда тези сигнали в отговор. В резултат на това можете да чуете роботизиран глас, който повтаря последователността на изречените числа. За да оценят резултатите, учените поканиха 11 души с отличен слух.

Оказа се, че хората могат да разпознаят думитев около 75% от случаите, което значително надвишава всички предишни опити. Чувствителният вокодер и мощните невронни мрежи генерират звуците, които пациентите слушаха с невероятна прецизност, ”казва Mesgarani.

В бъдеще екипът на Месгарани ще преподаваневронна мрежа за произнасяне на по-сложни думи, фрази и дори цели изречения. След това те искат да развият имплант, който може да преведе мислите на човек в пълноценна реч.

Например, ако собственикът на импланта си мисли: "Имам нужда от чаша вода," нашата система преброява сигналите от мозъка и ги превежда в реч. Това ще даде на всеки, който е загубил способността си да говори поради нараняване или болест, нова възможност да общува с външния свят ”, добавя Месгарани.

Можете да обсъдите развитието на американските учени в нашия телеграм-чат.