Нейробіологи навчили нейросеть переводити сигнали мозку в виразну мову

Використовуючи технологію сканування мозковоїактивності, штучний інтелект і синтезатор мови вчені з Колумбійського університету (США) створили пристрій, здатний переводити думки людини в виразну мову. Результати дослідження, опубліковані в журналі Scientific Reports, являють собою важливий крок у вдосконаленні інтерфейсів «мозок - комп'ютер». В майбутньому подібні пристрої зможуть використовувати людьми, які втратили здатність говорити в результаті травми або хвороби.

Для розробки приладу, що з'єднує можливостісинтезатора мови і штучного інтелекту автор дослідження нейробіолог Німа Месгарані і його колеги звернулися до найостанніших досягнень в області глибокого машинного навчання і технологій синтезу мови. Результатом їх роботи став вокодер на базі штучного інтелекту, здатний досить точно інтерпретувати мозкову активність безпосередньо з слуховий кори головного мозку, а потім переводити її в помітну мова. Автори роботи відзначають, що мова в цьому випадку виходить дуже комп'ютеризованої, проте люди можуть розпізнати слова в більшості випадків.

За словами творців, в основі нового приладу,що використовується для відтворення получающейся мови, застосовуються та ж технологія, яка використовується в цифрових помічників, таких як Alexa, Siri і Google Assistant.

Спочатку фахівці навчили вокодер правильноінтерпретувати мозкову активність людини. Для цього вчені запросили взяти участь в експерименті п'ять добровольців, які на той час проходили лікування від епілепсії. Всім п'ятьом в слухову кору головного мозку були вживлені електроди для зчитування електроенцефалограми.

«Ми попросили пацієнтів, які страждають на епілепсію,які вже проходять хірургічне лікування на мозку, послухати пропозиції, які вимовляють різні люди. Одночасно ми аналізували закономірності в мозковій активності пацієнтів. На отриманих нейронних моделях і навчався вокодер », - пояснює Месгарані.

Пацієнтів попросили прослухати записи, в якихактори зачитували послідовності цифр від 0 до 9. Одночасно вчені фіксували сигнали мозку, після чого пропускали їх через вокодер, сигнали для якого для підвищення чіткості змінювала нейросеть, яка аналізувала звуки самого вокодера, видавав звуки у відповідь ці сигнали. В результаті можна було почути роботизований голос, що повторює послідовність вимовлених чисел. Для оцінки результатів вчені запросили 11 чоловік з відмінним слухом.

«Виявилося, що люди можуть розпізнати словаприблизно в 75% випадків, що значно перевершує будь-які попередні спроби. Чутливий вокодер і потужні нейронні мережі згенерували звуки, які слухали пацієнти, з дивовижною точністю », - коментує Месгарані.

Надалі команда Месгарані збирається навчитинейросеть вимовляти більш складні слова, фрази і навіть цілі речення. Після цього вони хочуть розробити імплантат, здатний переводити думки людини в повноцінну мову.

«Наприклад, якщо власник імпланта подумає: «Мені потрібен стакан води», - наша система вважає сигнали мозку і переведе їх в мова. Це дасть будь-кому, хто втратив здатність говорити через травму або хворобу, нову можливість спілкуватися з навколишнім світом », - додає Месгарані.

Обговорити розробку американських вчених можна в нашому Telegram-чаті.