Нейросеть тепер не гірше акторів вміє озвучувати відео

Монтувати вже зняте відео завдання не з простих. Через одну некоректної репліки іноді доводиться знімати все повторно або придумувати режисерський хід. Однак вчені запропонували рішення цієї проблеми. Монтажні функції по частині невдалих дублів вони переклали на штучний інтелект. Його навчили промовляти необхідні фрази від імені актора так, щоб глядачі нічого не помітили.

Команда зі Стенфордського університету розробилацікавий алгоритм, редагує звукову доріжку за допомогою елементарного текстового введення. Додаток використовує механізм, розшифровують мовні руху з різних шматків записаного раніше ролика. Вони перетворюються в відредагований матеріал з домальовуванням відповідних рухів губ дикторів і акторів.

Для отримання закінченого відео просто додаються нові слова, видаляються старі або взагалі переставляються цілі репліки. У підсумку сюжет здається непідготовленому глядачеві абсолютно природним.

Якщо актор помилився в проголошенні заготовленоготексту, то відредагувати матеріал буде просто: досить ввести коригування прямо з клавіатури. Технологія машинного навчання Neural Rendering збере коректний варіант з різних слів або їх частин, сказаних в інших відрізках запису. На даний момент для навчання штучного інтелекту потрібно вихідне відео довжиною не менше 40 хвилин.

Доктор наук Стенфордського університету Охад Фрідвисловив жаль з приводу того, що подібні розробки будуть подобатися переважно поганим акторам. Однак, на його думку, над технологією варто працювати. Адже вона матиме чимало практичних додатків в області створення і редагування відео та іншого контенту.

Як запевняють розробники, їх методикаредагування відео - відмінне підмога для продюсерів та редакторів. Але її ж можна використовувати і для виробництва фейковий роликів. Експерти вважають, що застосування подібного інструменту має бути регламентовано. Наприклад, можна оповіщати глядачів про обробку відео за допомогою нейромережі.

Джерело: futurity