Що відбувається зі штучним інтелектом? 16 Прибирання 625 робіт за останні 25 років

Практично всі, що ви чуєте про штучнеінтелекті сьогодні, відбувається завдяки глибокому навчанню. Ця категорія алгоритмів працює зі статистикою, щоб знайти закономірності в даних, і показала себе надзвичайно потужною в імітації людських навичок, таких як наша здатність бачити і чути. У дуже вузької ступеня вона навіть може наслідувати нашої здатності міркувати. Такі алгоритми підтримують роботу пошуку Google, новинної стрічки Facebook, механізм рекомендацій Netflix, а також формують такі галузі, як охорона здоров'я та освіта.

Як розвивається глибоке навчання

Незважаючи на те, що глибоке навчання практичнопоодинці явило штучний інтелект громадськості, воно являє собою лише невелику спалах в історичній завданню людства відтворити власний інтелект. Воно було на передовій цих пошуків менше десятка років. Якщо ж віддалити всю історію цієї області, легко зрозуміти, що незабаром і вона може відійти.

«Якби в 2011 році хтось написав, що глибокенавчання виявиться на перших шпальтах газет і журналів через кілька, ми б такі: вау, ну і дурь ти куриш », говорить Педро Домінгос, професор комп'ютерних наук з Університету Вашингтона і автор книги 'The Master Algorithm'.

За його словами, раптові злети і падіннярізних методів довгий час характеризували дослідження в галузі ШІ. Кожне десятиліття спостерігається гаряча конкуренція між різними ідеями. Потім, час від часу, перемикач клацає і все співтовариство починає займатися чимось одним.

Наші колеги з MIT Technology Review захотіливізуалізувати ці переживання і старти. З цією метою вони звернулися до однієї з найбільших баз даних відкритих наукових робіт, відомої як arXiv. Вони завантажилися витяги з всього 16 625 статей, доступних в розділі «штучний інтелект» по 18 листопада 2018 року і відстежили слова, згадані за ці роки, щоб побачити, як розвивалася ця область.

Завдяки їх аналізу, виявилося три основнітенденції: зрушення в бік машинного навчання в кінці 90-х - початку 2000-х, зростання популярності нейронних мереж, який почався на початку 2010-х, і зростання навчання з підкріпленням в останні кілька років.

Але спершу кілька застережень. По-перше, секція arXiv з ІІ сходить до 1993 року, а термін «штучний інтелект» відноситься до 1950-х років, тому сама база даних являє собою тільки останні глави історії цієї області. По-друге, документи, що додаються до бази щороку, є лише частиною роботи, яка проводиться в цій області на даний момент. Проте, arXiv пропонує відмінний ресурс для виявлення деяких великих дослідницьких тенденцій і для того, щоб побачити перетягування каната між різними ідейними таборами.

Парадигма машинного навчання

Найбільший зсув, який виявилидослідники, це відхід від систем, заснованих на знанні, до початку 2000-х років. Такі комп'ютерні системи ґрунтуються на ідеї про те, що можна закодувати всі знання людства в системі правил. Замість цього вчені звернулися до машинного навчання - батьківської категорії алгоритмів, які включають глибоке навчання.

Серед 100 згаданих слів, пов'язані з системамина основі знань - «логіка», «обмеження» і «правило» - зменшувалися більше всіх. А пов'язані з машинним навчанням - «дані», «мережа», «продуктивність» - росли більше інших.

Причина цієї зміни погоди дуже проста. У 80-х роках системи, засновані на знаннях, набирали популярність серед шанувальників, завдяки хвилювання навколо амбіційних проектів, які намагалися відтворити в машинах здоровий глузд. Але коли ці проекти розгорнулися, дослідники зіткнулися з великою проблемою: потрібно було закодувати занадто багато правил, щоб система могла робити щось корисне. Це призводило до збільшення витрат і значно уповільнювало поточні процеси.

Відповіддю на цю проблему стало машинне навчання. Замість того, щоб вимагати від людей ручного кодування сотень тисяч правил, цей підхід програмує машини для автоматичного вилучення цих правил з купи даних. Точно так же ця область відмовилася від систем, заснованих на знаннях, і звернулася до вдосконалення машинного навчання.

бум нейромереж

В рамках нової парадигми машинного навчанняперехід до глибокого навчання стався не відразу. Замість цього, як показав аналіз ключових термінів, вчені протестували безліч методів на додаток до нейронних мереж, основних механізмів глибокого навчання. Серед інших популярних методів були байєсовські мережі, метод опорних векторів і еволюційні алгоритми, всі вони використовують різні підходи до пошуку закономірностей в даних.

Протягом 1990-х і 2000-х років між цимиметодами існувала стійка конкуренція. Потім, в 2012 році, кардинальний прорив привів до чергової зміни погоди. Під час щорічного конкурсу ImageNet, покликаного прискорювач прогрес в області комп'ютерного зору, дослідник на ім'я Джеффрі Хінтон разом зі своїми колегами з Університету Торонто домігся найкращою точності в розпізнаванні зображень з похибкою трохи більше 10%.

Техніка глибокого навчання, яку вінвикористовував, породила нову турбують досліджень - спершу в співтоваристві визуализаторов, а потім і за його межами. Оскільки все більше і більше вчених починало використовувати її для досягнення вражаючих результатів, популярність цієї техніки, поряд з популярністю нейронних мереж, різко зросла.

Зростання навчання з підкріпленням

Аналіз показав, що через кілька років після розквіту глибокого навчання, стався третій і останній зрушення в дослідженнях ІІ.

Крім різних методів машинного навчання,існує і три різних типи: навчання контрольоване, неконтрольоване і з підкріпленням. Контрольоване навчання, яке включає в себе згодовування машині помічених даних, використовується найбільш часто, а також має найбільше практичних застосувань на сьогоднішній день. Однак в останні кілька років навчання з підкріпленням, яке імітує процес навчання тварин за допомогою «батога і пряника», покарань і заохочень, призвело до швидкого зростання згадок його в роботах.

Сама ідея не нова, але багато десятиліть вона непрацювала. «Фахівці по контрольованому навчання сміялися над фахівцями з навчання з підкріпленням», говорить Домінгос. Але, як і з глибоким навчанням, один поворотний момент раптово вивів метод на перший план.

Цей момент настав в жовтні 2015 року, коли AlphaGo від DeepMind, навчений з підкріпленням, переміг чемпіона світу в стародавньої гри го. Вплив на дослідницьке співтовариство було миттєвим.

Наступні десять років

Аналіз MIT Technology Review забезпечує тількиновітній зліпок конкуренції серед ідей, які характеризують дослідження ІІ. Однак він ілюструє мінливість прагнення до дублювання інтелекту. «Важливо зрозуміти, що ніхто не знає, як вирішити цю проблему», говорить Домінгос.

Багато з методів, які використовувалися напротягом 25 років, з'явилися приблизно в один і той же час в 1950-х роках, і не змогли відповідати викликам і успіхам кожного десятиліття. Нейронні мережі, наприклад, досягли свого піку в 60-х і трохи в 80-х, але мало не померли, перш ніж знову знайти свою популярність, завдяки глибокому навчанню.

Кожне десятиліття, іншими словами, бачилопанування іншої техніки: нейронні мережі в кінці 50-х і 60-х, різні символічні спроби в 70-х, системи на основі знань в 80-х, байєсовські мережі в 90-х, опорні вектори в нульових і нейромережі знову в 2010- х.

2020 Е не будуть нічим відрізнятися, говоритьДомінгос. А значить епоха глибокого навчання може незабаром закінчитися. Але що буде далі - стара методика в новій славі або ж зовсім нова парадигма - ось це предмет запеклих суперечок в співтоваристві.

«Якщо ви відповісте на це питання», говорить Домінгос, «я хочу запатентувати відповідь».

Щоб зловити новини штучного інтелекту за хвіст, читайте нас в Дзен.