Technology

ІІ компанії DeepMind не впорався зі шкільним математичним тестом

У засобах масової інформації останнім часомдуже часто миготять повідомлення про стрімкий розвиток технології штучного інтелекту. Більш того, в деяких сферах ІІ вже здатний демонструвати видатні успіхи і в якійсь мірі навіть перевагу над людиною. Далеко за прикладами ходити не потрібно. Сайт Hi-News.ru не раз писав про те, як ІІ перемагає людини в настільній логічної грі го, шахах, а зовсім недавно показав відмінний прогрес в комп'ютерній стратегічній грі StarCraft. Насправді таких прикладів набагато більше, і вони необов'язково пов'язані з розважальними дисциплінами.

Простому обивателю (людині, не пов'язаній зIT-сферою) може здатися, що що ось-ось з'явиться справжній, «великий» штучний інтелект, про який пишу фантасти і знімають фільми. Але насправді не так райдужно. В онлайн-репозиторії наукових робіт arXiv з'явилася стаття «Analyzing Mathematical Reasoning Abilities of Neural Models», в якій розповідається про те, як штучний інтелект компанії DeepMind не впорався зі стандартним математичним тестом, який зазвичай здають британські учні старшої школи, повідомляє Medium.com.

Причини невдачі можна пояснити без особливих зусиль. Так, людина при вирішенні задач математичного характеру задіє такі здібності і можливості:

  • Модифікує для себе символи по суті, такі як числа, арифметичні оператори, змінні (які в комплексі утворюють функції) і слова (що визначають питання, сенс завдання);
  • Проводить планування (наприклад, ранжуючи функції в порядку, необхідному для вирішення математичної задачі);
  • Використовує допоміжні алгоритми для складання функцій (додавання, множення);
  • Використовує короткочасну пам'ять для зберігання проміжних значень (наприклад, h (f (x)));
  • Застосовує на практиці отриманих раніше знань про правила, перетвореннях, процесах і аксіомах.

DeepMind навчали і тестували свій ІІ надобірці різних типів математичних проблем і завдань. Розробники не використовували краудсорсінг, замість цього вони синтезували набір даних для генерації великої кількості тестових завдань, контролю рівня їх складності і т.п. Команда розробників використовувала текстовий формат даних «довільної форми».

Дані базувалися на завданнях з добірок завдань для британських школярів віком до 16 років. Завдання бралися з таких напрямків, як арифметика, алгебра, теорія ймовірностей і інших.

При виборі архітектури нейромережі для вирішенняматематичних задач, команда DeepMind зупинилася на LSTM (довга короткострокова пам'ять) і Transformer (архітектура нейромереж для роботи з послідовностями). Фахівці протестували дві моделі LSTM для роботи з математичними завданнями: простий LSTM і Attentional LSTM. Його схема роботи показана на малюнку нижче.

Архітектура Attentional LSTM

Модель архітектури Transformer

У статті, яка описує результати цьогодослідження відзначається, що ці результати виявилися не дуже хорошими. Штучний інтелект зміг впоратися лише з 35 відсотками завдань (з 40 наданих завдань), давши на них правильні відповіді. За стандартами будь-якої школи - незадовільно.

Обговорити новину можна в нашому Telegram-чаті.