изследване

"Горчив урок": ученият каза, че 70 години в областта на изследванията на изкуствения интелект са били изразходвани почти напразно

Най-големият урок от 70години на изследванията на изкуствения интелект, се крие във факта, че общите методи, използващи изчисления, в крайна сметка се оказват най-ефективни - и с голям марж. Крайната причина за това е законът на Мур. Или по-скоро, неговото обобщение: продължаващото, експоненциално обезценяване на изчислителните процесори. За този "горчив урок" каза Ричард Сътън, канадски компютърен учен. След това - от първия човек.

Защо изследванията с изкуствен интелект са в задънена улица в продължение на 70 години?

Повечето изследвания са изкуствениинтелектите се извършват така, сякаш наличните изчисления на агента са постоянни (и в този случай използването на човешките знания би било единственият начин да се увеличи производителността). Но след известно време - много повече, отколкото е необходимо за един типичен изследователски проект - неизбежно се появяват много повече изчисления. В търсене на подобрения, които могат да помогнат в краткосрочен план, учените се опитват да използват максимално човешкото познание в тази област, но единственото нещо, което има значение в дългосрочен план, е увеличаващото се използване на изчисленията. Тези два аспекта не трябва да противоречат един на друг, а на практика да отиват. Времето, прекарано в един от тях, не е равно на времето, прекарано в другата. Има психологически задължения да се инвестира в този или онзи подход. И подходът, основан на знанието, има тенденция да усложнява методите по такъв начин, че те стават по-малко подходящи за използване на общите методи, които използват изчисления.

заключение: трябва незабавно да отхвърлите опита за решаване на проблема с AI с “главата”, защото времето ще премине и ще бъде решено много по-бързо и по-лесно - поради увеличената изчислителна мощ

Имаше много примери, когато изследователите на ИИ със закъснение разбраха този горчив урок. Ще бъде поучително да разгледаме някои от най-забележителните примери.

В компютърния шах, методите, които спечелихасветовният шампион Каспаров през 1997 г. се основава на масивно, дълбоко търсене. По това време повечето компютърни шахматисти се безпокоят за тях, които използват методи, основаващи се на човешкото разбиране на конкретната структура на шахмата. Когато един по-прост, базиран на търсене подход със специален хардуер и софтуер се оказа много по-ефективен, изследователите, изтласкващи се от човешкото разбиране за шах, не разпознават поражението. Те казаха: „Този ​​път подходът на груба сила може да е спечелил, но той няма да се превърне в обща стратегия и със сигурност хората не играят шах така. Тези учени искаха методи, основани на човешкия принос, за да спечелят, и много разочаровани, когато това не се случи.

заключение: проста груба сила на изчисленията ще вземе, рано или късно

Подобна картина на напредъка в научните изследваниябеше видяно на компютър, само със закъснение от още 20 години. Първоначално бяха положени огромни усилия за избягване на търсенето чрез използване на човешки знания или характеристики на играта, но всички тези усилия бяха ненужни или дори по-лоши, след като търсенето беше приложено ефективно и в голям мащаб. Също така беше важно да се използва обучението в процеса на независима игра, за да се научи ценностната функция (както и в много други игри и дори в шахмата, но само обучението не играе голяма роля в програмата от 1997 г., която за първи път победи световния шампион). Да се ​​научиш да играеш със себе си, да учиш като цяло, е като търсене, което ти позволява да прилагаш огромни количества компютър. Търсенето и обучението са двете най-важни категории техници, които използват огромни количества изчисления в изследванията на ИИ. В компютъра, както и в компютърния шах, първоначалните усилия на изследователите бяха насочени към използване на човешкото разбиране (така че да се използва по-малко търсене) и само много по-късно много по-голям успех беше постигнат чрез използване на търсене и обучение.

заключение: търсенето и обучението, задвижвани от изчислителна мощ, далеч надвишават опитите за решаване на проблема чрез "нестандартен подход на мислене"

В областта на разпознаването на реч през 70-те години,конкурс, спонсориран от DARPA. Участниците представиха различни методи, които са използвали ползите от човешкото познание - познаване на думи или фонеми, човешкия вокален тракт и т.н. От другата страна на барикадите са по-нови методи, статистически по характер и извършващи повече изчисления, базирани на скрити модели на Марков (HMM). И отново, статистическите методи са спечелили методи, основани на човешкото познание. Това доведе до големи промени в цялостната обработка на естествения език, които постепенно се въвеждат в продължение на десетилетия, докато в крайна сметка статистиката и изчисленията не започнаха да доминират в тази област. Неотдавнашното нарастване на дълбокото обучение в разпознаването на реч е последната стъпка в тази последователна посока. Методите за задълбочено обучение разчитат още по-малко на човешкото познание и използват още повече изчисления, заедно с обучението на огромни образци, и произвеждат страхотни системи за разпознаване на реч.

Ричард Сътън, канадски компютърен учен

Както в игрите, учените винаги са се опитвали да създадатсистемите, които биха действали, както са си представяли в главите си - те се опитват да въведат тези знания в техните системи - но всичко излезе изключително непродуктивно, учените просто прекараха времето, докато - в резултат на закона на Мур - не бяха налице по-масивни изчисления и те откриха красиво приложение.

заключение: същата грешка се повтаря от десетилетия

Подобна картина беше и в областта на компютъраизглед. Първите методи се възприемат като търсене на определени контури, обобщени цилиндри или използване на възможностите на SIFT (мащабно-инвариантна трансформация на признаците). Но днес всичко е хвърлено в пещта. Съвременните невронни мрежи за дълбоко обучение използват само концепцията за конволюция и някои инварианти и работят много по-добре.

Това е голям урок.

Където и да погледнем, ние сме навсякъдепродължават да правят същите грешки. За да видим това и ефективно да я преодолеем, трябва да разберете защо тези грешки са толкова привлекателни, че трябва да научим горчивия урок, че изграждането на начина, по който мислим, като се започне от това, как мислим, няма да работи в дългосрочен план. Горчив урок, основан на исторически наблюдения показва, че: 1) Изследователите на ИИ често са се опитвали да изграждат знания в своите агенти; 2) тя винаги е помагала в краткосрочен план и донесла удовлетворение на учените; 3) но в дългосрочен план всичко стигна до задънена улица и забави по-нататъшния напредък; 4) пробив напредъкът неизбежно дойде с използването на обратния подход, основан на мащабиране на изчисленията чрез търсене и обучение. Успехът беше горчив вкус и често не беше напълно усвоен, тъй като това беше успехът на изчисленията, а не успехът на подходите, насочени към човека.

От този горчив урок трябва да научите: огромната сила на методите с общо предназначение, методите, които продължават да се увеличават с нарастването на изчисленията, дори когато наличните изчисления станат много големи. Два метода, които изглеждат мащабни по този начин са търсене и обучение.

Второто нещо, което трябва да се научи от това горчивоурокът се състои в това, че действителното съдържание на ума е изключително и необосновано сложно; трябва да спрем да се опитваме да намерим прости начини да разберем съдържанието на ума, подобно на простите начини за разбиране на пространството, обектите, множеството агенти или симетриите. Всички те са част от произволно сложен външен свят. Не трябва да се опитваме да направим едно начало от тях, защото тяхната сложност е безкрайна; трябва да градим върху мета-методи, които могат да открият и уловят тази произволна сложност. Тези методи могат да намерят добри апроксимации, но тяхното търсене трябва да се извърши чрез нашите методи, а не от нас. Имаме нужда от агенти на ИИ, които могат да се отворят точно като нас, и да не съдържат това, което сме открили. Изграждането на нашите открития само усложнява процеса на откриване и търсене.

заключение: трябва да се доверите на изчисленията и не се опитвайтепроследяване на човешките мисли и опити за обяснение на сложни методи за откриване и търсене с прости диаграми; в дългосрочен план първата ще работи, а не последната.

Обсъдете горчивия урок на изследователите на ИИ може да бъде в нашия канал в Телеграма.