"Gorka lekcija": znanstvenik je rekao da je 70 godina u području istraživanja AI bilo potrošeno gotovo uzalud

Najveća lekcija koju možete naučiti od 70godina AI istraživanja, leži u činjenici da opće metode koje koriste računanje u konačnici dokazuju da su najučinkovitije - i uz veliku maržu. Krajnji uzrok ovoga je Murov zakon. Ili bolje rečeno, njezina generalizacija: kontinuirana, eksponencijalna deprecijacija računalnih procesora. O ovoj "gorkoj lekciji", rekao je Richard Sutton, kanadski računalni znanstvenik. Dalje - od prve osobe.

Zašto je istraživanje o umjetnoj inteligenciji bilo u zastoju 70 godina?

Većina istraživanja je umjetnaintelekt je proveden kao da su izračuni dostupni agentu konstantni (iu ovom slučaju uporaba ljudskog znanja bila bi jedan od jedini način povećanja produktivnosti). No, nakon nekog vremena - mnogo više nego što je potrebno za tipični istraživački projekt - neizbježno će postati mnogo više izračuna. U potrazi za poboljšanjima koja mogu pomoći u kratkom roku, znanstvenici pokušavaju iskoristiti maksimalno ljudsko znanje u ovom području, ali jedina stvar koja je dugoročno važna je sve veća uporaba računanja. Ta dva aspekta ne bi trebala ići jedni protiv drugih, nego u praksi. Vrijeme provedeno na jednom od njih nije jednako vremenu provedenom na drugoj strani. Postoje psihološke obveze ulaganja u ovaj ili onaj pristup. Pristup utemeljen na znanju teži da komplicira metode na takav način da postanu manje prikladne za iskorištavanje uobičajenih metoda koje koriste računanje.

zaključak: morate odmah odbaciti pokušaj rješavanja AI problema s "glavom", jer će vrijeme proći i bit će riješeno mnogo brže i lakše - zbog povećanja računalne snage

Bilo je mnogo primjera kada su AI istraživači sa zakašnjenjem shvatili tu gorku lekciju. Bilo bi uputno razmotriti neke od najistaknutijih primjera.

U računalnom šahu, metode koje su pobijedilesvjetski prvak Kasparov 1997. godine bio je utemeljen na masivnoj, dubokoj potrazi. Tada je većina računalnih šahovskih istraživača bila zabrinuta za njih, koji su koristili metode temeljene na ljudskom razumijevanju određene strukture šaha. Kada se pokazalo da je jednostavniji pristup zasnovan na pretraživanju s posebnim hardverom i softverom mnogo učinkovitiji, znanstvenici koji su odgurnuli ljudsko razumijevanje šaha nisu prepoznali poraz. Rekli su: “Ovoga puta pristup brutalne sile možda je pobijedio, ali neće postati zajednička strategija i sigurno ljudi ne igraju šah na ovaj način. Ti su znanstvenici željeli metode koje su se temeljile na ljudskom doprinosu za pobjedu i vrlo razočarane kada se to nije dogodilo.

zaključak: jednostavna brutalna sila izračuna će je uzeti, prije ili kasnije

Sličnu sliku napretka u istraživanjuje vidio u računalo ići, samo s odgodom za još 20 godina. U početku su uloženi golemi napori da se izbjegne pretraživanje pomoću ljudskog znanja ili značajki igara, ali svi ti napori bili su nepotrebni ili još gori nakon što je pretraživanje bilo učinkovito i na velikoj razini. Također je bilo važno koristiti obuku u procesu samostalne igre kako bi se naučila vrijednosna funkcija (kao iu mnogim drugim igrama, pa čak iu šahu, samo učenje nije imalo veliku ulogu u programu iz 1997. godine, koji je prvi put pobijedio svjetskog prvaka). Učenje igranja sa sobom, učenje općenito, je poput pretraživanja koje vam omogućuje da primijenite ogromne količine računanja. Pretraživanje i obuka su dvije najvažnije klase tehničara koji koriste ogromne količine računanja u istraživanju AI. U računalnom radu, kao iu računalnom šahu, početni napori istraživača bili su usmjereni na korištenje ljudskog razumijevanja (kako bi se koristilo manje pretraživanja), a tek kasnije mnogo veći uspjeh postignut je korištenjem pretraživanja i obuke.

zaključak: potraga i obuka, pokrenuti računalnom moći, daleko nadmašuju pokušaje rješavanja problema "nestandardnim pristupom mišljenja"

U području prepoznavanja govora 1970-ih,natjecanje pod pokroviteljstvom DARPA-e. Sudionici su predstavili različite metode koje su koristile ljudskom znanju - poznavanje riječi ili fonema, ljudskog vokalnog trakta i tako dalje. S druge strane barikada bile su novije metode, statističke prirode i više kalkulacija temeljenih na skrivenim Markovljevim modelima (HMM). I opet, statističke metode su osvojile metode temeljene na ljudskom znanju. To je dovelo do velikih promjena u cjelokupnoj obradi prirodnog jezika, koje se postupno uvodilo tijekom desetljeća, sve dok na kraju statistika i kalkulacije nisu počeli dominirati ovim područjem. Nedavni rast dubokog učenja u prepoznavanju govora posljednji je korak u tom dosljednom smjeru. In-dubina trening metode oslanjaju se još manje na ljudsko znanje i koristiti još više računanja, zajedno s obukom na velikim skupovima uzoraka, i proizvesti strašan sustav za prepoznavanje govora.

Richard Sutton, kanadski računalni znanstvenik

Kao iu igrama, znanstvenici su uvijek pokušavali stvoritisustavi koji bi funkcionirali onako kako su zamišljali u svojim glavama - pokušali su staviti ovo znanje u svoje sustave - ali sve je izašlo iznimno neproduktivno, znanstvenici su jednostavno proveli vrijeme sve do - zbog Moorovog zakona - bili su dostupni masovniji izračuni i našli lijepa aplikacija.

zaključak: ista pogreška se ponavlja već desetljećima

Slična je slika bila i na području računalaPogled. Prve metode su percipirane kao potraga za određenim konturama, generaliziranim cilindrima ili korištenjem mogućnosti SIFT-a (mjerno-nepromjenjiva transformacija značajki). Ali danas je sve to bačeno u peć. Suvremene neuronske mreže dubokog učenja koriste samo koncept konvolucija i određene invarijante i rade puno bolje.

Ovo je velika lekcija.

Gdje god pogledamo, svugdje smoi dalje činiti iste pogreške. Da biste to vidjeli i učinkovito ga prevladali, morate razumjeti zašto su te pogreške tako privlačne. Gorka lekcija utemeljena na povijesnim promatranjima pokazuje da: 1) AI istraživači često pokušavaju izgraditi znanje u svoje agente; 2) uvijek je pomagalo u kratkom roku i donosilo zadovoljstvo znanstvenicima; 3) ali dugoročno, sve je došlo do zastoja i usporilo daljnji napredak; 4) napredak u napretku neizbježno dolazi s primjenom suprotnog pristupa, koji se temelji na skaliranju izračuna putem pretraživanja i obuke. Uspjeh je bio gorak okus i često nije bio potpuno asimiliran, jer je to bio uspjeh izračuna, a ne uspjeh pristupa usmjerenih na čovjeka.

Iz te gorke lekcije treba naučiti: ogromna moć metoda opće namjene, metode koje se nastavljaju povećavati s rastom izračuna, čak i kada su dostupni izračuni vrlo veliki. Dvije metode koje se na ovaj način arbitrarno šire su pretraživanje i obuka.

Druga stvar koju treba naučiti iz te gorkelekcija se sastoji u činjenici da je stvarni sadržaj uma krajnje i nerazumno složen; trebali bismo prestati pokušavati pronaći jednostavne načine za razumijevanje sadržaja uma, slično jednostavnim načinima razumijevanja prostora, objekata, višestrukih agenata ili simetrija. Svi su oni dio proizvoljno složenog vanjskog svijeta. Ne smijemo od njih pokušati krenuti, jer je njihova složenost beskonačna; trebamo graditi na meta-metodama koje mogu pronaći i uhvatiti ovu proizvoljnu složenost. Ove metode mogu naći dobre aproksimacije, ali njihovo pretraživanje treba provoditi našim metodama, a ne mi. Trebamo agente AI koji se mogu otvoriti poput nas, a ne sadržavati ono što smo otkrili. Nadogradnja naših otkrića samo komplicira proces otkrivanja i pretraživanja.

zaključak: trebate vjerovati izračunima, a ne pokušatipratiti ljudske misli i pokušati objasniti složene metode otkrivanja i pretraživanja jednostavnim dijagramima; dugoročno, prvi će raditi, a ne posljednji.

Razgovarajte o gorkoj lekciji AI istraživača u našem kanalu u Telegramu.