"Bitter lektion": Forskeren sagde, at 70 år inden for AI-forskning blev brugt næsten forgæves

Den største lektion at lære fra 70år med AI-undersøgelse ligger i, at generelle metoder ved brug af beregning i sidste ende viser sig at være den mest effektive - og med en stor margin. Den ultimative årsag til dette er Moores lov. Eller snarere, dens generalisering: den fortsatte eksponentielle afskrivning af computere. Om denne "bitter lektion" sagde Richard Sutton, en canadisk computerforsker. Næste - fra den første person.

Hvorfor har kunstig intelligensforskning været i en blindgyde i 70 år?

Den fleste forskning er kunstigintellektet blev udført som om de tilgængelige beregninger for agenten var konstante (og i dette tilfælde ville brugen af ​​menneskelig viden være en af ​​de eneste måder at øge produktiviteten på). Men efter et stykke tid - meget mere end nødvendigt for et typisk forskningsprojekt - bliver der uundgåeligt mange flere beregninger tilgængelige. I søgen efter forbedringer, der kan hjælpe på kort sigt, forsøger forskerne at bruge den maksimale menneskelige viden på dette område, men det eneste der betyder noget i det lange løb er den stigende brug af beregning. Disse to aspekter bør ikke gå imod hinanden, men i praksis gå. Tiden på en af ​​dem er ikke lig med den tid, der tilbrages på den anden. Der er psykologiske forpligtelser til at investere i denne eller denne tilgang. Og en vidensbaseret tilgang har tendens til at komplicere metoder på en sådan måde, at de bliver mindre egnede til at udnytte fælles metoder, der bruger beregning.

konklusion: du skal straks afvise forsøg på at løse AI-problemet med "hovedet", fordi tiden vil passere, og det vil blive løst meget hurtigere og lettere - på grund af stigningen i datakraften

Der var mange eksempler, da AI-forskere sommetider forstod denne bitte lektion. Det vil være lærerigt at overveje nogle af de mest fremragende eksempler.

I computerchess, de metoder, der vandtverdensmester Kasparov i 1997, var baseret på en massiv, dyb søgning. På det tidspunkt var de fleste computerchessforskere bekymrede over dem, som brugte metoder baseret på den menneskelige forståelse af den særlige struktur af skak. Når en enklere søgningsbaseret tilgang med specialhardware og software viste sig at være meget mere effektiv, genkendte forskere, der skød fra en menneskelig forståelse af skak, ikke nederlag. De sagde: "Denne gang har tilgangen til brutal kraft måske vundet, men det bliver ikke en fælles strategi, og helt sikkert spiller folk ikke skak på denne måde. Disse forskere ønskede metoder baseret på menneskelig input for at vinde, og meget skuffede, da dette ikke skete.

konklusion: simpel brute kraft af beregninger vil tage det før eller senere

Et lignende billede af fremskridt inden for forskningblev set i computer gå, kun med en forsinkelse på yderligere 20 år. I første omgang blev der gjort en stor indsats for at undgå at søge ved hjælp af menneskelig viden eller spilfunktioner, men alle disse bestræbelser var unødvendige eller endnu værre, når søgningen blev anvendt effektivt og i stor skala. Det var også vigtigt at bruge træning i selvstændigt spil for at lære værdifunktionen (som det var i mange andre spil og endog i skak, havde kun læring ikke en stor rolle i 1997-programmet, som for første gang slog verdensmesteren). At lære at lege med dig selv, lære generelt, er som en søgning, der giver dig mulighed for at anvende store mængder computing. Søgning og træning er de to vigtigste klasser af teknikere, der bruger store mængder beregning i AI-forskning. I computer går som i computerchess, var forskernes indledende indsats rettet mod at bruge menneskelig forståelse (for at bruge mindre søgning), og kun meget senere opnåedes meget større succes ved brug af søgning og træning.

konklusion: søgning og træning, drevet af beregningsstyrke, overstiger langt forsøg på at løse problemet ved "ikke-standardiseret tankegang"

På området for talegenkendelse i 1970'erne,konkurrence sponsoreret af darpa Deltagerne præsenterede forskellige metoder, der anvendte fordelene ved menneskelig viden - kendskab til ord eller fonemer, det menneskelige vokalkanal og så videre. På den anden side af barrikaderne var nyere metoder, statistiske af natur og udførte flere beregninger baseret på skjulte Markov-modeller (HMM). Og igen vandt statistiske metoder metoder baseret på menneskelig viden. Dette førte til store ændringer i hele behandlingen af ​​naturligt sprog, som gradvist blev introduceret i løbet af årtier, indtil til sidst statistikker og beregninger begyndte at dominere dette område. Den seneste vækst i dyb læring i talegenkendelse er det sidste skridt i denne konsekvente retning. Dybtgående træningsmetoder stole endnu mindre på menneskelig viden og bruger endnu mere beregning sammen med træning på store prøvesæt og producerer fantastiske talegennkendelsessystemer.

Richard Sutton, canadisk computerforsker

Som i spil har forskere altid forsøgt at skabede systemer, der ville fungere som de forestillede sig i deres hoveder - de forsøgte at sætte denne viden ind i deres systemer - men det hele kom ud ekstremt uproduktivt, forskerne brugte simpelthen tid, indtil der som følge af Moores lov var flere massive beregninger til rådighed, og de fandt smuk ansøgning.

konklusion: Den samme fejl er blevet gentaget i årtier

Et lignende billede var inden for computerenvisning. De første metoder blev opfattet som en søgning efter bestemte konturer, generaliserede cylindre eller ved hjælp af mulighederne for SIFT (skala-invariant transformation af funktioner). Men i dag kastede det hele i ovnen. Moderne dyreindlæringsnetværk bruger kun konvolutionsbegrebet og visse invariants og arbejder meget bedre.

Dette er en god lektion.

Hvor vi end ser, er vi overaltfortsæt med at lave de samme fejl. For at se dette og effektivt overvinde det, skal du forstå, hvorfor disse fejl er så attraktive. Vi skal lære en bitter lektion, der bygger på, hvordan vi tror, ​​ud fra hvordan vi tror, ​​ikke vil fungere i det lange løb. En bitter lektion baseret på historiske observationer viser, at: 1) Forskere forsøgte ofte at skabe viden om deres agenter; 2) det hjalp altid på kort sigt og bragte tilfredshed med forskerne; 3) men i det lange løb nåede alt et dødsfall og bremset yderligere fremskridt; 4) gennembrud fremskyndet uundgåeligt med brugen af ​​den modsatte tilgang, baseret på scaling af beregninger gennem søgning og træning. Succes var en bitter smag og blev ofte ikke fuldt assimileret, fordi det var succes med beregninger og ikke succesen med menneskets centrerede tilgange.

Fra denne bittere lektion skal man lære: den enorme kraft af generelle formål metoder, metoder, der fortsætter med at skala med væksten af ​​beregninger, selv når de tilgængelige beregninger bliver meget store. To metoder, der synes at skelne vilkårligt på denne måde, er søgning og træning.

Den anden ting, der skal læres af dette bitterelektionen består i det faktum, at sindets egentlige indhold er ekstremt og urimeligt komplekst; vi bør stoppe med at forsøge at finde enkle måder at forstå indholdet af sindet på, ligesom de enkle måder at forstå rum, objekter på, flere agenter eller symmetrier. Alle er en del af en vilkårligt kompleks ekstern verden. Vi bør ikke forsøge at starte fra dem, fordi deres kompleksitet er uendelig; vi bør bygge videre på meta-metoder, der kan finde og indfange denne vilkårlig kompleksitet. Disse metoder kan finde gode tilnærmelser, men deres søgning skal udføres af vores metoder, ikke af os. Vi har brug for AI agenter, der kan åbne ligesom os, og ikke indeholde det vi opdagede. Opbygning af vores opdagelser komplicerer kun processen med opdagelse og søgning.

konklusion: Du skal stole på beregningerne, og ikke prøvespor menneskelige tanker og forsøger at forklare komplekse opdagelses- og søgemetoder med enkle diagrammer; i det lange løb arbejder den første vilje, ikke den sidste.

Diskuter den bitre lektion af AI forskere kan være i vores kanal i Telegram.