Recherche

"Leçon amère": le scientifique a déclaré que 70 années passées dans le domaine de la recherche sur l'IA avaient été presque vaines

La plus grande leçon à apprendre de 70années de recherche sur l’IA, réside dans le fait que les méthodes générales utilisant le calcul s’avèrent finalement être les plus efficaces - et avec une marge importante. La cause ultime de ceci est la loi de Moore. Ou plutôt, sa généralisation: la dépréciation exponentielle continue des processeurs informatiques. À propos de cette "amère leçon" a déclaré Richard Sutton, un informaticien canadien. Suivant - de la première personne.

Pourquoi la recherche en intelligence artificielle est-elle dans l'impasse depuis 70 ans?

La plupart des recherches sont artificiellesles intellects étaient effectués comme si les calculs dont disposait l'agent étaient constants (et dans ce cas, l'utilisation des connaissances humaines constituerait l'un des seuls moyens d'accroître la productivité). Mais après un certain temps - beaucoup plus que ce qui est nécessaire pour un projet de recherche typique -, inévitablement, beaucoup plus de calculs deviennent disponibles. Dans la recherche d'améliorations susceptibles d'apporter une aide à court terme, les scientifiques tentent d'utiliser le maximum de connaissances humaines dans ce domaine, mais la seule chose qui compte à la longue est l'utilisation croissante du calcul. Ces deux aspects ne doivent pas aller l'un contre l'autre, mais dans la pratique. Le temps passé sur l'un d'eux n'est pas égal au temps passé sur l'autre. Il existe des obligations psychologiques d’investir dans telle ou telle approche. Et une approche basée sur la connaissance tend à compliquer les méthodes de sorte qu'elles deviennent moins aptes à tirer parti des méthodes courantes utilisant le calcul.

Conclusion: vous devez immédiatement rejeter la tentative de résolution du problème d'intelligence artificielle avec la «tête», car le temps passera et il sera résolu beaucoup plus rapidement et plus facilement, en raison de l'augmentation de la puissance de calcul

Il y a eu de nombreux exemples où des chercheurs en IA ont compris tardivement cette amère leçon. Il sera instructif d’examiner certains des exemples les plus remarquables.

Aux échecs informatiques, les méthodes qui ont gagnéchampion du monde Kasparov en 1997, étaient basés sur une recherche massive et profonde. À cette époque, la plupart des chercheurs en échecs informatiques étaient inquiets à leur sujet, car ils utilisaient des méthodes basées sur la compréhension humaine de la structure particulière des échecs. Quand une approche plus simple, basée sur la recherche, avec du matériel et des logiciels spéciaux, s’est révélée beaucoup plus efficace, les chercheurs poussés à partir d’une compréhension humaine des échecs n’ont pas reconnu la défaite. Ils ont déclaré: «Cette fois, l'approche de la force brute a peut-être été gagnante, mais cela ne deviendra pas une stratégie commune et les gens ne joueront certainement pas aux échecs de cette façon. Ces scientifiques voulaient des méthodes basées sur la participation humaine pour gagner et étaient très déçus lorsque cela ne se produisait pas.

Conclusion: force brute simple des calculs prendra son, tôt ou tard

Un tableau similaire des progrès de la recherchea été vu à l'ordinateur aller, seulement avec un retard de 20 ans. Au départ, d’énormes efforts ont été déployés pour éviter les recherches utilisant des connaissances humaines ou des fonctionnalités de jeu, mais tous ces efforts ont été inutiles, voire aggravés, une fois que la recherche a été appliquée efficacement et à grande échelle. Il était également important d’utiliser la formation dans le processus de jeu indépendant pour apprendre la fonction de valeur (comme c’était le cas dans de nombreux autres jeux et même aux échecs, seul l’apprentissage n’a pas joué un rôle important dans le programme de 1997 qui battait pour la première fois le champion du monde). Apprendre à jouer avec vous-même, apprendre en général, est comme une recherche qui vous permet d’utiliser énormément d’informatique. La recherche et la formation sont les deux classes les plus importantes de techniciens qui utilisent énormément de calculs dans la recherche en intelligence artificielle. En informatique, comme dans les échecs informatiques, les efforts initiaux des chercheurs visaient à utiliser la compréhension humaine (de manière à utiliser moins de recherche), et ce n’est que beaucoup plus tard que le succès fut obtenu grâce à la recherche et à la formation.

Conclusion: la recherche et la formation, alimentées par la puissance de calcul, dépassent de loin les tentatives de résolution du problème par «une approche non conventionnelle de la pensée»

Dans le domaine de la reconnaissance de la parole dans les années 1970,concours sponsorisé par la DARPA. Les participants ont présenté diverses méthodes faisant appel aux avantages de la connaissance humaine - connaissance des mots ou des phonèmes, du tractus vocal humain, etc. De l'autre côté des barricades se trouvaient des méthodes plus récentes, de nature statistique et permettant d'effectuer davantage de calculs basés sur des modèles de Markov cachés (HMM). Et encore une fois, les méthodes statistiques ont gagné des méthodes basées sur la connaissance humaine. Cela a conduit à des changements majeurs dans l'ensemble du traitement du langage naturel, introduits progressivement au fil des décennies, jusqu'à ce que les statistiques et les calculs commencent à dominer ce domaine. La croissance récente de l'apprentissage en profondeur dans la reconnaissance de la parole est la toute dernière étape dans cette direction cohérente. Les méthodes de formation approfondies reposent encore moins sur les connaissances humaines et utilisent encore plus de calculs, ainsi que sur de vastes ensembles d'échantillons, et produisent des systèmes de reconnaissance vocale impressionnants.

Richard Sutton, informaticien canadien

Comme dans les jeux, les scientifiques ont toujours essayé de créerles systèmes qui fonctionneraient comme ils l’imaginaient dans leur tête - ils ont essayé d’intégrer ces connaissances dans leurs systèmes - mais tout cela est apparu de façon extrêmement improductive, les scientifiques ont simplement passé du temps - jusqu’en raison de la loi de Moore - des calculs plus massifs étaient disponibles et ils ont belle application.

Conclusion: la même erreur se répète depuis des décennies

Une image similaire était dans le domaine de l'ordinateurvoir. Les premières méthodes ont été perçues comme une recherche de certains contours, de cylindres généralisés ou utilisant les possibilités de la SIFT (transformation des entités avec une échelle invariante). Mais aujourd'hui, tout a été jeté dans le four. Les réseaux neuronaux d’apprentissage en profondeur modernes utilisent uniquement le concept de convolution et de certains invariants et fonctionnent beaucoup mieux.

C'est une bonne leçon.

Où que nous regardions, nous sommes partoutcontinuer à faire les mêmes erreurs. Pour comprendre cela et le surmonter efficacement, vous devez comprendre pourquoi ces erreurs sont si attrayantes. Une leçon amère basée sur des observations historiques montre que: 1) les chercheurs en intelligence artificielle essayaient souvent d'intégrer des connaissances à leurs agents; 2) cela aidait toujours à court terme et apportait de la satisfaction aux scientifiques; 3) mais à long terme, tout est arrivé dans une impasse et a ralenti la progression; 4) des progrès décisifs sont inévitablement survenus avec l’utilisation de l’approche inverse, basée sur la mise à l’échelle des calculs par le biais de la recherche et de la formation. Le succès était un goût amer et n'était souvent pas complètement assimilé, car c’était le succès des calculs et non celui des approches centrées sur l’être humain.

De cette amère leçon, il faut apprendre: l'énorme puissance des méthodes polyvalentes, des méthodes qui continuent d'évoluer avec la croissance des calculs, même lorsque les calculs disponibles deviennent très volumineux. La recherche et l’entraînement sont deux méthodes qui semblent évoluer de cette manière.

La deuxième chose qui devrait être appris de cet amerla leçon consiste en ce que le contenu réel de l'esprit est extrêmement complexe et déraisonnable; nous devrions cesser d'essayer de trouver des moyens simples de comprendre le contenu de l'esprit, semblables aux moyens simples de comprendre l'espace, les objets, les agents multiples ou les symétries. Tous font partie d'un monde extérieur arbitrairement complexe. Nous ne devrions pas essayer de partir d'eux, car leur complexité est infinie; nous devrions nous appuyer sur des méta-méthodes capables de trouver et de capturer cette complexité arbitraire. Ces méthodes peuvent trouver de bonnes approximations, mais leur recherche doit être effectuée par nos méthodes et non par nous. Nous avons besoin d'agents d'intelligence artificielle capables de s'ouvrir comme nous et de ne pas contenir ce que nous avons découvert. Construire sur nos découvertes ne fait que compliquer le processus de découverte et de recherche.

Conclusion: il faut faire confiance aux calculs et ne pas essayertracer des pensées humaines et tenter d'expliquer des méthodes de découverte et de recherche complexes à l'aide de schémas simples; à long terme, le premier fonctionnera, pas le dernier.

Discutez de la leçon amère que les chercheurs en intelligence artificielle peuvent suivre dans notre chaîne Telegram.