Μήπως οι νευρώνες ονειρεύονται ηλεκτροπαραγωγάδες; Ο δημιουργός των πρώτων νευρωνικών δικτύων μίλησε για την εξέλιξη και το μέλλον τους

Jeffrey Hinton - ένας από τους δημιουργούς της ιδέαςβαθιά μάθηση, νικητής του Βραβείου Turing 2019 και μηχανικός της Google. Την περασμένη εβδομάδα, κατά τη διάρκεια μιας διάσκεψης προγραμματιστών I / O, ο Wired τον συνέντευξη και συζήτησε τη γοητεία του με τον εγκέφαλο και την ικανότητα να μοντελοποιήσει έναν υπολογιστή βασισμένο στη νευρική δομή του εγκεφάλου. Για πολύ καιρό, αυτές οι ιδέες θεωρήθηκαν ανόητες. Ενδιαφέρουσα και συναρπαστική συζήτηση για τη συνείδηση, τα μελλοντικά σχέδια του Hinton και αν μπορούν να διδαχθούν οι υπολογιστές να ονειρεύονται.

Τι θα συμβεί σε νευρωνικά δίκτυα;

Ας ξεκινήσουμε με τις ώρες που γράψατετα πρώτα τους, πολύ επιρροή άρθρα. Ολοι είπαν: "Η ιδέα είναι έξυπνη, αλλά στην πραγματικότητα δεν θα μπορέσουμε να σχεδιάσουμε υπολογιστές με αυτό τον τρόπο". Εξηγήστε γιατί επιμείνατε στον εαυτό σας και γιατί είστε τόσο βέβαιοι ότι βρήκατε κάτι σημαντικό.

Μου φάνηκε ότι ο εγκέφαλος δεν μπορούσε να λειτουργήσει με κάποιο τρόποδιαφορετικά. Είναι υποχρεωμένος να εργαστεί, μελετώντας τη δύναμη των συνδέσεων. Και αν θέλετε να κάνετε τη συσκευή να κάνει κάτι έξυπνο, έχετε δύο επιλογές: είτε προγραμματίζετε είτε μαθαίνετε. Και κανείς δεν είχε προγραμματίσει ανθρώπους, οπότε έπρεπε να μάθουμε. Αυτός ο τρόπος θα έπρεπε να είχε δίκιο.

Εξηγήστε τι είναι τα νευρωνικά δίκτυα. Εξηγήστε την αρχική παρουσίαση.

Παίρνετε σχετικά απλή μηχανική κατεργασία.στοιχεία που μοιάζουν πολύ από νευρώνες. Έχουν εισερχόμενες συνδέσεις, κάθε σύνδεση έχει βάρος, και αυτό το βάρος μπορεί να αλλάξει κατά τη διάρκεια της διαδικασίας κατάρτισης. Αυτό που κάνει ένας νευρώνας είναι να κάνει τις ενέργειες στις συνδέσεις πολλαπλασιασμένες με τα βάρη, τις συνοψίζει και στη συνέχεια αποφασίζει αν θα στείλει δεδομένα. Αν το άθροισμα πληκτρολογείται αρκετά μεγάλο, κάνει έξοδο. Εάν το ποσό είναι αρνητικό, δεν στέλνει τίποτα. Αυτό είναι όλο. Απλά πρέπει να συνδέσετε ένα σύννεφο τέτοιων νευρώνων με βάρη και να υπολογίσετε πώς να αλλάξετε αυτά τα βάρη, και στη συνέχεια θα κάνουν ό, τι θέλουν. Το μόνο ερώτημα είναι πώς θα αλλάξετε το βάρος.

Πότε συνειδητοποιήσατε ότι πρόκειται για μια γενική ιδέα για το πώς λειτουργεί ο εγκέφαλος;

Ω, ναι, όλα προορίζονταν αρχικά. Σχεδιασμένο για να μοιάζει με τον εγκέφαλο στην εργασία.

Έτσι, σε κάποιο σημείο της σταδιοδρομίας σας, εσείςάρχισε να καταλαβαίνει πώς λειτουργεί ο εγκέφαλος. Ίσως ήσουν δώδεκα, ίσως είκοσι πέντε. Πότε αποφασίσατε να προσπαθήσετε να μοντελοποιήσετε υπολογιστές με τύπο εγκεφάλου;

Ναι, αμέσως. Αυτό ήταν το όλο θέμα. Η όλη ιδέα ήταν να δημιουργηθεί μια συσκευή μάθησης που να μαθαίνει όπως ο εγκέφαλος, σύμφωνα με τις ιδέες των ανθρώπων για το πώς μαθαίνει ο εγκέφαλος, αλλάζοντας τη δύναμη των συνδέσεων. Και δεν ήταν η ιδέα μου, ο Turing είχε την ίδια ιδέα. Παρόλο που ο Turing εφευρέθηκε ένα τεράστιο μέρος των βασικών στοιχείων της τυποποιημένης πληροφορικής, πίστευε ότι ο εγκέφαλος ήταν μια ανοργάνωτη συσκευή με τυχαία βάρη και χρησιμοποίησε την κατάρτιση οπλισμού για να αλλάξει τις συνδέσεις, οπότε θα μπορούσε να μάθει τίποτα. Και πίστευε ότι αυτό ήταν το καλύτερο μονοπάτι για τη νοημοσύνη.

Και ακολουθήσατε την ιδέα του Turing ότι ο καλύτερος τρόπος για να δημιουργήσετε ένα αυτοκίνητο - να το σχεδιάσουμε σαν ανθρώπινο εγκέφαλο. Λοιπόν, λένε, ο ανθρώπινος εγκέφαλος λειτουργεί, οπότε ας δημιουργήσουμε μια παρόμοια μηχανή.

Ναι, δεν το σκέφτηκε μόνο ο Τούρινγκ. Πολλοί το νόμισαν.

Πότε έρχονται οι σκοτεινές ώρες; Όταν συνέβη ότι άλλοι άνθρωποι που εργάστηκαν σε αυτό και πίστευαν ότι η ιδέα του Turing ήταν σωστή, άρχισε να υποχωρεί και συνέχισα να λυγίζεις τη γραμμή σου;

Υπήρχαν πάντα μια χούφτα ανθρώπων που πίστευανπαρά τα πάντα, ειδικά στον τομέα της ψυχολογίας. Αλλά μεταξύ των επιστημόνων υπολογιστών, πιστεύω, στη δεκαετία του '90, αποδείχθηκε ότι τα σύνολα δεδομένων ήταν αρκετά μικρά και οι υπολογιστές δεν ήταν τόσο γρήγοροι. Και με μικρά σύνολα δεδομένων, άλλες μέθοδοι, ειδικότερα, η μηχανή φορέα υποστήριξης, λειτούργησαν λίγο καλύτερα. Δεν ήταν τόσο αμήχανοι από τον θόρυβο. Έτσι, όλα αυτά ήταν λυπηρά, γιατί στη δεκαετία του '80 αναπτύξαμε μια μέθοδο πολλαπλασιασμού πίσω [πολλαπλασιασμός πίσω, μια μέθοδος διάδοσης λάθους που είναι πολύ σημαντική για τα νευρωνικά δίκτυα]. Σκεφτήκαμε ότι θα λύσει τα πάντα. Και ήταν μπερδεμένοι ότι δεν αποφάσισε τίποτα. Το ερώτημα ήταν πραγματικά σε κλίμακα, αλλά τότε δεν ήξερα.

Γιατί νομίζετε ότι δεν δούλευε;

Θεωρήσαμε ότι δεν λειτούργησε επειδή είχαμεδεν υπήρχαν αρκετά σωστοί αλγόριθμοι και όχι αρκετά σωστές λειτουργίες στόχου. Σκέφτηκα για μεγάλο χρονικό διάστημα ότι αυτό συνέβη επειδή προσπαθήσαμε να διεξάγουμε κατάρτιση υπό παρατήρηση, όταν επισημάνατε δεδομένα και έπρεπε να ασχοληθούμε με εκπαίδευση χωρίς παρατήρηση, όταν η εκπαίδευση γίνεται σύμφωνα με δεδομένα που δεν έχουν μαρκαριστεί. Αποδείχθηκε ότι το ερώτημα ήταν κατά το μεγαλύτερο μέρος της κλίμακας.

Αυτό είναι ενδιαφέρον. Αποδεικνύεται ότι το πρόβλημα ήταν ότι δεν είχατε επαρκή δεδομένα. Σκεφτήκατε ότι είχατε το σωστό ποσό δεδομένων, αλλά το επισήμανε εσφαλμένα. Αποδεικνύεται ότι εντοπίσατε εσφαλμένα το πρόβλημα;

Νόμιζα ότι το λάθος ήταν ότι ήμαστανχρήση ετικετών. Το μεγαλύτερο μέρος της εκμάθησης σας συμβαίνει χωρίς τη χρήση ετικετών · απλώς προσπαθείτε να μοντελοποιήσετε τη δομή στα δεδομένα. Πραγματικά το σκέφτομαι. Νομίζω ότι δεδομένου ότι οι υπολογιστές γίνονται ταχύτεροι, αν ο υπολογιστής είναι αρκετά γρήγορος, είναι καλύτερο να διεξάγεται εκπαίδευση χωρίς παρατήρηση για οποιοδήποτε σύνολο δεδομένων ενός δεδομένου μεγέθους. Και μόλις ολοκληρώσετε τη μελέτη χωρίς παρατήρηση, θα είστε σε θέση να μελετήσετε με μικρότερο αριθμό σημείων.

Έτσι, στη δεκαετία του 1990, συνεχίζετε την έρευνά σας,είστε σε ακαδημαϊκούς κύκλους, εξακολουθείτε να δημοσιεύετε, αλλά δεν επιλύετε μεγάλα προβλήματα. Είχατε μια στιγμή που είπατε: "Ξέρεις, αυτό είναι αρκετό. Προσπαθώντας να κάνουμε κάτι άλλο; " Ή απλώς είπατε στον εαυτό σας ότι θα συνεχίσετε να συμμετέχετε σε βαθιά εκμάθηση [δηλαδή, η έννοια βαθιά μάθηση, νευρωνικά δίκτυα βαθιάς μάθησης. διαβάστε περισσότερα εδώ.]

Ναι Κάτι τέτοιο θα πρέπει να λειτουργήσει. Θέλω να πω, οι ενώσεις στον εγκέφαλο κάπως μαθαίνουν, απλά πρέπει να καταλάβουμε πώς ακριβώς. Και, ίσως, υπάρχουν πολλοί διαφορετικοί τρόποι για την ενίσχυση των συνδέσεων στη διαδικασία μάθησης. ο εγκέφαλος χρησιμοποιεί ένα από αυτά. Μπορεί να υπάρχουν άλλοι τρόποι. Αλλά σίγουρα χρειάζεστε κάτι που μπορεί να ενισχύσει αυτές τις ενώσεις κατά τη διάρκεια της προπόνησης. Ποτέ δεν το αμφέβαλε.

Ποτέ δεν το αμφισβητήσατε. Πότε αισθάνθηκε ότι λειτουργεί;

Μία από τις μεγαλύτερες απογοητεύσεις της δεκαετίας του '80 ήτανότι εάν δημιουργήσαμε δίκτυα με πολλά κρυμμένα στρώματα, δεν θα μπορούσαμε να τα εκπαιδεύσουμε. Αυτό δεν είναι απολύτως αληθές, διότι μπορείτε να εκπαιδεύσετε σχετικά απλές διαδικασίες όπως χειρόγραφο. Αλλά δεν ήξερα πώς να εκπαιδεύσουμε την πλειονότητα των βαθιών νευρωνικών δικτύων. Και κάπου το 2005, βρήκα έναν τρόπο να εκπαιδεύσω βαθιά δίκτυα χωρίς παρατήρηση. Εισάγετε δεδομένα, ας πούμε, εικονοστοιχεία, και εκπαιδεύετε αρκετούς ανιχνευτές λεπτομέρειας που απλά εξήγησαν καλά γιατί τα εικονοστοιχεία ήταν όπως ήταν. Στη συνέχεια, τροφοδοτείτε τα δεδομένα σε αυτούς τους ανιχνευτές μερών και εκπαιδεύστε μια άλλη ομάδα ανιχνευτών μερών, έτσι ώστε να μπορέσουμε να εξηγήσουμε γιατί οι ειδικοί ανιχνευτές εξαρτημάτων έχουν συγκεκριμένους συσχετισμούς. Συνεχίζετε να εκπαιδεύετε στρώματα ανά στρώμα. Αλλά το πιο ενδιαφέρον ήταν ότι θα μπορούσατε να αποσυντεθείτε μαθηματικά και να αποδείξετε ότι κάθε φορά που διδάσκετε ένα νέο στρώμα, δεν βελτιώνετε απαραιτήτως το μοντέλο δεδομένων, αλλά θα πρέπει να ασχοληθείτε με το εύρος του πόσο καλό είναι το μοντέλο σας. Και αυτό το εύρος πήρε καλύτερα με κάθε στρώμα που προστέθηκε.

Τι εννοείτε με το εύρος του πόσο καλό είναι το μοντέλο σας;

Μόλις λάβετε το μοντέλο, μπορείτε να το ρωτήσετεερώτηση: "Πόσο ασυνήθιστο είναι αυτό το μοντέλο να βρίσκει αυτά τα δεδομένα;" Τους παρουσιάζετε τα δεδομένα και ρωτάτε την ερώτηση: "Βρίσκετε όλα αυτά όπως εσείς ήθελα ή είναι ασυνήθιστο;" Και αυτό θα μπορούσε να μετρηθεί. Και ήθελα να βρω ένα μοντέλο, ένα καλό μοντέλο που εξετάζει τα δεδομένα και λέει: "Ναι, ναι. Το ήξερα αυτό. Αυτό δεν προκαλεί έκπληξη. " Είναι πάντα πολύ δύσκολο να υπολογίσετε με ακρίβεια πόσο ασυνήθιστο το μοντέλο θα βρει τα δεδομένα. Αλλά μπορείτε να υπολογίσετε το εύρος αυτού. Μπορούμε να πούμε ότι το μοντέλο θα βρει αυτά τα δεδομένα λιγότερο ασυνήθιστα από αυτό. Και θα μπορούσε να αποδειχθεί ότι καθώς προστίθενται νέα στρώματα στους ανιχνευτές λεπτομέρειας, σχηματίζεται ένα μοντέλο και με κάθε επιπρόσθετο στρώμα, όταν βρίσκει δεδομένα, το εύρος κατανόησης του πόσο ασυνήθιστο βρίσκει δεδομένα βελτιώνεται.

Αποδεικνύεται, περίπου το 2005, που πραγματοποιήσατεαυτή η επανάσταση μαθηματικών. Πότε άρχισες να παίρνεις τις σωστές απαντήσεις; Με ποια δεδομένα συνεργάσατε; Πήρατε την πρώτη ανακάλυψη με τα δεδομένα ομιλίας, σωστά;

Αυτοί ήταν μόνο χειρόγραφοι αριθμοί. Πολύ απλό. Και περίπου την ίδια εποχή άρχισε η ανάπτυξη της GPU (επεξεργαστές γραφικών). Και οι άνθρωποι που συμμετείχαν σε νευρωνικά δίκτυα άρχισαν να χρησιμοποιούν τη GPU το 2007. Είχα έναν πολύ καλό μαθητή που ξεκίνησε να χρησιμοποιεί μονάδες GPU για να αναζητήσει δρόμους σε αεροφωτογραφίες. Έγραψε τον κώδικα, ο οποίος στη συνέχεια υιοθετήθηκε από άλλους φοιτητές που χρησιμοποιούν τη GPU για να αναγνωρίσουν φωνήματα στην ομιλία. Χρησιμοποίησαν αυτή την ιδέα προηγούμενης μάθησης. Και όταν ολοκληρώθηκε η προ-κατάρτιση, έβαλαν τις ετικέτες στην κορυφή και χρησιμοποίησαν την αντίστροφη εξάπλωση. Αποδείχθηκε ότι μπορείτε να δημιουργήσετε ένα πολύ βαθύ δίκτυο που είχε προηγουμένως εκπαιδευτεί με αυτό τον τρόπο. Και τότε η διάδοση της πλάτης θα μπορούσε να εφαρμοστεί, και πραγματικά λειτούργησε. Στην αναγνώριση ομιλίας αυτό λειτούργησε τέλεια. Στην αρχή, ωστόσο, δεν ήταν πολύ καλύτερη.

Ήταν καλύτερη από την εμπορικά διαθέσιμη αναγνώριση ομιλίας; Έχει ξεπεραστεί το καλύτερο επιστημονικό έργο σχετικά με την αναγνώριση ομιλίας;

Σε ένα σχετικά μικρό σύνολο δεδομένων που ονομάζεται TIMIT, ήταν ελαφρώς καλύτερο από το καλύτερο ακαδημαϊκό έργο. Η IBM έχει επίσης κάνει πολλή δουλειά.

Πολύ γρήγορα, οι άνθρωποι συνειδητοποίησαν ότι όλα αυτά - από τότεπαρακάμπτεται τα τυποποιημένα μοντέλα που έχουν αναπτυχθεί για 30 χρόνια - θα λειτουργήσει καλά αν αναπτυχθεί λίγο. Οι απόφοιτοί μου μπήκαν σε Microsoft, IBM και Google, και η Google δημιούργησε πολύ γρήγορα ένα αναγνωστικό εργαλείο ομιλίας. Μέχρι το 2012, αυτό το έργο, το οποίο έγινε το 2009, πήρε το Android. Το Android έγινε ξαφνικά πολύ καλύτερα στην αναγνώριση της ομιλίας.

Πες μου για τη στιγμή που εσύ, που κρατάς αυτές τις ιδέες για 40 χρόνια, δημοσιεύσεις για αυτό το θέμα για 20 χρόνια, παρακάμπτοντας ξαφνικά τους συναδέλφους σου. Τι φαίνεται αυτό το συναίσθημα;

Λοιπόν, εκείνη την περίοδο κράτησα αυτές τις ιδέες για μόλις 30 χρόνια!

Αλήθεια, σωστά!

Υπήρξε μια υπέροχη αίσθηση ότι όλα αυτά τελικά μετατράπηκαν σε πραγματικό πρόβλημα.

Θυμάστε πότε λάβατε τα δεδομένα για πρώτη φορά;

Όχι

Εντάξει. Έτσι, καταλαβαίνετε ότι λειτουργεί με την αναγνώριση ομιλίας. Πότε άρχισες να εφαρμόζεις νευρωνικά δίκτυα σε άλλα προβλήματα;

Στην αρχή αρχίσαμε να τις εφαρμόζουμε σε όλα τα είδηάλλα προβλήματα. Ο Γιώργος Νταλ, με τον οποίο αρχικά δουλέψαμε για αναγνώριση ομιλίας, τους έκανε να προβλέψουμε αν ένα μόριο μπορεί να συνδεθεί με κάτι και να γίνει καλό φάρμακο. Και υπήρξε ένας διαγωνισμός. Απλά εφάρμοσε την τυποποιημένη τεχνολογία αναγνώρισης ομιλίας για να προβλέψει τη δραστηριότητα των ναρκωτικών και κέρδισε αυτόν τον ανταγωνισμό. Ήταν ένα σημάδι ότι κάνουμε κάτι πολύ οικουμενικό. Στη συνέχεια εμφανίστηκε ένας φοιτητής ο οποίος είπε: "Ξέρετε, Jeff, αυτό το πράγμα θα λειτουργήσει με την αναγνώριση εικόνας, και Fey-Fey Lee δημιούργησε ένα κατάλληλο σύνολο δεδομένων για αυτό. Υπάρχει δημόσιος διαγωνισμός, ας κάνουμε κάτι. "

Έχουμε αποτελέσματα που ήταν πολύ ανώτερα από τα τυποποιημένα οράματα υπολογιστών. Ήταν το 2012.

Δηλαδή, σε αυτούς τους τρεις τομείς έχετε επιτύχει: μοντελοποίηση χημικών ουσιών, ομιλία, φωνή. Πού αποτύχατε;

Καταλαβαίνετε ότι οι αποτυχίες είναι προσωρινές;

Λοιπόν, τι καθορίζει την περιοχή όπου όλα λειτουργούν;ταχύτερες και περιοχές όπου απαιτείται περισσότερος χρόνος; Φαίνεται ότι η οπτική επεξεργασία, η αναγνώριση ομιλίας και κάτι σαν τα βασικά ανθρώπινα πράγματα που κάνουμε με την αισθητηριακή αντίληψη θεωρούνται τα πρώτα εμπόδια που πρέπει να ξεπεραστούν, σωστά;

Και ναι και όχι, επειδή υπάρχουν και άλλα πράγματαπου κάνουμε καλά είναι η ίδια κινητικότητα. Είμαστε πολύ καλοί στον έλεγχο των κινητικών δεξιοτήτων. Ο εγκέφαλός μας είναι σίγουρα προσαρμοσμένος για αυτό. Και μόνο τώρα τα νευρωνικά δίκτυα αρχίζουν να ανταγωνίζονται με τις καλύτερες άλλες τεχνολογίες γι 'αυτό. Θα κερδίσουν στο τέλος, αλλά τώρα μόλις αρχίζουν να κερδίζουν.

Νομίζω ότι σκέφτομαι, αφηρημένη σκέψη - τα τελευταία πράγματα που μαθαίνουμε. Νομίζω ότι θα είναι από τα τελευταία πράγματα που τα νευρωνικά δίκτυα μάθουν να κάνουν.

Και έτσι συνεχίζετε να λέτε ότι τα νευρικά δίκτυα τελικά θα κερδίσουν παντού.

Λοιπόν, είμαστε νευρωνικά δίκτυα. Ό, τι μπορούμε, μπορούν επίσης.

Είναι αλήθεια ότι ο ανθρώπινος εγκέφαλος απέχει πολύ από τον πιο αποτελεσματικό υπολογιστή που δημιουργήθηκε ποτέ.

Σίγουρα όχι.

Σίγουρα όχι ανθρώπινο μυαλό μου! Υπάρχει τρόπος να μοντελοποιήσετε μηχανές που θα είναι πολύ πιο αποτελεσματικές από τον ανθρώπινο εγκέφαλο;

Από τη σκοπιά της φιλοσοφίας, δεν έχω αντιρρήσειςενάντια στην ιδέα ότι θα μπορούσε να υπάρξει κάποιος τελείως διαφορετικός τρόπος να γίνει το σύνολο. Ίσως αν αρχίσετε με τη λογική, προσπαθήστε να αυτοματοποιήσετε τη λογική, να βγείτε με κάποια περίεργη απόδειξη των θεωρημάτων, να υποστηρίξετε και στη συνέχεια να αποφασίσετε ότι θα έρθετε στην οπτική αντίληψη μέσω της συλλογιστικής, μπορεί να είναι ότι αυτή η προσέγγιση θα κερδίσει. Αλλά όχι ακόμα. Δεν έχω φιλοσοφικές αντιρρήσεις σε μια τέτοια νίκη. Απλά γνωρίζουμε ότι ο εγκέφαλος είναι σε θέση να το κάνει.

Αλλά υπάρχουν πράγματα που ο εγκέφαλός μας δεν μπορεί να κάνει καλά. Αυτό σημαίνει ότι τα νευρικά δίκτυα δεν θα είναι επίσης σε θέση να τα κάνουν καλά;

Είναι δυνατό, ναι.

Και υπάρχει ένα ξεχωριστό πρόβλημα, το οποίο είναι ότι δεν καταλαβαίνουμε πώς λειτουργούν τα νευρωνικά δίκτυα, έτσι;

Ναι, πραγματικά δεν καταλαβαίνουμε πώς λειτουργούν.

Δεν καταλαβαίνουμε πώς συνεργάζονται τα νευρικά δίκτυαπρος τα κάτω. Αυτό είναι το κύριο στοιχείο του έργου των νευρωνικών δικτύων, το οποίο δεν καταλαβαίνουμε. Εξηγήστε αυτό και, στη συνέχεια, επιτρέψτε μου να θέσω την ακόλουθη ερώτηση: αν γνωρίζουμε πώς όλα λειτουργούν, πώς λειτουργεί όλα αυτά τότε;

Αν κοιτάξετε τα σύγχρονα συστήματατο όραμα των υπολογιστών, τα περισσότερα από τα οποία κατευθύνονται κυρίως προς τα εμπρός. δεν χρησιμοποιούν συνδέσεις ανατροφοδότησης. Και υπάρχει ακόμη ένα πράγμα στα σύγχρονα συστήματα οράσεως υπολογιστών που είναι πολύ ευαίσθητα στα ανταγωνιστικά λάθη. Μπορείτε να αλλάξετε ελαφρώς μερικά εικονοστοιχεία, και τι ήταν μια εικόνα panda και εξακολουθεί να μοιάζει ακριβώς σαν ένα panda για σας θα γίνει ξαφνικά μια στρουθοκαμήλου στην κατανόηση του νευρικού δικτύου. Προφανώς, ο τρόπος αντικατάστασης των εικονοστοιχείων έχει σχεδιαστεί για να εξαπατήσει το νευρικό δίκτυο, αναγκάζοντάς το να σκεφτεί για τη στρουθοκάμηλο. Αλλά το γεγονός είναι ότι για σας εξακολουθεί να είναι ένα panda.

Αρχικά, σκεφτήκαμε ότι όλα λειτούργησαν.ωραία Όμως, έρχονται αντιμέτωποι με το γεγονός ότι κοιτάζουν μια panda και είναι σίγουροι ότι πρόκειται για στρουθοκάμηλο, ανησυχούμε. Και νομίζω ότι ένα μέρος του προβλήματος είναι ότι δεν προσπαθούν να ανοικοδομήσουν από αντιπροσωπείες υψηλού επιπέδου. Προσπαθούν να μάθουν μεμονωμένα, όταν εκπαιδεύονται μόνο οι ανιχνευτές στρώματος λεπτομέρειας και ο στόχος είναι να αλλάξουν τα βάρη έτσι ώστε να αναζητούν καλύτερα τη σωστή απάντηση. Ανακαλύψαμε πρόσφατα στο Τορόντο, ή ο Nick Frost ανακάλυψε ότι αν προσθέσετε ανακατασκευή, η αντοχή στο αντίθετο σφάλμα θα αυξηθεί. Νομίζω ότι στο ανθρώπινο όραμα της ανασυγκρότησης χρησιμοποιείται. Και επειδή μαθαίνουμε πολλά κάνοντας μια ανασυγκρότηση, είμαστε πολύ πιο ανθεκτικοί στις ανταγωνιστικές επιθέσεις.

Πιστεύετε ότι η καθοδική επικοινωνία στο νευρωνικό δίκτυο σας επιτρέπει να ελέγξετε πώς ανακατασκευάζεται κάτι. Το ελέγχετε και βεβαιωθείτε ότι είναι ένα panda, όχι μια στρουθοκαμήλου.

Νομίζω ότι αυτό είναι σημαντικό, ναι.

Αλλά οι επιστήμονες που μελετούν τον εγκέφαλο, δεν συμφωνούν απόλυτα;

Οι επιστήμονες του εγκεφάλου δεν υποστηρίζουν ότι αν έχετε δύοπεριοχές του φλοιού στον δρόμο της αντίληψης, θα υπάρχουν πάντα αντίστροφοι σύνδεσμοι. Υποστηρίζουν με ποιο τρόπο είναι. Μπορεί να είναι απαραίτητο για προσοχή, για εκπαίδευση ή για ανασυγκρότηση. Ή και για τα τρία.

Επομένως δεν γνωρίζουμε ποια είναι η ανατροφοδότηση. Δημιουργείτε τα νέα σας νευρωνικά δίκτυα, ξεκινώντας από την υπόθεση ότι ... όχι, ούτε και αυτό - δημιουργείτε ανατροφοδότηση, επειδή είναι απαραίτητη για την ανασυγκρότηση στα νευρωνικά σας δίκτυα, αν και δεν καταλαβαίνετε καν πώς λειτουργεί ο εγκέφαλος;

Ναι

Δεν είναι αυτό το κόλπο; Λοιπόν, αν προσπαθείτε να κάνετε κάτι σαν εγκέφαλο, αλλά δεν είστε σίγουροι τι κάνει ο εγκέφαλος;

Όχι πραγματικά. Δεν κάνω υπολογιστική νευροεπιστήμη. Δεν προσπαθώ να δημιουργήσω ένα μοντέλο του εγκεφάλου. Κοιτάζω τον εγκέφαλο και λέω: «Λειτουργεί και αν θέλουμε να κάνουμε κάτι άλλο που πρέπει να δούμε και να εμπνέεται από αυτό». Είμαστε εμπνευσμένοι από τους νευρώνες, αντί να δημιουργούμε ένα νευρικό μοντέλο. Έτσι, ολόκληρο το μοντέλο, οι νευρώνες που χρησιμοποιούμε, εμπνέονται από το γεγονός ότι οι νευρώνες έχουν πολλές συνδέσεις και ότι αλλάζουν βάρη.

Αυτό είναι ενδιαφέρον. Αν ήμουν επιστήμονας υπολογιστών και εργαζόμουν σε νευρικά δίκτυα και ήθελα να παρακάμψω τον Jeff Hinton, μία από τις επιλογές θα ήταν να οικοδομήσουμε μια επικοινωνία προς τα κάτω και να την βασίσουμε σε άλλα μοντέλα των επιστημών του εγκεφάλου. Βασιζόμενη στην κατάρτιση, όχι στην ανασυγκρότηση.

Εάν υπήρχαν καλύτερα μοντέλα, θα κερδίζατε. Ναι

Είναι πολύ, πολύ ενδιαφέρον. Ας αγγίξουμε ένα πιο γενικό θέμα. Έτσι, τα νευρωνικά δίκτυα μπορούν να λύσουν όλα τα πιθανά προβλήματα. Υπάρχουν παζλ του ανθρώπινου εγκεφάλου που δεν μπορούν ή δεν θα καλύψουν νευρικά δίκτυα; Για παράδειγμα, συναισθήματα.

Όχι

Έτσι η αγάπη μπορεί να ανακατασκευαστεί από ένα νευρωνικό δίκτυο; Η συνειδητότητα μπορεί να ανακατασκευαστεί;

Απολύτως. Μόλις καταλάβετε τι σημαίνουν αυτά τα πράγματα. Είμαστε νευρωνικά δίκτυα, έτσι; Η συνείδηση ​​είναι ένα ιδιαίτερα ενδιαφέρον θέμα για μένα. Αλλά ... οι άνθρωποι δεν ξέρουν πραγματικά τι σημαίνουν με αυτή τη λέξη. Υπάρχουν πολλοί διαφορετικοί ορισμοί. Και νομίζω ότι αυτός είναι ένας μάλλον επιστημονικός όρος. Επομένως, αν πριν από 100 χρόνια ρωτήσατε τους ανθρώπους: τι είναι η ζωή; Θα απαντούσαν: "Λοιπόν, τα ζωντανά πράγματα έχουν ζωτική δύναμη, και όταν πεθαίνουν, η ζωτική δύναμη τους αφήνει. Αυτή είναι η διαφορά μεταξύ των ζωντανών και των νεκρών, είτε έχετε ζωτική δύναμη είτε όχι. " Τώρα δεν έχουμε ζωτικότητα, πιστεύουμε ότι αυτή η έννοια εμφανίστηκε πριν από την επιστήμη. Και μόλις ξεκινήσετε μια μικρή κατανόηση της βιοχημείας και της μοριακής βιολογίας, δεν χρειάζεστε πλέον τη ζωτικότητα, θα καταλάβετε πώς όλα λειτουργούν πραγματικά. Και το ίδιο πράγμα, νομίζω, θα συμβεί με τη συνείδηση. Νομίζω ότι η συνείδηση ​​είναι μια προσπάθεια εξήγησης των ψυχικών φαινομένων με τη χρήση μιας οντότητας. Και αυτή η οντότητα, δεν είναι απαραίτητη. Μόλις μπορέσετε να το εξηγήσετε, μπορείτε να εξηγήσετε πώς κάνουμε ό, τι κάνει τους ανθρώπους συνειδητά όντα, να εξηγήσετε τις διαφορετικές έννοιες της συνείδησης, χωρίς να προσελκύσετε συγκεκριμένες οντότητες.

Αποδεικνύεται ότι δεν υπάρχουν συναισθήματα που δεν μπορούνθα δημιουργούσε; Δεν σκέφτεστε να δημιουργήσετε; Δεν υπάρχει τίποτα που το ανθρώπινο μυαλό μπορεί να κάνει, ότι θεωρητικά θα ήταν αδύνατο να αναδημιουργηθεί ένα πλήρως λειτουργικό νευρωνικό δίκτυο, μόλις καταλάβουμε πώς λειτουργεί ο εγκέφαλος;

Ο John Lennon τραγούδησε κάτι παρόμοιο σε ένα από τα τραγούδια του.

Είστε 100% σίγουροι γι 'αυτό;

Όχι, είμαι Bayesian, έτσι είμαι βέβαιος 99,9%.

Λοιπόν, τι είναι αυτό το 0,01%;

Λοιπόν, θα μπορούσαμε, για παράδειγμα, να είμαστε όλοι μέρος μιας μεγάλης προσομοίωσης.

Δίκαιη. Λοιπόν, τι μαθαίνουμε για τον εγκέφαλο από την εργασία μας στους υπολογιστές;

Λοιπόν, νομίζω από αυτό που μάθαμετα τελευταία 10 χρόνια, είναι ενδιαφέρον ότι αν πάρετε ένα σύστημα με δισεκατομμύρια παραμέτρους και μια λειτουργία στόχου - για παράδειγμα, για να γεμίσετε ένα κενό σε μια γραμμή λέξεων - θα λειτουργήσει καλύτερα από ό, τι θα έπρεπε. Θα λειτουργήσει πολύ καλύτερα από ό, τι θα περίμενε κανείς. Ίσως σκεφτείτε και πολλοί άνθρωποι στον τομέα της παραδοσιακής έρευνας για το AI θα πίστευαν ότι μπορείτε να πάρετε ένα σύστημα με ένα δισεκατομμύριο παραμέτρους, να το εκτελέσετε σε τυχαίες τιμές, να μετρήσετε την κλίση της αντικειμενικής συνάρτησης και στη συνέχεια να το διορθώσετε για να βελτιώσετε την αντικειμενική λειτουργία. Ίσως σκεφτείτε ότι ένας αλλότρυχος θα είναι αναπόφευκτος. Αλλά όχι, αποδεικνύεται, αυτός είναι ένας πολύ καλός αλγόριθμος. Και όσο μεγαλύτερη είναι η κλίμακα, τόσο καλύτερα λειτουργεί. Και αυτή η ανακάλυψη ήταν ουσιαστικά εμπειρική. Υπήρχε κάποια θεωρία πίσω από όλα αυτά, φυσικά, αλλά η ανακάλυψη ήταν εμπειρική. Και τώρα, από τότε που ανακαλύψαμε αυτό, φαίνεται πιο πιθανό ότι ο εγκέφαλος υπολογίζει την κλίση μιας συγκεκριμένης αντικειμενικής λειτουργίας και ενημερώνει τα βάρη και τη δύναμη της σύνδεσης των συνάψεων για να συμβαδίζει με αυτήν την κλίση. Χρειάζεται μόνο να μάθουμε τι είναι αυτή η αντικειμενική λειτουργία και πώς χειροτερεύει.

Αλλά δεν το καταλαβαίνουμε στο παράδειγμα του εγκεφάλου; Δεν κατάλαβα τα βάρη ενημέρωσης;

Ήταν μια θεωρία. Πριν από πολύ καιρό οι άνθρωποι νόμιζαν ότι ήταν δυνατόν. Αλλά στο παρασκήνιο υπήρχαν πάντα μερικοί επιστήμονες υπολογιστών που δήλωσαν: «Ναι, αλλά η ιδέα ότι όλα είναι τυχαία και η εκμάθηση συμβαίνει λόγω της κλίσης της κατάβασης δεν θα λειτουργήσει με ένα δισεκατομμύριο παραμέτρους, θα πρέπει να συνδέσετε πολλές γνώσεις». Τώρα ξέρουμε ότι δεν είναι. Μπορείτε απλά να εισάγετε τυχαίες παραμέτρους και να μάθετε τα πάντα.

Ας βουτήξουμε λίγο. Καθώς μαθαίνουμε όλο και περισσότερο, αναμένεται να συνεχίσουμε να μαθαίνουμε όλο και περισσότερο πώς λειτουργεί ο ανθρώπινος εγκέφαλος, καθώς θα διεξάγουμε τεράστιες δοκιμές μοντέλων με βάση τις ιδέες μας σχετικά με τις λειτουργίες του εγκεφάλου. Μόλις το κατανοήσουμε καλύτερα, θα υπάρξει μια στιγμή κατά την οποία ουσιαστικά ανοικοδομήσουμε τα μυαλά μας για να γίνουμε πολύ πιο αποδοτικές μηχανές;

Αν καταλαβαίνουμε πραγματικά τι συμβαίνει, εμείςμπορούμε να βελτιώσουμε ορισμένα πράγματα όπως η εκπαίδευση. Και νομίζω ότι θα βελτιωθεί. Θα ήταν πολύ περίεργο να καταλάβουμε τελικά τι συμβαίνει στον εγκέφαλό σας, πώς μαθαίνει και όχι να προσαρμόζεται με τέτοιο τρόπο ώστε να μελετάται καλύτερα.

Πώς νομίζετε, πώς σε δύο χρόνια χρησιμοποιούμε αυτό που μάθαμε για τον εγκέφαλο και για το έργο της βαθιάς μάθησης, να αλλάξουμε την εκπαίδευση; Πώς θα αλλάζετε τάξεις;

Δεν είμαι σίγουρος ότι σε μερικά χρόνια θα μάθουμε πολλά. Νομίζω ότι η αλλαγή της εκπαίδευσης θα διαρκέσει περισσότερο. Αλλά αν μιλάς για αυτό, οι βοηθοί [ψηφιακοί] γίνονται αρκετά έξυπνοι. Και όταν οι βοηθοί μπορούν να καταλάβουν τις συνομιλίες, μπορούν να μιλήσουν στα παιδιά και να τους διδάξουν.

Και θεωρητικά, εάν κατανοήσουμε καλύτερα τον εγκέφαλο, θα είμαστε σε θέση να προγραμματίσουμε βοηθούς ώστε να μπορούν να μιλάνε καλύτερα με τα παιδιά, ξεκινώντας από αυτό που έχουν ήδη μάθει.

Ναι, αλλά δεν το σκέφτηκα πολύ. Το κάνω άλλο. Αλλά όλα μοιάζουν αρκετά με την αλήθεια.

Μπορούμε να καταλάβουμε πώς δουλεύουν τα όνειρα;

Ναι, με ενδιαφέρει πολύ τα όνειρα. Μου ενδιαφέρει τόσο πολύ ότι έχω τουλάχιστον τέσσερις διαφορετικές θεωρίες των ονείρων.

Πες για αυτούς - για το πρώτο, το δεύτερο, το τρίτο, το τέταρτο.

Μια φορά κι έναν καιρό υπήρχαν τέτοια πράγματα που ονομάζονται δίκτυαHopfield, και μελέτησαν τις μνήμες ως τοπικούς ελκυστήρες. Ο Χόπφιλντ ανακάλυψε ότι αν προσπαθήσετε να βάλετε πάρα πολλές αναμνήσεις, θα μπερδευτούν. Θα πάρουν δύο τοπικούς ελκυστήρες και θα τους συνδυάσουν σε έναν ελκυστήρα κάπου στα μισά του δρόμου μεταξύ τους.

Τότε ήρθε Francis Creek και Graham Mitchison καιείπαν ότι μπορούμε να απαλλαγούμε από αυτά τα ψεύτικα χαμηλά με την απροσεξία (δηλαδή, ξεχνώντας αυτά που μάθαμε). Απενεργοποιούμε την εισαγωγή δεδομένων, μεταφέρουμε το νευρικό δίκτυο σε τυχαία κατάσταση, αφήνουμε να ηρεμήσει, να πει ότι είναι κακό, να αλλάξει τις συνδέσεις έτσι ώστε να μην πέσει σε αυτή την κατάσταση και έτσι μπορεί να κάνει το δίκτυο να αποθηκεύσει περισσότερες μνήμες.

Τότε ήρθαμε με τον Terry Sejnovski και είπαμε: "Ακούστε, αν έχουμε όχι μόνο νευρώνες που αποθηκεύουν μνήμες, αλλά και μια δέσμη άλλων νευρώνων, μπορούμε να βρούμε έναν αλγόριθμο που θα χρησιμοποιήσει όλους αυτούς τους άλλους νευρώνες για να βοηθήσουν στην αποκατάσταση μνήμης;" Ως αποτέλεσμα, δημιουργήσαμε τον αλγόριθμο μάθησης μηχανών Boltzmann. Και ο αλγόριθμος εκμάθησης μηχανών Boltzmann είχε μια εξαιρετικά ενδιαφέρουσα ιδιότητα: Εμφανίζω τα δεδομένα και ο ίδιος περνά μέσα από τις υπόλοιπες μονάδες μέχρι να φτάσει σε μια πολύ χαρούμενη κατάσταση και στη συνέχεια αυξάνει τη δύναμη όλων των συνδέσεων, με βάση το γεγονός ότι δύο μονάδες είναι ενεργές την ίδια στιγμή.

Θα πρέπει επίσης να έχετε μια φάση στην οποία εσείςαπενεργοποιήστε την είσοδο, επιτρέψτε στον αλγόριθμο να "γυρίσει" και να μεταφράσει την κατάσταση σε μια κατάσταση στην οποία είναι ικανοποιημένη, έτσι ώστε να φαντάζεται και μόλις έχει φαντασία λέτε: "Πάρτε όλα τα ζευγάρια νευρώνων που είναι ενεργά και μειώστε τη δύναμη των συνδέσεων".

Σας εξηγώ τον αλγόριθμο ως διαδικασία. Αλλά στην πραγματικότητα, αυτός ο αλγόριθμος είναι ένα προϊόν των μαθηματικών και το ερώτημα: "Πώς θα πρέπει αυτές οι αλυσίδες των συνδέσεων να αλλάξουν, έτσι ώστε αυτό το νευρωνικό δίκτυο με όλες αυτές τις κρυμμένες μονάδες να μην βρει δεδομένα;". Και πρέπει να υπάρξει μια άλλη φάση, την οποία ονομάζουμε αρνητική φάση, όταν το δίκτυο λειτουργεί χωρίς καταχώρηση δεδομένων και μαθαίνει, ανεξάρτητα από το ποια κατάσταση το θέτετε.

Βλέπουμε όνειρα για πολλές ώρες κάθε βράδυ. Και αν ξυπνήσετε ξαφνικά, μπορείτε να πείτε ότι απλά ονειρευόσαστε, επειδή το όνειρο είναι αποθηκευμένο σε μια βραχυπρόθεσμη μνήμη. Γνωρίζουμε ότι βλέπουμε τα όνειρα για πολλές ώρες, αλλά το πρωί, μετά το ξύπνημα, μπορούμε να θυμηθούμε μόνο το τελευταίο όνειρο και άλλοι δεν θυμούνται ότι ήταν πολύ επιτυχημένο, διότι θα ήταν λάθος να τους θεωρήσουμε ως πραγματικότητα. Γιατί λοιπόν δεν θυμόμαστε καθόλου τα όνειρά μας; Σύμφωνα με τον Crick, αυτό είναι το νόημα των ονείρων: να ξεχάσουμε αυτά τα πράγματα. Μπορείτε να μάθετε το αντίθετο.

Ο Terry Seinowski και εγώ δείξαμε ότι αυτή είναι μια διαδικασία μάθησης με την υψηλότερη πιθανότητα για τις μηχανές Boltzmann. Αυτή είναι η πρώτη θεωρία των ονείρων.

Θέλω να μεταβείτε στις άλλες σας θεωρίες. Αλλά ρωτήστε την ερώτηση: καταφέρατε να εκπαιδεύσετε οποιονδήποτε από τους βαθιούς αλγορίθμους μάθησης για να ονειρευτείτε πραγματικά;

Μερικοί από τους πρώτους αλγορίθμους που θα μπορούσανΓια να μάθουν πώς να δουλεύουν με κρυφές μονάδες, υπήρχαν μηχανές Boltzmann. Ήταν εξαιρετικά αναποτελεσματικοί. Αλλά αργότερα βρήκα έναν τρόπο να δουλέψω με προσεγγίσεις, οι οποίες αποδείχθηκαν αποτελεσματικές. Και αυτό στην πραγματικότητα προκάλεσε την επανάληψη της εργασίας με βαθιά μάθηση. Αυτά ήταν πράγματα που διδάσκουν ένα στρώμα ανιχνευτών λειτουργίας τη φορά. Και ήταν η αποτελεσματική μορφή της περιοριστικής μηχανής Boltzmann. Και έτσι ασχολήθηκε με αυτό το είδος αντίστροφης εκπαίδευσης. Αλλά αντί να κοιμηθεί, θα μπορούσε απλώς να φανταστεί λίγο μετά από κάθε ετικέτα με τα δεδομένα.

Λοιπόν, σημαίνει ότι τα ανδροειδή πραγματικά ονειρεύονται ηλεκτροσόκ. Ας προχωρήσουμε στις θεωρίες δύο, τρία και τέσσερα.

Η θεωρία Δύο ονομάστηκε Αλγόριθμος ύπνου Wake[αλγόριθμος αφύπνισης]. Πρέπει να εκπαιδεύσετε ένα γενετικό μοντέλο. Και έχετε μια ιδέα να δημιουργήσετε ένα μοντέλο που μπορεί να δημιουργήσει δεδομένα, έχει στρώματα ανιχνευτών χαρακτηριστικών και ενεργοποιεί τα ανώτερα και κατώτερα στρώματα και ούτω καθεξής, μέχρι την ενεργοποίηση των εικονοστοιχείων - δημιουργώντας την εικόνα, στην πραγματικότητα. Αλλά θα θέλατε να την διδάξετε άλλη. Θα θέλατε να αναγνωρίσει τα δεδομένα.

Και έτσι πρέπει να κάνετε έναν αλγόριθμο με δύοφάσεις. Στη φάση αφύπνισης, τα δεδομένα εισέρχονται, προσπαθεί να τα αναγνωρίσει και, αντί να μελετήσει τις συνδέσεις που χρησιμοποιεί για αναγνώριση, μελετά τις γενετικές συνδέσεις. Τα δεδομένα έρχονται, ενεργοποιώ κρυφές μονάδες. Και έπειτα προσπαθώ να διδάξω αυτές τις κρυμμένες μονάδες για να ανακτήσω αυτά τα δεδομένα. Μαθαίνει να ανακατασκευάσει σε κάθε στρώμα. Αλλά το ερώτημα είναι πώς να μελετήσετε τις άμεσες συνδέσεις; Επομένως, η ιδέα είναι ότι εάν γνωρίζατε τις άμεσες συνδέσεις, θα μπορούσατε να μάθετε τις αντίστροφοι σύνδεσμοι, διότι θα μπορούσατε να μάθετε πώς να ανακατασκευάσετε.

Τώρα, επίσης, αποδεικνύεται ότι αν χρησιμοποιείτεαντίστροφη σύνδεση, μπορείτε να μάθετε και να κατευθύνετε τις συνδέσεις, επειδή μπορείτε απλά να ξεκινήσετε από την κορυφή και να δημιουργήσετε λίγα δεδομένα. Και δεδομένου ότι παράγετε δεδομένα, γνωρίζετε τις καταστάσεις όλων των κρυφών επιπέδων και μπορείτε να μελετήσετε απευθείας συνδέσεις για να αποκαταστήσετε αυτές τις καταστάσεις. Και αυτό συμβαίνει: εάν αρχίσετε με τυχαίες συνδέσεις και προσπαθήσετε να χρησιμοποιήσετε εναλλακτικά και τις δύο φάσεις, όλα θα αποδειχθούν. Για να λειτουργήσει καλά, θα πρέπει να δοκιμάσετε διαφορετικές επιλογές, αλλά θα λειτουργήσει.

Λοιπόν, τι γίνεται με τις άλλες δύο θεωρίες; Έχουμε μόνο οκτώ λεπτά, νομίζω ότι δεν θα έχω χρόνο να ρωτήσω για τα πάντα.

Δώσε μου άλλη μια ώρα και θα σου πω για τα άλλα δύο.

Ας μιλήσουμε για το τι θα ακολουθήσει. Πού πηγαίνουν οι σπουδές σας; Ποια προβλήματα προσπαθείτε να επιλύσετε τώρα;

Στο τέλος, πρέπει να δουλέψω σε κάτιτι δουλειά δεν έχει ακόμη ολοκληρωθεί. Νομίζω ότι μπορώ να δουλέψω σε κάτι που δεν θα τελειώσω ποτέ, που ονομάζεται "κάψουλες", μια θεωρία για το πώς γίνεται η οπτική αντίληψη χρησιμοποιώντας την ανακατασκευή και πώς οι πληροφορίες στέλνονται στα σωστά σημεία. Οι δύο βασικοί παρακινητικοί παράγοντες ήταν ότι σε τυποποιημένα νευρωνικά δίκτυα, οι πληροφορίες, η δραστηριότητα στο επίπεδο ακριβώς αυτόματα πηγαίνει κάπου, και δεν παίρνετε αποφάσεις για το πού να το στείλετε. Η ιδέα των καψουλών ήταν να πάρουν αποφάσεις για το πού να στείλουν τις πληροφορίες.

Τώρα, όταν άρχισα να δουλεύω σε κάψουλες, πολύ έξυπνοι άνθρωποι από την Google επινόησαν μετασχηματιστές που κάνουν το ίδιο. Αποφασίζουν πού να στείλουν τις πληροφορίες, και αυτή είναι μια μεγάλη νίκη.

Την επόμενη χρονιά θα επιστρέψουμε για να μιλήσουμε για τις θεωρίες των ονείρων αριθ. 3 και αριθ. 4.

Εγγραφείτε στη συνομιλία μας στο Telegram για να μην χάσετε.

Το άρθρο χρησιμοποιεί εικονογραφήσεις της Maria Menshikova.