リサーチ

ニューロンはエレクトロウォーターを夢見ますか?最初のニューラルネットワークの作成者は彼らの進化と将来について語った

ジェフリーヒントン - コンセプトのクリエイターの一人深く学び、Turing Award 2019とGoogleのエンジニアを受賞しました。先週、I / O開発者会議で、Wiredは彼にインタビューし、彼の脳への興味と脳の神経構造に基づいてコンピューターをモデル化する能力について話し合った。長い間、これらの考えはばかげていると考えられていました。意識、Hintonの今後の計画、そしてコンピュータに夢を教えることができるかどうかについての興味深く、魅力的な会話。

ニューラルネットワークはどうなりますか?

あなたが書いた時代から始めましょう彼らの一番最初の、とても影響力のある記事。 「このアイデアは賢いものですが、実際にはこのようにコンピュータを設計することはできません。なぜあなたが自分を主張したのか、そしてなぜ自分が何か重要なものを見つけたのかを説明してください。

どういうわけか脳が機能しないように思えましたそうでなければ。彼は関係の力を研究しながら仕事をする義務があります。そして、あなたがデバイスに何か賢いことをさせたいのであれば、2つの選択肢があります。そして誰もプログラムした人がいなかったので、学ぶ必要がありました。この方法は正しかったはずです。

ニューラルネットワークとは何かを説明する元のプレゼンテーションを説明してください。

あなたは比較的簡単な機械加工を取ります。非常に遠くにニューロンに似ている要素。それらは入ってくる接続を持ち、それぞれの接続は重みを持ち、そしてこの重みはトレーニングプロセスの間に変化することがあります。ニューロンが行うことは、接続にウェイトを掛けたアクションを実行し、それらを要約してから、データを送信するかどうかを決定することです。合計が十分に大きく入力されるなら、それは出力を作ります。金額がマイナスの場合は、何も送信しません。それだけです。あなたはそのようなニューロンの群れを重みと結びつけそしてこれらの重みを変える方法を考え出すことだけを必要とし、そしてそれらは彼らが望むものは何でもするでしょう。唯一の問題は、体重をどのように変えるかということです。

これが脳がどのように機能するのかについての大まかな考えであることにいつ気づいたのですか?

ああ、はい、すべてが当初意図されていました。仕事中の脳に似せるように設計されています。

だから、あなたのキャリアのある時点で、あなたは脳の働きを理解し始めました。たぶんあなたは12歳、25歳かもしれません。脳のタイプによってコンピュータをモデル化しようとしたのはいつですか。

はい、すぐに。それがポイントでした。 全体のアイデアは、つながりの強さを変えることによって、脳がどのように学ぶかについての人々の考えに従って、脳のように学ぶ学習装置を作成することでした。そしてそれは私の考えではなかった;チューリングは同じ考えを持っていた。チューリングは標準的なコンピュータサイエンスの基本の大部分を発明しましたが、彼はランダムな重みを持つ組織化されていないデバイスであると考え、接続を変えるために強化トレーニングを使いました。そして彼はこれが知性への最善の道であると信じていました。

そして、あなたはチューリングという考えに従って、車を作るための最善の方法です - 人間の脳のようにデザインすること。だから、彼らは言う、人間の脳は機能するので、それでは同様の機械を作りましょう。

はい、チューリングだけではありませんでした。多くの人がそう思った。

暗黒時代はいつ来ましたか。それに取り組み、チューリングの考えが正しいと思った他の人々が後退し始めたとき、あなたはあなたの方針を曲げ続けましたか?

信じている人は常に一握りです。特に心理学の分野では、すべてにもかかわらず。しかし、コンピュータ科学者の間では、90年代には、データセットが十分に小さく、コンピュータがそれほど速くなかったことがわかりました。そして小さなデータセットでは、他の方法、特にサポートベクターマシンが少し良くなりました。彼らはその騒音に当惑しなかった。 80年代にバックプロパゲーション法[バックプロパゲーション、ニューラルネットワークにとって非常に重要なエラープロパゲーションバック法]を開発したため、これはすべて悲しいことでした。私たちは彼がすべてを解決すると思った。そして彼らは彼が何も決めなかったことに困惑した。問題は本当に大規模なものでしたが、それから私たちは知りませんでした。

なぜあなたはそれがうまくいっていないと思いましたか?

我々は持っていたのでそれはうまくいかないと思ったそれほど正確なアルゴリズムや正しくない目的関数はありませんでした。これは、データにラベルを付けるときに観察下でトレーニングを行おうとしたためであり、タグなしのデータに従ってトレーニングを行うときには観察せずにトレーニングを行わなければならなかったためです。問題は大部分が問題の大部分を占めていることがわかりました。

これは面白いです。 問題は、データが不足していることです。あなたはあなたが正しい量のデータを持っていると思いました、しかしあなたはそれに誤ってフラグを立てました。それは結局のところ、あなたは間違って問題を識別しましたか?

私たちがいるのは間違いだと思ったタグを使用してください。ほとんどの学習はタグを使用せずに行われ、データ内の構造をモデル化しようとしているだけです。私は実際にまだそう思います。私はコンピューターが速くなるので、コンピューターが十分に速いならば、与えられたサイズのどんなデータセットに対しても観察なしでトレーニングを行うことがより良いと思います。そしてあなたが観察なしで研究を完了するとすぐに、あなたはより少ない数の点数で研究することができるでしょう。

それで、1990年代に、あなたはあなたの研究を続けます、あなたは学界にいます、あなたはまだ出版しています、しかしあなたは大きな問題を解決していません。 「あなたは知っている、それで十分です。他のことをやろうとしている?」それとも、自分は深層学習に従事し続けることを自分自身に言ったのですか。 深い 学習、深層学習ニューラルネットワーク。ここでもっと読んでください。]

はいこのようなものはうまくいくはずです。 つまり、脳内の化合物はどうにかして学習しているのです。そして、おそらく、学習過程におけるつながりを強化するための多くの異なる方法があります。脳はそれらのうちの1つを使います。他の方法があるかもしれません。しかし、あなたは間違いなくトレーニング中にこれらの化合物を強化することができる何かが必要です。それを疑いませんでした。

あなたはそれを疑いませんでした。いつ動いたように感じましたか?

80年代の最大の失望の一つは、多くの隠れ層でネットワークを作った場合、それらを訓練することはできませんでした。あなたが手書きのような比較的単純なプロセスを訓練することができるので、これは完全に本当ではありません。しかし、大多数のディープニューラルネットワークを訓練する方法がわかりませんでした。そして2005年のどこかで、私は観察なしに深いネットワークを訓練する方法を思いつきました。あなたはデータ、例えばピクセルを入力し、そしてなぜピクセルがそのようになったのかを簡単に説明するいくつかのディテールディテクターをトレーニングします。次に、これらの部品検出器にデータを入力して別の部品検出器をトレーニングします。これにより、特定の部品検出器に特定の相関がある理由を説明できます。あなたは層ごとに層を訓練し続ける。しかし最も興味深いのは、数学的に分解して、新しいレイヤーを教えるたびにデータモデルを改善する必要はないことを証明できることです。ただし、モデルの優れた範囲に対処する必要があります。そしてこの範囲は各層が追加されると良くなりました。

あなたのモデルがどれだけ優れているかの範囲であなたはどういう意味ですか?

あなたがモデルを手に入れたら、あなたは尋ねることができます質問:「このモデルがこのデータを見つけるのは、珍しいことですか?」あなたは彼女にデータを見せて、「あなたは意図したとおりにこれを全部見つけたのか、それとも変わったことなのか?」と質問する。そしてこれは測定することができます。そして、私はモデル、つまりデータを見て次のように説明する良いモデルを入手したいと考えていました。私は知っていました。これは当然のことです。」モデルがどれほど変わってデータを見つけるかを正確に計算することは常に非常に困難です。しかし、あなたはこれの範囲を計算することができます。モデルはこのデータをこれより珍しくないと感じるでしょう。また、ディテールディテクタに新しいレイヤが追加されるとモデルが形成され、追加された各レイヤでデータが見つかると、データをどの程度変わっているかを理解できる範囲が広くなっていることがわかります。

結局、2005年頃に実施しましたこの数学のブレークスルーあなたはいつ正しい答えを得始めましたか?どのようなデータを扱いましたか?あなたは、音声データに関する最初のブレークスルーを得ましたね。

これらは手書きの数字です。とても簡単です。 そして、ほぼ同時に、GPU(グラフィックプロセッサ)の開発が始まりました。そして、ニューラルネットワークに関わった人々は2007年にGPUを使い始めました。私は非常に優秀な学生がいて、航空写真で道路を探すためにGPUを使い始めました。彼はそのコードを書きました。それは、その後、音声の音素を認識するためにGPUを使用する他の学生によって採用されました。彼らはこの事前学習の考えを利用しました。そして、事前トレーニングが完了したとき、彼らはただタグを上に置き、そして逆拡散を使いました。これまでにこの方法でトレーニングされた非常に深いネットワークを作成できることがわかりました。それから逆伝播を適用することができ、それは実際にうまくいきました。音声認識では、これは完璧に機能しました。しかし最初は、それほど良くはありませんでした。

市販の音声認識より優れていましたか?音声認識に関する最高の科学的研究を回避しましたか?

TIMITと呼ばれる比較的小さなデータセットでは、最高の学術研究よりわずかに優れていました。 IBMも多くの仕事をしました。

非常に早く、人々はこれをすべて実現しました。それは30年間開発されてきた標準モデルをバイパスします - あなたが少し開発すればそれはうまくいきます。私の卒業生はマイクロソフト、IBM、そしてグーグルに入学し、グーグルはすぐに実用的な音声認識プログラムを作成しました。 2012年までに、2009年に行われたこの作業は、Androidに登場しました。 Androidは突然音声認識を大幅に改善しました。

40年間このアイディアを20年間続けてきたあなたが、突然あなたの同僚を飛び越えた瞬間について教えてください。この気持ちはどうですか?

さて、その時私はたった30年間これらのアイディアを守りました!

そうそう!

これらすべてがようやく現実の問題になってしまったという素晴らしい気持ちがありました。

これを示すデータを最初に受け取ったときのことを覚えていますか?

いいえ

大丈夫です。だから、あなたはそれが音声認識と連携することを理解しています。他の問題にニューラルネットワークを適用し始めたのはいつですか?

最初に私達はあらゆる種類のものにそれらを適用し始めましたその他の問題私たちが最初に音声認識の研究をしていたGeorge Dahlは、それらを適用して、分子が何かと結合して良い薬になることができるかどうかを予測しました。そして競争がありました。彼は単純に私たちの標準的な音声認識技術を使って薬物の活動を予測し、この競争に勝ちました。それは私たちが非常に普遍的なことをしているというサインでした。それから学生が言った、「あなたは知っています、ジェフ、これは画像認識でうまくいくでしょう、そして、Fey-Fey Leeはこれに適したデータセットを作成しました。公共の競争があります。何かをしましょう。

標準のコンピュータビジョンよりはるかに優れた結果が得られました。 2012年でした。

つまり、これら3つの分野で成功したのは、化学薬品のモデリング、音声、音声です。どこで失敗しましたか?

あなたは失敗が一時的であることを理解していますか?

さて、それがすべて機能する領域を設定するのは何ですか?最速、そしてもっと時間が必要な分野?視覚的な処理、音声認識、そして私たちが感覚的な知覚を使って行う基本的な人間的なもののようなものが、克服すべき最初の障壁と考えられているようですね。

他にもありますから私たちが上手くやるのは同じ運動です。私たちは運動能力をコントロールするのが得意です。私たちの脳は間違いなくこれに適応しています。そして今、ニューラルネットワークが他の最良のテクノロジと競合し始めているのです。彼らは最後に勝つでしょう、しかし今、彼らは勝ち始めたばかりです。

私は思考、抽象的思考、私たちが学ぶ最後のことだと思います。私はそれらがこれらのニューラルネットワークがすることを学ぶ最後の事柄のうちの一つになると思う。

それで、あなたはニューラルネットワークが結局どこでも勝つだろうと言い続けます。

さて、私たちはニューラルネットワークです。私たちができることすべて、彼らもできます。

確かに、しかし人間の頭脳は今までに作成された最も効率的なコンピュータからは程遠いです。

そうではありません。

私の人間の脳ではありません。人間の脳よりもはるかに効率的な機械をモデル化する方法はありますか?

哲学の観点からは、私は異議を唱えないそれをすべて行うには、まったく異なる方法がある可能性があるという考えに反して。論理から始めて論理を自動化し、奇妙な定理の証明を思いついて議論した後に、推論によって視覚的知覚を得たと決めたのなら、このアプローチが勝つかもしれません。しかし、まだです。私はそのような勝利に哲学的反対意見はありません。脳がそれを可能にしていることを私たちはただ知っています。

しかし、私たちの脳がうまくできないことがあります。これは、ニューラルネットワークでもうまくできないということですか。

はい、可能です。

また別の問題があります。ニューラルネットワークがどのように機能するのか、よくわかっていないということです。

はい、私たちは本当にそれらがどのように機能するのか理解していません。

ニューラルネットワークがどのように機能するのかわからない下向きのアプローチ。これがニューラルネットワークの働きの主な要素であり、私たちは理解していません。これを説明してから、次の質問をしてみましょう。

現代のシステムを見ればコンピュータビジョン、それらのほとんどは主に前方に向けられています。それらはフィードバック接続を使用しません。そして現代のコンピュータビジョンシステムには、もう1つ競争上のエラーの影響を受けやすいものがあります。あなたはわずかに数ピクセルを変更することができます、そして何がパンダ画像であったとしてもあなたがあなたのためにまだパンダのように正確に見えるのは突然ニューラルネットワークを理解する際のダチョウになるでしょう。明らかに、ピクセルを置き換える方法はニューラルネットワークをだまして彼女にダチョウについて考えることを強いるように設計されています。しかし、事実はあなたにとってそれはまだパンダであるということです。

最初は、すべてうまくいったと思いました。罰金しかし、その後、彼らはパンダを見ていて、それがダチョウであると確信しているという事実に直面して、私たちは心配しています。そして問題の一部は、彼らが高レベルの表現から再構築しようとしていないということです。彼らは詳細検出器の層だけが訓練されているときに孤立して学習しようとしています、そして全体の目的は彼らが正しい答えをよりよく探しになるように重みを変えることです。私たちは最近トロントで発見しました、またはあなたが再建を加えるならば、敵対的な誤りに対する抵抗が増加するであろうということをNick Frostが発見しました。私は人間の視覚に再建のためのビジョンが使われていると思います。そして我々は再構築を行うことによって多くを学ぶので、我々は競争的攻撃に対してはるかに抵抗力がある。

あなたはニューラルネットワークの下向きのコミュニケーションが何かがどのように再構築されるかをチェックすることを可能にすると思います。あなたはそれをチェックし、それがダチョウではなくパンダであることを確かめます。

これは重要だと思います。

しかし、脳を研究する科学者たちは、全く同意しませんか?

脳科学者は、あなたが2人いる場合はそれを主張しない知覚の経路における皮質の領域では、常に逆の関係があります。彼らはそれが何のためにあるのか議論します。それは注意のために、訓練のためにまたは再建のために必要かもしれません。または3つすべてのために。

したがって、フィードバックがどのようなものかはわかりません。 あなたは、ニューラルネットワークを再構築するのに必要であるため、フィードバックを構築します。

はい

それはトリックではないですか?まあ、それはあなたが脳のような何かをやろうとしているが、脳が何をしているのかわからない場合です、ですか?

そうではありません。 計算神経科学はしていません。私は脳のモデルを作成しようとしているのではありません。私は脳を見て、「それはうまくいきます。もし私たちがうまくいく何か他のことをしたいのなら、私たちはそれを見てそれに触発されなければなりません」神経モデルを構築するのではなく、ニューロンに触発されています。したがって、モデル全体、つまり私たちが使用するニューロンは、ニューロンが多くの接続を持ち、それらが重みを変えるという事実に触発されています。

これは面白いです。 私がコンピュータ科学者で、ニューラルネットワークに取り組んでいて、Jeff Hintonを迂回したいのであれば、選択肢の1つはダウンリンク通信を構築し、それを他の脳科学モデルに基づいて構築することです。復興ではなく、訓練に基づく。

もっと良いモデルがあれば、あなたは勝ったでしょう。はい

とても、とても面白いです。 もっと一般的な話題について触れましょう。したがって、ニューラルネットワークはすべての可能性のある問題を解決することができます。ニューラルネットワークをカバーできない、またはカバーしない、人間の脳のパズルはありますか?例えば、感情です。

いいえ

それで、愛はニューラルネットワークによって再構築することができますか?意識を再構築することができますか?

もちろんです。 これらのことが何を意味するのか理解したら。私たちはニューラルネットワークですね。意識は私にとって特に興味深いトピックです。しかし……人々はこの言葉が何を意味するのか本当に知りません。さまざまな定義があります。そしてこれはかなり科学的な用語だと思います。したがって、100年前にあなたが人々に尋ねたならば:人生は何ですか?彼らは答えます。「さて、生物は生命力を持っています、そして彼らが死ぬと生命力は彼らを離れます。これは生きている人と死んでいる人との違いです。今、私たちは活力を持っていません、私たちはこの概念が科学の前に現れたと思います。そして生化学や分子生物学について少し理解し始めるとすぐに、生命力は必要なくなり、それがすべて実際にどのように機能するのかがわかります。そして同じことが、意識によっても起こると思います。意識は実体を使って精神現象を説明しようとする試みだと思います。そしてこの実体、それは必要ではありません。あなたがそれを説明することができるようになるとすぐに、あなたは特定の実体を引き付けることなく、人々が意識的になるようにするすべてをする方法を説明することができます。

それができない感情はないことがわかりました作成しますか?作成するとは思わない?人間の心にできることは何もありません。理論的には、脳がどのように機能するのかを実際に理解してしまえば、完全に機能するニューラルネットワークを再現することは不可能です。

ジョン・レノンは彼の歌の一つに似たようなことを歌いました。

あなたはこれを100%確信していますか?

いいえ、私はベイジアンなので、99.9%確実です。

それでは、この0.01%は何でしょうか。

たとえば、私たち全員が大きなシミュレーションの一部になることができます。

公正です。それでは、私たちはコンピューターの仕事から脳について何を学びますか?

まあ、私たちが学んだことから考える過去10年間、何十億ものパラメータと目的関数を使用してシステムを構築した場合(たとえば、1行に1つのギャップを埋めるためなど)、想定よりもうまく機能することがあります。それはあなたが想像するよりもずっとうまくいくでしょう。あなたは考えるかもしれません、そして、AIに関する伝統的な研究の分野の多くの人々はあなたが10億のパラメータでシステムをとり、ランダムな値でそれを動かし、目的関数の勾配を測定しそしてそれを修正して目的関数を改善できると考えます。あなたは絶望的なアルゴリズムが必然的に動けなくなると思うかもしれません。しかし、いいえ、それは結局のところ、これは本当に良いアルゴリズムです。そして、規模が大きいほど、うまく機能します。そしてこの発見は本質的に経験的なものでした。もちろん、その背後には何らかの理論がありましたが、その発見は経験的なものでした。そして今、私たちがこれを発見したので、脳がある目的関数の勾配を計算し、この勾配についていくためにシナプスの接続の重みと強さを更新することはもっとありそうです。この目的関数が何であり、それがどのように悪化するのかを知る必要があるだけです。

しかし、私たちは脳の例でそれを理解しませんでしたか?更新の重みを理解できませんでしたか?

それは理論でした。 ずっと前に、人々はそれが可能であると思いました。しかし、その背景には常にコンピュータサイエンティストが何人かいました。「はい、すべてがランダムで学習は勾配降下のために起こるという考えは、10億のパラメータではうまくいかないので、多くの知識を結びつける必要があります」。今ではそうではないことがわかりました。あなたは単にランダムなパラメータを入力してすべてを学ぶことができます。

少し飛び込みましょう。 私たちがますます学ぶにつれて、私たちは脳機能についての私たちの考えに基づいてモデルの大規模なテストを行うので、私たちは人間の脳がどのように働くかについてますますもっと学ぶことが期待されています。これをよく理解したらすぐに、本質的に頭脳を再構築して、はるかに効率的なマシンになる瞬間があるでしょうか。

何が起こっているのか本当にわかっていれば、私たちは教育のようないくつかのことを改善することができます。そして私達は改善すると思います。頭の中で何が起こっているのか、それがどのように学んでいるのかを最終的に理解し、よりよく勉強するように適応しないのは非常に奇妙なことです。

あなたはどう考えていますか、数年後に私たちは脳について学んだことや深層学習の仕事について学んだことを、教育を変えるためにどのように使っていますか。クラスをどのように変更しますか?

私は数年以内に私達が多くを学ぶことになるかどうかわからない。 教育の変化にはもっと時間がかかると思います。しかしあなたがそれについて話すならば、[デジタル]ヘルパーはかなり賢くなっています。そして、ヘルパーが会話を理解することができるとき、彼らは子供たちに話しかけて教えることができます。

そして理論的には、私たちが脳をよりよく理解すれば、彼らがすでに学んだことから始めて、彼らが子供たちとよりよく話すことができるように私たちはヘルパーをプログラムすることができるでしょう。

はい、でも私はそれについてあまり考えませんでした。私は別のやり方をします。しかし、それはすべて真実に非常に似ているようです。

私たちは夢がどのように機能するのか理解できますか?

はい、私は夢に非常に興味があります。私は少なくとも4つの異なる夢の理論があることにとても興味があります。

それらについて教えてください - 最初、二番目、三番目、四番目について。

昔、ネットワークというものがありましたHopfield、そして彼らは地元のアトラクタとして記憶を学びました。 Hopfieldは、あなたがあまりにも多くの思い出を入れようとすると、混乱することを発見しました。彼らは2人の地元のアトラクタを連れて行き、それらの中間のどこかで1つのアトラクタにそれらを結合します。

それからフランシスクリークとグラハムミッチソンが来た彼らは、私たちがこれらの誤った安値を学習しないことで取り除くことができると言いました(つまり、学んだことを忘れることになります)。データ入力を無効にし、ニューラルネットワークをランダムな状態に移行し、落ち着けるようにし、悪いと言って、この状態にならないように接続を変更すると、ネットワークにもっと多くのメモリを保存させることができます。

それから我々はテリーSejnovskiと来て、そして言いました: 「記憶を保存するニューロンだけでなく、他のニューロンの束もある場合、これらの他のニューロンすべてを使用して記憶を回復するのに役立つアルゴリズムを見つけることができますか。」その結果、ボルツマン機械学習アルゴリズムを作成しました。そしてボルツマンの機械学習アルゴリズムは非常に興味深い性質を持っていました。私はデータを見せ、彼がとても幸せな状態になるまで残りのユニットを通過し、その後2つのユニットが同時にアクティブになるという事実に基づいてすべての接続の強度を増します。

あなたはまた、あなたが入力をオフにし、アルゴリズムが「振り向く」ことを可能にし、それが満足できる状態に変換されるようにし、それが空想になるとすぐに、「アクティブになっているすべてのニューロンのペアを取り、接続の強度を減らす」と言います。

手続きとしてアルゴリズムを説明します。 しかし、実際には、このアルゴリズムは数学と「すべてのこれらの隠れたユニットを持つこのニューラルネットワークがデータを見つけることができないように、これらの接続の連鎖をどのように変えるべきか?」の産物です。また、ネットワークがデータ入力なしで機能し、学習している場合は、どのような状態にしても、別のフェーズがあります。これをネガティブフェーズと呼びます。

私たちは毎晩何時間も夢を見ます。 そして突然目が覚めたら、夢は短期記憶に保存されているので、あなたはただ夢見ていたと言えます。私たちは何時間も夢を見ていることを知っていますが、目覚めた後の朝には最後の夢しか覚えていません。それでは、なぜ私たちは私たちの夢をまったく覚えていないのですか? Crickによると、これが夢の意味です。あなたは一種の反対を学びます。

Terry Seinowskiと私は、これが実際にはボルツマンマシンにとって最も可能性の高い学習手順であることを示しました。これが夢の最初の理論です。

私はあなたの他の理論に乗り換えたいです。しかし、質問してください:あなたは実際に夢見るためにあなたの深い学習アルゴリズムのどれかを訓練することに成功しましたか?

可能性がある最初のアルゴリズムのいくつか隠れたユニットを扱う方法を学ぶために、ボルツマンマシンがありました。彼らは非常に効果がなかった。しかし後になって、私は近似値を扱う方法を見つけました。それは効果的であることがわかりました。そしてこれは実際に深い学習を伴う仕事の再開を引き起こしました。これらは一度に1層の機能検出器を教えたものでした。そしてそれはボルツマン制限機械の効果的な形でした。そして彼女はこの種の逆訓練を受けていました。しかし、眠りにつく代わりに、彼女はただデータがある各タグの後に少し空想することができました。

まあ、それはアンドロイドが実際にエレクトロショットを夢見ていることを意味します。理論2、3、4に移りましょう。

理論2はウェイクスリープアルゴリズムと名付けられました[wake-up-sleep algorithm]。あなたは生成モデルを訓練する必要があります。そして、データを生成し、特徴検出器のレイヤーを持ち、ピクセルをアクティブにするまでの上位および下位のレイヤーをアクティブにするなど、実際にイメージを作成するモデルを作成するというアイデアがあります。しかし、あなたは彼女にもう一つ教えたいのです。彼女にそのデータを認識させてください。

そして2つのアルゴリズムを使う必要がありますフェーズ。目覚めの段階で、データが入ってきて、彼はそれらを認識しようと試みます、そして、彼が認識のために使うつながりを研究する代わりに、彼は生成的つながりを研究します。データが到着したら、隠しユニットを有効にします。それから私はこのデータを回復するためにこれらの隠れたユニットを教えることを試みます。彼は各層で再構成することを学ぶ。しかし、問題は直接接続をどのように勉強するかということです。したがって、直接接続を知っていれば、逆方向接続を学ぶことができます。再構築方法を学ぶことができるからです。

あなたが使用するなら今それはまたそれが判明しました逆接続では、上から始めて少しのデータを生成するだけなので、直接接続を学ぶことができます。そして、あなたはデータを生成しているので、あなたはすべての隠れ層の状態を知っていて、あなたはこれらの状態を復元するために直接接続を研究することができます。それが起こるのです。ランダムな接続から始めて、両方のフェーズを交互に使用しようとすると、すべてが明らかになります。うまくいくためには、さまざまなオプションを試す必要がありますが、うまくいきます。

さて、他の二つの理論はどうですか?あと8分しか残っていないと思いますが、すべてについて質問する時間はないでしょう。

もう1時間あげてください。あと2つについてお話しましょう。

次に来るものについて話しましょう。あなたの勉強はどこに行きますか?あなたは今どんな問題を解決しようとしていますか?

最後に、何かに取り組まなければなりませんどんな仕事がまだ終わっていない。 「カプセル」と呼ばれる、これまでには終わらないことに取り組むことができると思います。これは、再構成を使って視覚がどのように行われるか、そして情報が適切な場所に送信される方法に関する理論です。 2つの主な動機づけ要因は、標準的なニューラルネットワークでは、情報、レイヤー内のアクティビティは自動的にどこかに移動するだけであり、あなたはそれをどこに送信するかについて決定を下さないということです。カプセルのアイデアは、どこに情報を送るべきかについて決定することでした。

さて、私がカプセルの開発を始めたとき、Googleの非常に頭の良い人が同じことをするトランスを発明しました。彼らはどこに情報を送るべきかを決めます、そしてこれは大きな勝利です。

来年は3番と4番の夢の理論について話します。

見逃せないようにTelegramのチャットに登録してください。

この記事はMaria Menshikovaによるイラストを使用しています。

EU向けのFacebook通知! FBコメントを表示および投稿するには、ログインする必要があります。