テクノロジー

Netflixの従業員が、映画の中でキスを探すためのニューラルネットワークを作成しました。

コンピュータビジョンはほぼ完璧です。静止画像内のオブジェクトを認識し、現時点では問題は主にビデオでのみ発生します。それにもかかわらず、開発者はビデオ上の様々な行動を認識するためのニューラルネットワークを作り続けています、そして最後で最も興味深いプロジェクトの1つはNetflixの従業員Amir Ziyahの仕事です。ハリウッド映画100本を基にして、彼は過度に露骨な場面を避けながら、キスで場面を認識するようにニューラルネットワークを訓練しました。

ニューラルネットワークはキスを認識し、焦点を合わせます俳優の唇の動きとタッチの音に。ニューラルネットワークに彼女が何に注意を払うべきかを示すために、Amir Ziayは個人的に何百ものハリウッド映画のサンプルでキスでシーンをマークしました。彼が処理した映画の中には、Anna Karenina(1935)、Ghost(1990)、そしてCasino Royal(2006)がありました。ニューラルネットワークが80番目の映画の後に「賢くなる」のをやめたので、開発者は教育映画の基盤を拡大しませんでした。結局、Amirはキスがある263シーンとキスがない363シーンを選び出しました。

ニューラルネットワークはキスを認識することを学びました。

作成されたキス認識システムは次のとおりです。二部に分かれています。 1つ目は1秒のビデオフラグメントを分析し、バイナリ分類器と呼ばれます - それは視覚データを分析するための畳み込みResNetニューラルネットワークとオーディオを研究するためのVGGニューラルネットワークを含みます。システムの2番目の部分であるセグメンタは、キスを持つフラグメントを選択し、それらが繰り返されないようにそれらを配布します。

ビデオクリップを受け取った後、システムはそれを調べます。キスとシーンの存在と通路の形でそれらを与えます。テストの結果、ニューラルネットワークは95%の精度で機能することがわかりました。しかしながら、広大な風景を背景にしてキスが発生したり、キスが速すぎたりするようなシーンでは、システムがミスを犯すことが多いことがわかっています。

なぜ我々はそのようなニューラルネットワークが必要なのでしょうか?

Amir ZiayはNetflixの従業員ですが、彼はニューラルネットワークを作成したサービスとは関係ありません。そして無駄 - キスの認識機能は、Facebook、Instagram、TikTokと同様にストリーミングサービスにおいても非常に便利です。少なくとも、アルゴリズムを少し変更することで、不必要に明示的なシーンをソートするためのシステムを作成できます。また、このようなシステムでは、テーマ別フォルダでビデオを自動的に並べ替えることができます。

ニューラルネットワークに関しては、それを読むことをお勧めします。静的な肖像画を復活させる機会。サムスン人工知能センターの専門家の仕事のおかげで、ドストエフスキー、モナリザ、アルバートアインシュタインの肖像画は文字通り生き生きとしています - あなたは私たちの資料でそれらを見ることができます。

これについて、そして科学技術の他のトピックについて議論するために、それは私達の電信チャットで可能です。興味深い対話者に加えて、あなたは私たちのサイトから新鮮な素材の発表を見つけるでしょう!