あなたはろう者が自分の表現を表現するのを手伝ってもらえますか考えて、自動的に彼らが示す手でジェスチャーを言葉に翻訳しますか？この質問は、エカテリンブルクライセアムのロシア人小学校1年生のDaniil Kazantsevに尋ねられました。この問題を理解する決心により、Danielは若い科学コンテストGoogle Science Fair 2019のカテゴリーの1つで勝利を収めました。
GoogleコンテストのウェブサイトKazantsevに示されているとおりコンテストの他の何千もの参加者の中から選ばれ、世界の14カ国から24のファイナリストの一人になりました。その結果、彼は手話通訳者を開発したことに対してLego Education Builder賞を受賞しました。
競争のすべてのファイナリスト。ダニエルは左側です。
筋電図とは何ですか？
ロシアの若い天才の発展の基礎は手や指の位置の変化を考慮に入れて、筋肉の電気機械的活動を決定する筋電図検査技術。この場合、手足を動かすたびに小さな電気信号が生成され、それを読み取ってコンピューターで読み取り可能なコマンドに変換できます。特に、この技術は人工補綴物の制御に使用されています。
参照：ダムな人々はどうやって彼らの無言を取り戻すことができますか？
しかし、ロシアの学童は筋電図の技術をベースにした、筋の電気信号を単語に変換するシステムを開発しました。
青と白の十字は、筋肉の電気的インパルスを読み取る電極の位置を示します。
手話通訳者のしくみ
装置は着用される袖口から成っています。前腕に。カフには24個の電極があり、それぞれが前腕の筋肉から特定の電気信号を読み取ります。さらに、それは空間における前腕の位置を検出する特別なセンサーを使用します。これらすべての信号に基づいて、空間内のブラシの各別々の部分の位置の固有の「刻印」が形成される。
収集されたすべてのシグナルは増幅され、フィルタリングされます。過剰な電磁ノイズから発生し、その後ワイヤで外部のマイクロコンピュータに送信されます。このマイクロコンピューターはセンサーと電極からの信号をデジタル化し、その後特別に訓練されたニューラルネットワークを備えた強力な計算サーバーにそれらを転送します。各言語ジェスチャに関与する電気信号に関するデータの解釈（単語への翻訳）が行われるのは、ニューラルネットワークの助けを借りてである。
ジェスチャー翻訳者はどのようにチェックしましたか
ダニエルは自分自身と他の2人のボランティアでシステムをチェックすることに費やしました。彼は5つのジェスチャーと翻訳の基礎として人気のある手話のASL（American Sign Language）を使用しました。
こんにちははい（はい）いいえ。してください。私はあなたを愛しています（私はあなたを愛しています）
システムの有効性をテストするために、各ジェスチャ認識に10回試行しました。開発の著者によると、システムは認識で92.6パーセントの精度を示すことができました。
この表には、実験の参加者、システムによって認識されるために必要なジェスチャの名前、および正しい認識の数が表示されます。
ビデオ検証技術は以下の通りです：
ダニエル氏は、自律的に取り組んでいきますシグナルインタプリタターンキーソリューションとしてまだ使用できない点がいくつかあります。たとえば、現在、システムは個々のジェスチャのみを翻訳できます。しかし、彼女はまだ彼女が受け取った言葉から文を形成することはできません。このように、今のシステムは手話通訳の完全な代替品として使用することはできません。この問題の解決策は、若い科学者の将来の課題の1つになるでしょう。
こちらもご覧ください：このニューラルネットワークは50年後にどのように見えるかを知っています。彼女はどのように働いていますか？
また、電子手話には言語ジェスチャーの信号を認識し、それらを単語に変換するニューラルネットワークを備えた強力なコンピューティングサーバーへの常時アクセス。しかしながら、著者は、モバイルインターネット上のデータ伝送の現代の速度がサーバーへの絶え間ないアクセスを提供することを可能にし、それによってこの欠点を部分的に補償することを注意している。著者はまた、電極の位置の面積を７センチメートルに減らすことによって装置をよりコンパクトにする可能性を検討している。
一般的には、そのような場合には技術、それは任意の手話辞書で使用することができます。この場合、ユーザはそのようなシステムを使用する可能性について特別な訓練を必要としないであろう。
Daniel Kazantsevの開発に関するさらなる情報は彼のプロジェクトページにあります。
科学技術のニュースに興味があるなら、Yandexのチャンネルを購読してください。そこには、サイトに掲載されていない独占的な資料があります。
