Gesture Interface ジェスチャインタフェース

多種多様な障害者にどのように対応するのか?

5年の歳月をかけて、各種距離カメラを利用して、表1に示すように対象となる運動機能障害者計55名、総計211部位のジェスチャデータの収集を行いました。全ての障害者に対応することは不可能ですが、より多くの人に対応するため、実際のユーザがインタフェースとして望むジェスチャを収集しました。そして、部位別を基本に、手(3部位)、頭部(3部位)、足(3部位)、肩、未分類に分類しています。これは、可能な限り少ない認識エンジンで、多くの人に対応するためです。

  表1.収集されたジェスチャとその分類(2019年度末)
頭部  頭部全体の動き 34
 口(口の開閉、舌の出し入れ) 37
 目(流し目、ウィンク、目の見開き) 32
 手・腕  指の折り曲げ 27
 手の動き 19
 上腕の動き 23
 肩の上下、肩の前後 14
 脚部  膝の開閉 7
 足踏み 1
 足先の動き 5
上記以外  - 27
 合計  部位総数 226
 総被験者数 58

マルチジェスチャ認識エンジン

表1の収集したジェスチャに基づき、これらを認識する9種の認識エンジンの基礎的な開発を行っています。データ収集をする障害者数に関しては、まだ充分とは言えませんが、本研究PJを開始した時点から、50~60名程度の実際のデータを集めことを目標としていました。これらを詳細に観察、分類しながら、表2に示すような複数の認識エンジンを開発しました。

      表2.マルチジェスチャ認識モジュール一覧
  部位 ジェスチャ モジュール名
手・腕 指の折り曲げ Finger
手・上腕の振り Front object
指・手の微細な動き Slight movement
頭部 頭部の左右・上下の動き Head
大きなウィンク Wink
口・舌 Tongue
肩の上下・前後 Shoulder
脚部 脚の開閉 Knee
足踏み Foot
足先の動き Foot object
Slight movement
部位依存 カメラ最近接部位の動き Front object
なし 指定領域の微細な動き Slight movement

ジェスチャミュージック

ユーザは自分に適合する認識エンジンを選び、一番最初に音楽ゲームをすることで、個人の部位の適合や、動かし方の適合をシステムが行います。そうすることで、システム側が、個人の動きを学習します。今までのキーボードやマウスは、個人がその使い方(空間的な動かし方)を覚えましたが、ジェスチャインタフェースは、システムがユーザの動きを覚えることができるのが特徴です。