多種多様な障害者にどのように対応するのか？

5年の歳月をかけて、各種距離カメラを利用して、表1に示すように対象となる運動機能障害者計55名、総計211部位のジェスチャデータの収集を行いました。全ての障害者に対応することは不可能ですが、より多くの人に対応するため、実際のユーザがインタフェースとして望むジェスチャを収集しました。そして、部位別を基本に、手（3部位）、頭部（3部位）、足（3部位）、肩、未分類に分類しています。これは、可能な限り少ない認識エンジンで、多くの人に対応するためです。

　　表1．収集されたジェスチャとその分類（2019年度末）

頭部

頭部全体の動き

34

口（口の開閉、舌の出し入れ）

37

目（流し目、ウィンク、目の見開き)

32

手・腕

指の折り曲げ

27

手の動き

19

上腕の動き

23

肩

肩の上下、肩の前後

14

脚部

膝の開閉

7

足踏み

1

足先の動き

5

上記以外

-

27

合計

部位総数

226

総被験者数

58

マルチジェスチャ認識エンジン

表1の収集したジェスチャに基づき、これらを認識する9種の認識エンジンの基礎的な開発を行っています。データ収集をする障害者数に関しては、まだ充分とは言えませんが、本研究PJを開始した時点から、50～60名程度の実際のデータを集めことを目標としていました。これらを詳細に観察、分類しながら、表2に示すような複数の認識エンジンを開発しました。

　　　　　　表2．マルチジェスチャ認識モジュール一覧

部位	ジェスチャ	モジュール名
手・腕	指の折り曲げ	Finger
	手・上腕の振り	Front object
	指・手の微細な動き	Slight movement
頭部	頭部の左右・上下の動き	Head
	大きなウィンク	Wink
	口・舌	Tongue
肩	肩の上下・前後	Shoulder
脚部	脚の開閉	Knee
	足踏み	Foot
	足先の動き	Foot object Slight movement
部位依存	カメラ最近接部位の動き	Front object
なし	指定領域の微細な動き	Slight movement

ジェスチャミュージック

ユーザは自分に適合する認識エンジンを選び、一番最初に音楽ゲームをすることで、個人の部位の適合や、動かし方の適合をシステムが行います。そうすることで、システム側が、個人の動きを学習します。今までのキーボードやマウスは、個人がその使い方（空間的な動かし方）を覚えましたが、ジェスチャインタフェースは、システムがユーザの動きを覚えることができるのが特徴です。