多種多様な障害者にどのように対応するのか?
5年の歳月をかけて、各種距離カメラを利用して、表1に示すように対象となる運動機能障害者計55名、総計211部位のジェスチャデータの収集を行いました。全ての障害者に対応することは不可能ですが、より多くの人に対応するため、実際のユーザがインタフェースとして望むジェスチャを収集しました。そして、部位別を基本に、手(3部位)、頭部(3部位)、足(3部位)、肩、未分類に分類しています。これは、可能な限り少ない認識エンジンで、多くの人に対応するためです。表1.収集されたジェスチャとその分類(2019年度末)
頭部 | 頭部全体の動き | 34 |
口(口の開閉、舌の出し入れ) | 37 | |
目(流し目、ウィンク、目の見開き) | 32 | |
手・腕 | 指の折り曲げ | 27 |
手の動き | 19 | |
上腕の動き | 23 | |
肩 | 肩の上下、肩の前後 | 14 |
脚部 | 膝の開閉 | 7 |
足踏み | 1 | |
足先の動き | 5 | |
上記以外 | - | 27 |
合計 | 部位総数 | 226 |
総被験者数 | 58 |

マルチジェスチャ認識エンジン
表1の収集したジェスチャに基づき、これらを認識する9種の認識エンジンの基礎的な開発を行っています。データ収集をする障害者数に関しては、まだ充分とは言えませんが、本研究PJを開始した時点から、50~60名程度の実際のデータを集めことを目標としていました。これらを詳細に観察、分類しながら、表2に示すような複数の認識エンジンを開発しました。表2.マルチジェスチャ認識モジュール一覧
部位 | ジェスチャ | モジュール名 |
手・腕 | 指の折り曲げ | Finger |
手・上腕の振り | Front object | |
指・手の微細な動き | Slight movement | |
頭部 | 頭部の左右・上下の動き | Head |
大きなウィンク | Wink | |
口・舌 | Tongue | |
肩 | 肩の上下・前後 | Shoulder |
脚部 | 脚の開閉 | Knee | 足踏み | Foot | 足先の動き | Foot object Slight movement |
部位依存 | カメラ最近接部位の動き | Front object |
なし | 指定領域の微細な動き | Slight movement |

ジェスチャミュージック
ユーザは自分に適合する認識エンジンを選び、一番最初に音楽ゲームをすることで、個人の部位の適合や、動かし方の適合をシステムが行います。そうすることで、システム側が、個人の動きを学習します。今までのキーボードやマウスは、個人がその使い方(空間的な動かし方)を覚えましたが、ジェスチャインタフェースは、システムがユーザの動きを覚えることができるのが特徴です。