AAGIで出来ること

AAGIでは、具体的に以下のような使用用途があります。

・PCの直接操作

・1つのジェスチャをキーやマウスのクリックに1対1に対応させて利用

・Alt,Shift,Ctrl+キーや、左クリック+キーなどの組合せが可能

・上記キー組合せの連続送付が可能（各種ショートカットキーへ対応）

・これらをアプリ毎に異なる設定ができ、アプリが切り替わる度にその設定が自動切替

・トラックボールやスイッチインタフェースなどの各種既存デバイスとの併用が可能

・走査型キーボード/マウス経由のPC操作

・Windownsに搭載されているオンスクリーンキーボード（OSK）、オペナビ、Hearty Ladder

・パットdeマウス（1Ch操作）

・家電操作

・Gesture Link（本システムと並行して開発している独自ソフト）の利用

・Nature Remo（市販学習リモコン）経由で赤外線リモコン機器を操作

・その他にも、赤外線リモコンを持つ機器であれば基本的に登録が可能

・ゲーム操作

・PCゲーム（Steamやオンラインゲームなど）やNintendo Switch、SONY PlayStation、Microsoft Xboxなどの専用機を操作可能

・PCゲームはそのまま利用可能

・専用機はインタフェース（Titan One）を使用することで利用可能、Nintendo Switch Proコントローラーとの併用も可能

・Flex Controller（テクノツール）を利用して既存デバイスとの併用も可能

多種多様な障害者にどのように対応するのか？

5年の歳月をかけて、各種距離カメラを利用して、表1に示すように対象となる運動機能障害者計55名、総計211部位のジェスチャデータの収集を行いました。全ての障害者に対応することは不可能ですが、より多くの人に対応するため、実際のユーザがインタフェースとして望むジェスチャを収集しました。そして、部位別を基本に、手（3部位）、頭部（3部位）、足（3部位）、肩、未分類に分類しています。これは、可能な限り少ない認識エンジンで、多くの人に対応するためです。

表1．収集されたジェスチャとその分類（2020年度末）

頭部	頭部全体の動き	401
	口（口の開閉、舌の出し入れ）	190
	目（流し目、ウィンク、目の見開き)	252
手・腕	指の折り曲げ	299
	手の動き	80
	上腕の動き	172
肩	肩の上下、肩の前後	121
脚部	膝の開閉	5
	足踏み	59
	足先の動き	5
上記以外	-	161
合計	部位総数	1745
合計	総被験者数	81

マルチジェスチャ認識エンジン

表1の収集したジェスチャに基づき、これらを認識する9種の認識エンジンの基礎的な開発を行っています。データ収集をする障害者数に関しては、まだ充分とは言えませんが、本研究PJを開始した時点から、50～60名程度の実際のデータを集めことを目標としていました。これらを詳細に観察、分類しながら、表2に示すような複数の認識エンジンを開発しました。

表2．マルチジェスチャ認識モジュール一覧

部位	ジェスチャ	モジュール名
手・腕	指の折り曲げ	Finger
	手・上腕の振り	Front object
	指・手の微細な動き	Slight movement
頭部	頭部の左右・上下の動き	Head
	大きなウィンク	Wink
	口・舌	Tongue
肩	肩の上下・前後	Shoulder
脚部	脚の開閉	Knee
	カメラ最近接部位の動き	Front object
	指定領域の微細な動き	Slight movement

ジェスチャミュージック

ユーザは自分に適合する認識エンジンを選び、一番最初に音楽ゲームをすることで、個人の部位の適合や、動かし方の適合をシステムが行います。そうすることで、システム側が、個人の動きを学習します。今までのキーボードやマウスは、個人がその使い方（空間的な動かし方）を覚えましたが、ジェスチャインタフェースは、システムがユーザの動きを覚えることができるのが特徴です。