AAGIで出来ること

AAGIでは、具体的に以下のような使用用途があります。

・PCの直接操作

・1つのジェスチャをキーやマウス・クリックなどへ1対1対応

・アプリ毎に設定可能・自動切替

・Tobii Eye Tracker、トラックボール、各種スイッチなど、既存デバイスとの併用可

・1つのジェスチャに複数キーの同時押しや順次送りなどショートカットキーを割り当てることも可能

・走査型キーボード/マウス経由のPC操作

・Windows オンスクリーンキーボード（OSK）、オペナビ、Hearty Ladder

・パッドdeマウス（1Ch操作）

・ゲームの操作

・PCゲーム（Steamやオンラインゲームなど）やNintendo Switch、SONY PlayStation、Microsoft Xboxなどの専用機を操作可能

・PCゲームはそのまま利用可能

・専用機はインタフェース（ATOM S3）を使用することで利用可能、Nintendo Switch Proコントローラーとの併用も可能

・Flex Controller、Xbox Adaptive Controllerを利用して既存デバイスとの併用も可能

・家電の操作

・家電操作のための独自ソフトGesture Linkを開発

・SwitchBot、Nature Remo経由で赤外線リモコン機器を操作可能

・赤外線リモコンを持つ機器であれば基本的に登録が可能

多種多様な障害者にどのように対応するのか？

7年の歳月をかけて、各種距離カメラを利用して、表1に示すように対象となる運動機能障害者計81名、総計1745部位のジェスチャデータの収集を行いました。全ての障害者に対応することは不可能ですが、より多くの人に対応するため、実際のユーザがインタフェースとして望むジェスチャを収集しました。そして、部位別を基本に、手（3部位）、頭部（3部位）、足（3部位）、肩、未分類に分類しています。これは、可能な限り少ない認識エンジンで、多くの人に対応するためです。

表1．収集されたジェスチャとその分類（2020年度末）

手・腕	指の折り曲げ	299
	手の動き	80
	上腕の動き	172
頭部	頭部全体の動き	401
	口（口の開閉、舌の出し入れ）	190
	目（流し目、ウィンク、目の見開き)	252
肩	肩の上下、肩の前後	121
脚部	膝の開閉	5
	足踏み	59
	足先の動き	5
上記以外	-	161
合計	部位総数	1745
合計	総被験者数	81

マルチジェスチャ認識エンジン

表1の収集したジェスチャに基づき、これらを認識する9種の認識エンジンの基礎的な開発を行っています。データ収集をする障害者数に関しては、まだ充分とは言えませんが、本研究プロジェクトを開始した時点から、50～60名程度の実際のデータを集めることを目標としていました。これらを詳細に観察、分類しながら、表2に示すような複数の認識エンジンを開発しました。
各モジュールは、それぞれ異なりますが最大4チャンネル分をPCへ入力することができます。例えば肩の動きを認識するShoulderモジュールは、右肩と左肩のジェスチャをそれぞれ認識することができるので最大2チャンネルのモジュールです。1つのチャンネルにキーの押下やマウスのクリックなど1つの操作を割り当てることができます。

表2．ジェスチャ部位と認識モジュールの対応一覧

部位	ジェスチャ	モジュール名
手・腕	指の折り曲げ	Finger
手・腕	手・上腕の振り	Front object
頭部	頭部の左右・上下の動き	Head
	両目を大きくつむる動き	Wink
	口の開閉、舌の出し入れなどの口周りの動き	Tongue
肩	肩の上下・前後の動き	Shoulder
脚部	足踏み	Foot
	膝の開閉	Knee
	カメラ最近接部位の動き	Front object
全体	指定領域の微細な動き	Slight movement

ジェスチャミュージック

ユーザは自分に適合する認識エンジンを選び、使用する認識エンジンによっては、一番最初に「GestureMusic」という音楽ゲームを行います。その中で、個人の部位の適合や、動かし方の適合をシステムが行います。そうすることで、システム側が、個人の動きを学習します。
今までのキーボードやマウスは、個人がその使い方（空間的な動かし方）を覚えましたが、ジェスチャインタフェースは、システムがユーザの動きを覚えることができるのが特徴です。