AAGIで出来ること
AAGIでは、具体的に以下のような使用用途があります。・PCの直接操作
・1つのジェスチャをキーやマウスのクリックに1対1に対応させて利用
・Alt,Shift,Ctrl+キーや、左クリック+キーなどの組合せが可能
・上記キー組合せの連続送付が可能(各種ショートカットキーへ対応)
・これらをアプリ毎に異なる設定ができ、アプリが切り替わる度にその設定が自動切替
・トラックボールやスイッチインタフェースなどの各種既存デバイスとの併用が可能
・走査型キーボード/マウス経由のPC操作
・Windownsに搭載されているオンスクリーンキーボード(OSK)、オペナビ、Hearty Ladder
・パットdeマウス(1Ch操作)
・家電操作
・Gesture Link(本システムと並行して開発している独自ソフト)の利用
・Nature Remo(市販学習リモコン)経由で赤外線リモコン機器を操作
・その他にも、赤外線リモコンを持つ機器であれば基本的に登録が可能
・ゲーム操作
・PCゲーム(Steamやオンラインゲームなど)やNintendo Switch、SONY PlayStation、Microsoft Xboxなどの専用機を操作可能
・PCゲームはそのまま利用可能
・専用機はインタフェース(Titan One)を使用することで利用可能、Nintendo Switch Proコントローラーとの併用も可能
・Flex Controller(テクノツール)を利用して既存デバイスとの併用も可能
多種多様な障害者にどのように対応するのか?
5年の歳月をかけて、各種距離カメラを利用して、表1に示すように対象となる運動機能障害者計55名、総計211部位のジェスチャデータの収集を行いました。全ての障害者に対応することは不可能ですが、より多くの人に対応するため、実際のユーザがインタフェースとして望むジェスチャを収集しました。そして、部位別を基本に、手(3部位)、頭部(3部位)、足(3部位)、肩、未分類に分類しています。これは、可能な限り少ない認識エンジンで、多くの人に対応するためです。表1.収集されたジェスチャとその分類(2020年度末)
頭部 | 頭部全体の動き | 401 |
口(口の開閉、舌の出し入れ) | 190 | |
目(流し目、ウィンク、目の見開き) | 252 | |
手・腕 | 指の折り曲げ | 299 |
手の動き | 80 | |
上腕の動き | 172 | |
肩 | 肩の上下、肩の前後 | 121 |
脚部 | 膝の開閉 | 5 |
足踏み | 59 | |
足先の動き | 5 | |
上記以外 | - | 161 |
合計 | 部位総数 | 1745 |
総被験者数 | 81 |
マルチジェスチャ認識エンジン
表1の収集したジェスチャに基づき、これらを認識する9種の認識エンジンの基礎的な開発を行っています。データ収集をする障害者数に関しては、まだ充分とは言えませんが、本研究PJを開始した時点から、50~60名程度の実際のデータを集めことを目標としていました。これらを詳細に観察、分類しながら、表2に示すような複数の認識エンジンを開発しました。表2.マルチジェスチャ認識モジュール一覧
部位 | ジェスチャ | モジュール名 |
手・腕 | 指の折り曲げ | Finger |
手・上腕の振り | Front object | |
指・手の微細な動き | Slight movement | |
頭部 | 頭部の左右・上下の動き | Head |
大きなウィンク | Wink | |
口・舌 | Tongue | |
肩 | 肩の上下・前後 | Shoulder |
脚部 | 脚の開閉 | Knee |
カメラ最近接部位の動き | Front object | |
指定領域の微細な動き | Slight movement |