Gesture Interface ジェスチャインタフェース

AAGIで出来ること

AAGIでは、具体的に以下のような使用用途があります。

・PCの直接操作

・1つのジェスチャをキーやマウスのクリックに1対1に対応させて利用

・Alt,Shift,Ctrl+キーや、左クリック+キーなどの組合せが可能

・上記キー組合せの連続送付が可能(各種ショートカットキーへ対応)

・これらをアプリ毎に異なる設定ができ、アプリが切り替わる度にその設定が自動切替

・トラックボールやスイッチインタフェースなどの各種既存デバイスとの併用が可能

・走査型キーボード/マウス経由のPC操作

・Windownsに搭載されているオンスクリーンキーボード(OSK)、オペナビ、Hearty Ladder

・パットdeマウス(1Ch操作)

・家電操作

Gesture Link(本システムと並行して開発している独自ソフト)の利用

Nature Remo(市販学習リモコン)経由で赤外線リモコン機器を操作

・その他にも、赤外線リモコンを持つ機器であれば基本的に登録が可能

・ゲーム操作

PCゲーム(Steamやオンラインゲームなど)やNintendo SwitchSONY PlayStationMicrosoft Xboxなどの専用機を操作可能

・PCゲームはそのまま利用可能

・専用機はインタフェース(Titan One)を使用することで利用可能、Nintendo Switch Proコントローラーとの併用も可能

Flex Controller(テクノツール)を利用して既存デバイスとの併用も可能



多種多様な障害者にどのように対応するのか?

5年の歳月をかけて、各種距離カメラを利用して、表1に示すように対象となる運動機能障害者計55名、総計211部位のジェスチャデータの収集を行いました。全ての障害者に対応することは不可能ですが、より多くの人に対応するため、実際のユーザがインタフェースとして望むジェスチャを収集しました。そして、部位別を基本に、手(3部位)、頭部(3部位)、足(3部位)、肩、未分類に分類しています。これは、可能な限り少ない認識エンジンで、多くの人に対応するためです。

表1.収集されたジェスチャとその分類(2020年度末)
頭部  頭部全体の動き 401
 口(口の開閉、舌の出し入れ) 190
 目(流し目、ウィンク、目の見開き) 252
 手・腕  指の折り曲げ 299
 手の動き 80
 上腕の動き 172
 肩の上下、肩の前後 121
 脚部  膝の開閉 5
 足踏み 59
 足先の動き 5
上記以外  - 161
 合計  部位総数 1745
 総被験者数 81

マルチジェスチャ認識エンジン

表1の収集したジェスチャに基づき、これらを認識する9種の認識エンジンの基礎的な開発を行っています。データ収集をする障害者数に関しては、まだ充分とは言えませんが、本研究PJを開始した時点から、50~60名程度の実際のデータを集めことを目標としていました。これらを詳細に観察、分類しながら、表2に示すような複数の認識エンジンを開発しました。

表2.マルチジェスチャ認識モジュール一覧
  部位 ジェスチャ モジュール名
手・腕 指の折り曲げ Finger
手・上腕の振り Front object
指・手の微細な動き Slight movement
頭部 頭部の左右・上下の動き Head
大きなウィンク Wink
口・舌 Tongue
肩の上下・前後 Shoulder
脚部 脚の開閉 Knee
カメラ最近接部位の動き Front object
指定領域の微細な動き Slight movement

ジェスチャミュージック

ユーザは自分に適合する認識エンジンを選び、一番最初に音楽ゲームをすることで、個人の部位の適合や、動かし方の適合をシステムが行います。そうすることで、システム側が、個人の動きを学習します。今までのキーボードやマウスは、個人がその使い方(空間的な動かし方)を覚えましたが、ジェスチャインタフェースは、システムがユーザの動きを覚えることができるのが特徴です。