プロジェクト紹介 Project

重度運動機能障害者のためのジェスチャインタフェースの研究開発

メッセージ

本研究は2004～2006年度に産業技術総合研究所と国立身体障害者リハビリテーションセンター 研究所（当時）の共同研究によって行われた｢障害者の安全で快適な生活の支援技術の開発｣に端を発します。当時はプロジェクトの一部として、電動車いすが操作できない脳性マヒの方を対象に、頭部動作によって屋内外の自立走行を可能にするジェスチャインタフェースというオーファンプロダクトの研究開発が行われました。 当時のプロジェクト終了から10年の歳月が流れ、特に距離カメラとパソコンの価格低下と性能アップが劇的に進み、本当の実用化が目の前に来ています！

研究開発の目標とアプローチ方法

一般のインタフェースを利用することが困難な重度運動機能障害者を対象に、市販の距離カメラを用いることで、安価な非接触非拘束のスイッチインタフェースを障害者に提供することを目的に研究開発を実施しています。パソコンを含む基本システムが10万円未満で実現することで、誰でも本当に使えるものを提供することが目標です。 また、様々な障害者に対して出来るだけ広く対応することを目的に、実際の重度運動機能障害者の多種多様な動きを収集し､随意運動が可能な対象部位を基に類型化を行いながら､基礎となる認識エンジンを開発しています。さらに、複数のジェスチャを同時に認識可能にする仕組みにも大きな特徴があります。

研究体制

  • 国立研究開発法人産業技術総合研究所
 
  • 国立障害者リハビリテーションセンター 研究所
 
  • 国立研究開発法人国立精神・神経医療研究センター病院

Hot news !

  • 2024年6月4日
 

AAGIの新バージョンの配布を開始しました。外部出力機能を大幅に強化しました。更に、『Slight』モジュールをUVCカメラに対応させました。

沿革

  • 令和5~10年度 戦略的イノベーション創造プログラム（ＳＩＰ） 第3期課題「ポストコロナ時代の学び方・働き方を実現するプラットフォームの構築」
「重度障害者のインタフェース革新による地域教育就労モデルの構築」

研究代表者・依田（産総研）、分担者・西田（NCNP)、水野（東海大）、川島（京産大）

概要： ＪＳＴの戦略的イノベーション創造プログラム（ＳＩＰ）第３期課題「ポストコロナ時代の学び方・働き方を実現するプラットフォームの構築」の研究開発に採択されました。 戦略的イノベーション創造プログラム（ＳＩＰ）は、総合科学技術・イノベーション会議（ＣＳＴＩ）が、社会的に不可欠でかつ日本の経済・産業競争力にとって重要な課題を特定し、課題ごとにＰＤ（プログラムディレクター）を選定し、基礎研究から出口（実用化・事業化）までを見据え、さらに規制・制度改革や特区制度のほか、知財の活用も視野に推進していく府省・分野の枠を超えた横断型のプログラムです。今回、ＳＩＰ第３期課題「ポストコロナ時代の学び方・働き方を実現するプラットフォームの構築」のサブ課題Ｂ「新たな『学び』」と働き方との接続を中心に活動します。各種情報機器（PCや家電など）の通常操作が困難な重度運動機能障害者のために開発したジェスチャインタフェースという技術革新を全国に展開することで、障害者と健常者が共に学び合い、助け合うフラットな社会を実現する事が目標です。
 
  • 令和2～5年度 JST/RISTEX 戦略的創造研究推進事業（社会技術研究開発）
「SDGsの達成に向けた共創的研究開発プログラム」【ソリューション創出フェーズ】 「ジェスチャインタフェースを活用した運動機能障害者のための就労・教育支援モデルの 構築 および 人材育成」

研究代表者・依田（産総研）、協働実施者・水野（神経センター）

概要： 安価な市販品である距離カメラを利用して障害者のジェスチャを認識し非接触非拘束でICT機器の操作に結びつける「ジェスチャインタフェース技術」を活用することにより、障害者支援のリソースの不足を補いつつ運動機能障害者がICT機器を操作する困難を低減する。支援の担い手である当事者団体、作業療法士会、地域病院、就労支援企業、支援学校、地域 NPOなどとの連携・協力により、ジェスチャインタフェース技術の地域実証や効果測定を実施することで、患者および支援者がその価値や有効性を確認しながら、利用者の特性に応じたユーザビリティーなど の機能改良を進めます。また、支援者の教育マニュアル作成や地域支援体制の構築を含めた一連の研究開発を実施する。これらにより、運動機能障害者の就労機会や教育の質の向上の包括的な実現に向 けた地域支援モデルを構築します。
 
  • 令和2～4年度 立石財団 研究助成S 「人間と機械の融和」
「ジェスチャインタフェースの基盤技術の高度化と臨床評価に関する研究開発」

代表・依田（産総研）、分担者・水野（神経センター）

概要： 各種情報機器（パソコンや家電等）の通常操作が困難な重度運動機能障がい者をファーストターゲットとし、市販の3Dカメラを一般のパソコンに接続し、開発ソフトウェアをインストールすることで、残存する随意性のある身体部位の動きをスイッチとして、情報機器と障がい者の融和を促進するジェスチャインタフェースの研究開発を行います。この人間機能拡張、情報機能拡張の研究により、障がい者の社会参加の増進が想定される。障害者自身や家族らと協調しながら社会実装を進め、ジェスチャインタフェースを本当に必要とするユーザを対象に研究開発を行うことで、最終的には高齢者・健常者にまで利用可能な次世代インタフェース技術の研究を行います。
 
  • 令和元年～3年度 AMED
「各種認識技術を応用した重度運動機能障害者向けＩＣＴ機器操作環境の構築に関する研究」

代表・伊藤（国リハ研）、分担者・依田（産総研）

概要： （1）様々な重度の運動機能障害者の動作データを収集するとともに、認識エンジンの評価をフィードバックすることで認識エンジンのブラッシュアップを行います。 （２）ユーザの利用ニーズであるパソコン操作におけるキー入力やマウス操作、各種家電機器のリモコン操作等のインタフェース箇所の選定を行い、認識システムから各種機器への具体的なインタフェース開発を行います。 （３）収集された動作データを分析するとともに認識エンジンのブラッシュアップを行い、開発進行中の個々の基本認識モジュールを統合し、各種パラメータを自動調整で対象ユーザに適合可能になるように完成させます。
 
  • 平成30～令和元年度 総務省 戦略的情報通信研究開発推進事業（SCOPE）重点領域型研究開発
「アクセシビリティ向上のための適応型ジェスチャインタフェースの研究開発」

代表・依田（産総研）、分担者・小林、粟沢（神経センター）

概要： 本研究開発では、一般のインタフェースが利用困難な運動機能障害者に対し、パソコン操作等を実現するジェスチャインタフェースを研究開発します。 特に低価格化のため市販の画像距離センサを利用して、非接触非拘束インタフェースを開発します。ジェスチャインタフェースという自由度が高く、標準化が困難である課題に対し、重度運動機能障害者という必然性が最も高いユーザを 最初のターゲットとし、その意図した動きに適応する技術を開発することで、将来標準となり得る技術開発を行います。
研究成果： 9種の認識モジュールと学習用のジェスチャミュージックを完成させ、全てのソフトウェアの公開供与を正式に開始しました。また、CM2019で海外展示会でのソフトウェアの紹介を行い、世界同時展開へ向けての足がかりも作りました。今後は、本格的な普及を開始するとともに、利用者を増やしながら認識モジュールの精度を高めることが目標になります。
 
  • 平成28～30年度 文部科学省 科研基盤B
「重度肢体不自由者支援のための適応的ジェスチャインタフェースの研究」

代表・依田（産総研）、分担者・中山、伊藤（国リハ研）、小林（神経センター）

研究成果： 100部位以上の得られたジェスチャデータを基に、基礎的な学習方法を中心に研究を実施し、本提案の基盤となるジェスチャ認識モジュール群が、現在、完成しつつあります。その認識エンジンは、最終年度に基礎的な完成を迎える予定です。
 
  • 平成27～29年度 AMED・障害者対策総合研究開発事業（身体・知的等障害分野）
「脳性麻痺者・脳卒中者の意思伝達支援のための非接触ジェスチャ認識インタフェースの開発」

代表・伊藤（国リハ研）、分担者・依田（産総研）

概要： 主に脳性麻痺者を中心対象として研究を継続し、障害者のジェスチャデータの収集を継続するとともに、初めてPC操作、家電制御、呼び鈴の3つの機能を中心とするメニュー操作を作成し、実際のユーザに長期適合実験を実施しました。
研究成果： 継続して集めたデータは、合計51名、部位は合計181部位となりました。また、初めて状態遷移型のメニュー操作を実際の生活の中で長期適合評価を実施しました。今後は、ソフトウェアの公開を実施するために、ホームページを立ち上げ、まずプロトタイプの第一弾として、足ジェスチャモジュールの公開を開始予定です。
 
  • 平成26年度 厚生労働省・厚生労働科学研究委託費（障害者対策総合研究事業）
「重度運動機能障害者支援のためのモジュール型非接触非拘束ジェスチャインタフェースの研究開発」

代表・依田（産総研）、分担者・中山、伊藤（国リハ研）

概要： 上述のSCOPEによる研究開発の継続として、より簡易なパソコン操作等を実現するジェスチャインタフェースの研究開発を実施しました。特に、多種多様な人々に対して、個々に簡易に、かつ低コストでカスタマイズする技術を実現するために、3名の被験者に関して長期適合実験（3～4ヶ月以上）を実施しました。また、今まで同様に多種多様な障害者の動きを収集・類型化を継続し、モジュール化された認識エンジンを開発しました。
研究成果： 利用者である障害者本人とその介助者の意見を充分に聞きながら、これらの部位を利用したジェスチャを前プロジェクトに追加する形式で合計36名から採取しました。また、各被験者がスイッチ操作等に利用したい複数部位のジェスチャを採取したため、部位としては合計125部位の動きについて取得を行いました。また、部位別認識モジュールは5部位と前プロジェクトと同様でしたが、新たに部位を問わない学習型の動き認識モジュールを開発しました。この新たなモジュール、頭部認識モジュール、指認識モジュールを使い、3人の被験者に対して3ヶ月以上の長期適用実験を実施しました。
 
  • 平成25年度 総務省ＳＣＯＰＥ・重点領域型（ICTイノベーション創出型）研究開発
「情報弱者支援のためのモジュール型非接触非拘束ジェスチャインタフェースの研究開発」

代表・依田（産総研）、分担者・中山、伊藤（国リハ研）

概要： 痙性や不随意運動により、既存の各種スイッチ・視線入力装置等が利用困難な重度障害者を対象に、簡易なジェスチャにより情報機器を操作可能にするインタフェースの研究開発を行いました。多数の障害者のジェスチャを収集しながらインタフェースの開発を実施したのは、世界的に見ても初めてでした。
研究成果： 正味22名の被験者（延べ人数ではなく全員別人）から、収集ジェスチャ部位36箇所の本人の希望する随意運動が可能なジェスチャを収集しました。それらのデータを関係者らと協議しながら、ジェスチャの分類を行いました。同時に、これらのデータを参照しながら、合計5種の認識モジュール（手腕2種、頭部2種、脚部1種）を作成し、プロトタイプの開発を行いました。
 
  • 平成24年度 立石財団 研究助成Ａ「人間と機械の調和を促進する」
「画像距離センサによる脳性麻痺者インタフェースの開発」

代表・依田（産総研）、分担者・中山、伊藤（国リハ研）

認識対象部位が移動してしまったり、痙直してしまったりすることで、介助者など慣れた人が見れば理解できるジェスチャにもかかわらず、既存の機器では対応することが困難な脳性麻痺者1名を対象としたアジャイルな開発を行い、主に指の動作を中心に、さらに首振りと口の開け閉めに関してユーザ1名に特化した研究成果を修めました。

 
  • 平成16~18年度 科学技術振興調整費 ｢障害者の安全で快適な生活の支援技術の開発｣
「サブテーマ:2 重度障害者の自立移動を支援する技術の開発 (2)不明瞭な音声やジェスチャからの障害者の要求認識」

国リハ研、産総研を中心とした共同研究において研究分担者として参画

自作のステレオカメラによる頭部認識をリアルタイムで行い、屋内外での障害者自身による車いす走行を実現しました。

 

主な論文等

    1. I. Yoda, K. Itoh, and T. Nakayama: “Head Gesture Interface for Mouse Stick Users by AAGI,” Assistive Technology: Shaping a Sustainable and Inclusive World, pp.481-486 (2023-08)
    2. I. Yoda: “Extended Mouth/Tongue Gesture Recognition Module for People with Severe Motor Dysfunction,” Compter Helping People with Special Needs Part I (LNCS 13341), LNCS-13341, pp.363-370 (2022-07)
    3. I. Yoda, T. Nakayama, K. Itoh, D. Nishida, and K. Mizuno: “Application of Gesture Interface to transcription for People with Motor Dysfunction,” 17th International Conference on Computers Helping People with Special Needs (2020-09)
    4. 小澤 祐樹, 依田 育士: “運動機能障害者向けジェスチャインタフェースのための実時間3次元頭部位置推定手法の検討,” 信学会 PRMU研究会 PRMU2019-75, pp.53-58 (2020-03)
    5. Ikushi Yoda, Yuki Ozawa, Daisuke Nishida, Katsuhiro Mizuno, Kazuyuki Itoh, Tsuyoshi Nakayama. Gesture-based control for Persons with Severe Motor Dysfunction by AAGI, 2020 IEEE 2nd Global Conference on Life Science and Technologies (LifeTech2020), p.63-64 (2020-03)
    6. Ikushi Yoda, Tsuyoshi Nakayama, Kazuyuki Itoh, Hiroyuki Awazawa, Katsuhiro Mizuno and Yoko Kobayashi: “AAGI: Augmentative and Alternative Gesture Interface,” CM2019 International AAC Conference, p.86 (2019-09).
    7. Ikushi Yoda, Tsuyoshi Nakayama, Kazuyuki Itoh, Yuki Ariake, Satoko Mihashi, Hiroyuki Awazawa and Youko Kobayashi: “Augmentative and Alternative Gesture Interface (AAGI): Multi Modular Gesture Interface for People with Severe Motor Dysfunction,” Proceedings of The 15th International Conference of the Association for the Advancement of Assistive Technology in Europe (AAATE), pp.139-140 (2019-08)
    8. 依田, 小澤, 中山, 伊藤, 有明, 三橋, 粟沢, 小林: “重度運動機能障害者のためのモジュール型ジェスチャインタフェースシステムの基本実装,” 信学会 福祉工学研究会 WIT2018-59, pp.53-58 (2019-02)
    9. Ikushi Yoda, Kazuyuki Itoh, and Tsuyoshi Nakayama, “Modular Gesture Interface for People with Severe Motor Dysfunction: Foot Recognition,” Proceedings of AAATE 2017, (Harnessing the Power of Technology to Improve Lives), IOS Press, pp.725-732 (2017)
    10. Ikushi Yoda, Kazuyuki Itoh, and Tsuyoshi Nakayama, “Long-Term Evaluation of a Modular Gesture Interface at Home for Persons with Sever Motor Dysfunction,” Proceedings of Universal Access in Human-Computer Interaction 2016, (Springer LNCS 9738), pp.102-116 (2016)
    11. 依田育士，伊藤和幸，中山剛：“モジュール型ジェスチャインタフェース開発のための重度運動機能障害者の基礎的長期実験”信学技報, WIT2014-93, pp.45-50 (2015)
    12. Ikushi Yoda, Kazuyuki Itoh, and Tsuyoshi Nakayama: “Collection and Classification of Gestures from People with Severe Motor Dysfunction for Developing Modular Gesture Interface,” UAHCI 2015, Part II, LNCS 9176, pp. 58–68 (2015)
    13. 依田育士、出願番号：特願2014-057590号、発明の名称：ジェスチャ認識装置及びそのプログラム、日本、2014 年3月20 日出願
    14. 依田育士，伊藤和幸、中山剛: “モジュール型ジェスチャインタフェース開発のための重度運動機能障害者からのジェスチャの収集と分類,” ヒューマンインタフェース学会研究報告集 Vol.16,No.2, SIG-ACI-12, PP.23-28 (2014)
    15. 依田育士, 中山剛, 伊藤和幸：”画像距離センサによる脳性麻痺者インタフェースの開発” 立石科学技術振興財団助成研究成果集(第22 号) 2013 pp.122-125
    16. 依田育士 「次世代モビリティ国際フォーラム・中部2011 AI セミナー 次世代モビリティがつくる安心社会」『次世代車いすで拡がる生活空間』 (2011)
    17. 谷川民生，依田育士，児島宏明，梶谷勇，中山剛，田村巌，神徳徹雄，永見武司: “障害者 が自立して住みやすい住環境モデルの構築” 人間生活工学 Vol.12，No.1，pp.23-27 (2011)
    18. N. Sato, I. Yoda and T. Inoue: “Shoulder Gesture Interface for Operating Electric Wheelchair,” IEEE International Workshop on Human-Computer Interaction in conjunction with ICCV2009, pp.2048-2055 (2009)
    19. 依田育士, 田中淳一, 木村雄介, Bisser Raytchev, 坂上勝彦, 井上剛伸: “頭部ジェスチャによる非接触・非拘束電動車いす操作インタフェース” 信学論 Vol. J91-D, No.9, 2008 (2008)