プロジェクト紹介 Project

重度運動機能障害者のためのジェスチャインターフェースの研究開発

メッセージ

本研究は2004~2006年度に産業技術総合研究所と国立身体障害者リハビリテーションセンター 研究所(当時)の共同研究によって行われた「障害者の安全で快適な生活の支援技術の開発」に端を発します。当時はプロジェクトの一部として、電動車いすが操作できない脳性マヒの方を対象に、頭部動作によって屋内外の自立走行を可能にするジェスチャインタフェースというオーファンプロダクトの研究開発が行われました。 当時のプロジェクト終了から10年の歳月が流れ、特に距離カメラとパソコンの価格低下と性能アップが劇的に進み、本当の実用化が目の前に来ています!

研究開発の目標とアプローチ方法

一般のインタフェースを利用することが困難な重度運動機能障害者を対象に、市販の距離カメラを用いることで、安価な非接触非拘束のスイッチインタフェースを障害者に提供することを目的に研究開発を実施しています。パソコンを含む基本システムが10万円未満で実現することで、誰でも本当に使えるものを提供することが目標です。 また、様々な障害者に対して出来るだけ広く対応することを目的に、実際の重度運動機能障害者の多種多様な動きを収集し、随意運動が可能な対象部位を基に類型化を行いながら、基礎となる認識エンジンを開発しています。さらに、複数のジェスチャを同時に認識可能にする仕組みにも大きな特徴があります。

研究体制

  • 国立研究開発法人産業技術総合研究所
  •  
  • 国立障害者リハビリテーションセンター 研究所
  •  
  • 国立研究開発法人国立精神・神経医療研究センター病院

Hot news !

  • 2019年3月29日
  • フットジェスチャ認識モジュールのソフトウェア無償供与を開始しました。詳細はダウンロードのページをご覧下さい。

     
  • 2018年7月9日
  • 世界の研究機関、研究資金補助組織、政府等関係者の間で著名な英国の雑誌「IMPACT」で本研究が紹介されました。
    記事はこちらからダウンロードすることができます。

     

沿革

  • 平成30~32年度 総務省 戦略的情報通信研究開発推進事業(SCOPE)重点領域型研究開発
  • 「アクセシビリティ向上のための適応型ジェスチャインタフェースの研究開発」

代表・依田(産総研)、分担者・小林、粟沢(神経センター)

研究概要: 本研究開発では、一般のインタフェースが利用困難な運動機能障害者に対し、パソコン操作等を実現するジェスチャインタフェースを研究開発する。 特に低価格化のため市販の画像距離センサを利用して、非接触非拘束インタフェースを開発する。ジェスチャインタフェースという自由度が高く、標準化が困難である課題に対し、重度運動機能障害者という必然性が最も高いユーザを 最初のターゲットとし、その意図した動きに適応する技術を開発することで、将来標準となり得る技術開発を行う。
 
  • 平成28~30年度 文部科学省 科研基盤B
  • 「重度肢体不自由者支援のための適応的ジェスチャインタフェースの研究」

代表・依田(産総研)、分担者・中山、伊藤(国リハ研)、小林(神経センター)

研究成果: 100部位以上の得られたジェスチャデータを基に、基礎的な学習方法を中心に研究を実施し、本提案の基盤となるジェスチャ認識モジュール群が、現在、完成しつつあります。その認識エンジンは、最終年度に基礎的な完成を迎える予定です。
 
  • 平成27~29年度 AMED・障害者対策総合研究開発事業(身体・知的等障害分野)
  • 「脳性麻痺者・脳卒中者の意思伝達支援のための非接触ジェスチャ認識インタフェースの開発」

代表・伊藤(国リハ研)、分担者・依田(産総研)

概要: 主に脳性麻痺者を中心対象として研究を継続し、障害者のジェスチャデータの収集を継続するとともに、初めてPC操作、家電制御、呼び鈴の3つの機能を中心とするメニュー操作を作成し、実際のユーザに長期適合実験を実施しました。
研究成果: 継続して集めたデータは、合計51名、部位は合計181部位となりました。また、初めて状態遷移型のメニュー操作を実際の生活の中で長期適合評価を実施しました。今後は、ソフトウェアの公開を実施するために、ホームページを立ち上げ、まずプロトタイプの第一弾として、足ジェスチャモジュールの公開を開始予定です。
 
  • 平成26年度 厚生労働省・厚生労働科学研究委託費(障害者対策総合研究事業)
  • 「重度運動機能障害者支援のためのモジュール型非接触非拘束ジェスチャインタフェースの研究開発」

代表・依田(産総研)、分担者・中山、伊藤(国リハ研)

概要: 上述のSCOPEによる研究開発の継続として、より簡易なパソコン操作等を実現するジェスチャインタフェースの研究開発を実施した。特に、多種多様な人々に対して、個々に簡易に、かつ低コストでカスタマイズする技術を実現するために、3名の被験者に関して長期適合実験(3~4ヶ月以上)を実施した。また、今まで同様に多種多様な障害者の動きを収集・類型化を継続し、モジュール化された認識エンジンを開発しました。
研究成果: 利用者である障害者本人とその介助者の意見を充分に聞きながら、これらの部位を利用したジェスチャを前プロジェクトに追加する形式で合計36名から採取した。また、各被験者がスイッチ操作等に利用したい複数部位のジェスチャを採取したため、部位としては合計125部位の動きについて取得を行った。また、部位別認識モジュールは5部位と前プロジェクトと同様でしたが、新たに部位を問わない学習型の動き認識モジュールを開発した。この新たなモジュール、頭部認識モジュール、指認識モジュールを使い、3人の被験者に対して3ヶ月以上の長期適用実験を実施しました。
 
  • 平成25年度 総務省SCOPE・重点領域型(ICTイノベーション創出型)研究開発
  • 「情報弱者支援のためのモジュール型非接触非拘束ジェスチャインタフェースの研究開発」

代表・依田(産総研)、分担者・中山、伊藤(国リハ研)

概要: 痙性や不随意運動により、既存の各種スイッチ・視線入力装置等が利用困難な重度障害者を対象に、簡易なジェスチャにより情報機器を操作可能にするインタフェースの研究開発を行った。多数の障害者のジェスチャを収集しながらインタフェースの開発を実施したのは、世界的に見ても初めてでした。
研究成果: 正味22名の被験者(延べ人数ではなく全員別人)から、収集ジェスチャ部位36箇所の本人の希望する随意運動が可能なジェスチャを収集した。それらのデータを関係者らと協議しながら、ジェスチャの分類を行った。同時に、これらのデータを参照しながら、合計5種の認識モジュール(手腕2種、頭部2種、脚部1種)を作成し、プロトタイプの開発を行いました。
 
  • 平成24年度 立石財団研究助成A「人間と機械の調和を促進する」
  • 「画像距離センサによる脳性麻痺者インタフェースの開発」

代表・依田(産総研)、分担者・中山、伊藤(国リハ研)

認識対象部位が移動してしまったり、痙直してしまったりすることで、介助者など慣れた人が見れば理解できるジェスチャにもかかわらず、既存の機器では対応することが困難な脳性麻痺者1名を対象としたアジャイルな開発を行い、主に指の動作を中心に、さらに首振りと口の開け閉めに関してユーザ1名に特化した研究成果を修めました。

 
  • 平成16~18年度 科学技術振興調整費 「障害者の安全で快適な生活の支援技術の開発」
  • 「サブテーマ:2 重度障害者の自立移動を支援する技術の開発 (2)不明瞭な音声やジェスチャからの障害者の要求認識」

国リハ研、産総研を中心とした共同研究において研究分担者として参画

自作のステレオカメラによる頭部認識をリアルタイムで行い、屋内外での障害者自身による車いす走行を実現しました。

 

主な論文等

  1. Ikushi Yoda, Kazuyuki Itoh, and Tsuyoshi Nakayama, “Modular Gesture Interface for People with Severe Motor Dysfunction: Foot Recognition,” Proceedings of AAATE 2017, (Harnessing the Power of Technology to Improve Lives), IOS Press, pp.725-732 (2017)
  2. Ikushi Yoda, Kazuyuki Itoh, and Tsuyoshi Nakayama, “Long-Term Evaluation of a Modular Gesture Interface at Home for Persons with Sever Motor Dysfunction,” Proceedings of Universal Access in Human-Computer Interaction 2016, (Springer LNCS 9738), pp.102-116 (2016)
  3. 依田育士,出願番号:特願2015-54334号,発明の名称:ジェスチャ認識装置,システム及びそのプログラム,日本、2015年3月18日出願
  4. 依田育士,伊藤和幸,中山剛:“モジュール型ジェスチャインタフェース開発のための重度運動機能障害者の基礎的長期実験”信学技報, WIT2014-93, pp.45-50 (2015)
  5. Ikushi Yoda, Kazuyuki Itoh, and Tsuyoshi Nakayama: “Collection and Classification of Gestures from People with Severe Motor Dysfunction for Developing Modular Gesture Interface,” UAHCI 2015, Part II, LNCS 9176, pp. 58–68 (2015)
  6. 依田育士、出願番号:特願2014-057590号、発明の名称:ジェスチャ認識装置及びそのプログラム、日本、2014 年3月20 日出願
  7. 依田育士,伊藤和幸、中山剛: “モジュール型ジェスチャインタフェース開発のための重度運動機能障害者からのジェスチャの収集と分類,” ヒューマンインタフェース学会研究報告集 Vol.16,No.2, SIG-ACI-12, PP.23-28 (2014)
  8. 依田育士, 中山剛, 伊藤和幸:”画像距離センサによる脳性麻痺者インタフェースの開発” 立石科学技術振興財団助成研究成果集(第22 号) 2013 pp.122-125
  9. 依田育士 「次世代モビリティ国際フォーラム・中部2011 AI セミナー 次世代モビリティがつくる安心社会」『次世代車いすで拡がる生活空間』 (2011)
  10. 谷川民生,依田育士,児島宏明,梶谷勇,中山剛,田村巌,神徳徹雄,永見武司: “障害者 が自立して住みやすい住環境モデルの構築” 人間生活工学 Vol.12,No.1,pp.23-27 (2011)
  11. N. Sato, I. Yoda and T. Inoue: “Shoulder Gesture Interface for Operating Electric Wheelchair,” IEEE International Workshop on Human-Computer Interaction in conjunction with ICCV2009, pp.2048-2055 (2009)
  12. 依田育士, 田中淳一, 木村雄介, Bisser Raytchev, 坂上勝彦, 井上剛伸: “頭部ジェスチャによる非接触・非拘束電動車いす操作インタフェース” 信学論 Vol. J91-D, No.9, 2008 (2008)