情報通信
手袋デバイス要らず、手指のジェスチャーでスマホを操作
家電やコンピュータ、VR（仮想現実）において、入力等の操作を手指のジェスチャーでする。技術は手話認識など、広い分野への応用が期待されていて、これまでのところ、1台以上の固定されたカメラを利用したジェスチャー認識が開発されている。
従来技術ではしかし、カメラの前の限られた範囲内でしか認識ができず、例えば歩行中のジェスチャーを認識できなかった。また、手指の振る舞いを認識するのに手袋型デバイスを用いる手法では、その着用に手間がかかることに加えて、デバイス自体が高価であるために一般的な使用には不向きといった問題があったという。
JSTと東京工業大学は21日、CREST研究領域「人間と情報環境の共生インタラクション基盤技術の創出と展開」における課題「技能獲得メカニズムの原理解明および獲得支援システムへの展開」の研究代表である小池英樹教授（東工大情報理工学院）のグループが、新たな仕組み――手首装着型カメラで撮影した手の甲のカラー画像を深層学習ネットワークで学習して、手指のジェスチャーを認識する技術を開発したと発表。
手指ジェスチャー認識システムの使用デバイスとしては、竜頭に小型カメラを搭載したスマートウォッチを想定。これにより撮影した映像には、利用者の手の甲のみが映っていて、その画像を入力とし、手指の3次元姿勢を出力とする深層学習ネットワークを新たに設計・開発したという。同グループの成果は、カーネギーメロン大学ロボティクスインスティテュート、豪New South Wales大学との共同研究によるもので、「UIST2020」にて発表されるという。
東工大とJSTは、同グループが同じ共同研究体制で、「胸装着型小型カメラ１台によるモーションキャプチャ技術を開発」したことも同日に発表。広い運動範囲でアニメーション制作などへの応用が期待されるその技術も、国際会議UIST2020で披露されるとした。