NTT、遠隔地での超臨場かつリアルタイム通信技術を開発

日本電信電話(NTT)は、2015年2月に超高臨場感通信技術「Kirari!」のコンセプトを発表し、超高臨場な体験をあらゆる場所でリアルタイムに感じることができる世界を目指し、研究開発を進めてきた。Kirari!のメディア処理技術をさらに進展させ、リアルタイム中継先で擬似3D表示により奥行き方向の動きを知覚させる手法を開発した。



超高臨場感通信技術であるKirari!は、人や空間を、離れた場所に超高臨場かつリアルタイムで再現する通信技術。これまでに、中継元で撮影した映像から選手などの注目する被写体を抽出して伝送、中継先において擬似3Dで表示することで、被写体がまるでそこにいるかのような体験が可能であることを実証してきた。

今回、中継元の被写体の映像と3次元位置情報を処理・伝送すると共に、中継先の擬似3D表示において被写体の奥行き方向の動きを知覚させる手法を開発。これにより、中継先において被写体が3次元的に動いているような視聴体験を実現した。

擬似3D表示では被写体の2次元映像を空間に立体的に浮かび上がったように表示できるが、奥行き方向の表示位置は固定であり、被写体を奥行き方向に動かして表示できない。そこで、絵画の遠近法を参考に、中継先の擬似3D表示において、被写体映像の表示位置と大きさを中継元の被写体の3次元位置情報を用いリアルタイムに調整。被写体が任意の3次元の位置に定位するように知覚させる手法を開発した。

中継元の被写体の3次元位置情報をレーザー光を用いた奥行センサーにより取得し、さらに被写体を撮影するカメラの位置と傾きをもとに3次元位置情報をリアルタイムで補正(キャリブレーション)して中継先に伝送、複数の視点で被写体が3次元の位置に定位して知覚できるようになった。

擬似3D表示により被写体が空間に立体的に浮かび上がって見えるように表示するためには、映像中の被写体を背景と分離して抽出する必要がある。従来のリアルタイム被写体抽出技術では、背景の一部に被写体と同じ色の部分があった場合に、被写体を背景であると誤認識し抽出できないことがあった。そこで、機械学習により、色とは異なる情報として被写体の形状を学習させることで、背景の一部に被写体と同じ色がある場合にも抽出できるようにした。

NTTでは、各要素技術の高度化と経済化を進める。高度化については、時空間をリアルに伝送・再現するだけでなく、リアルを超える感動を演出するICT技術の開発にも取り組む。一方、経済化については、現場(センシング)から中継(処理・配信)、再現(提示)の全ての処理プロセスでのコスト低減に取り組む。

これらの取り組みにより、スポーツ・エンターテイメント分野でのライブビューイング、エンタープライズ分野での遠隔店舗窓口などへの展開を視野に、サービス化に向けた取り組みをより推進するという。

超高臨場感通信技術「Kirari!」の研究開発が進展

カテゴリー: 情報通信   

大島 純一郎

大島 純一郎Author

証券系システムエンジニアやIT系資格対策問題集の編集、IT系Webメディアの編集記者などの経歴を生かして、企業向けIT関連の記事制作に携わる。専門は、IT、金融、医療分野。医療情報システムの企画/構築、運用に関する知識を有する専門者としての資格、医療情報技師、情報セキュリティアドミニストレータの保有者。

Pickup

高性能IoTカメラをbp-Aメンバーズへプレゼント
bp-Aメンバーズ向けにサーコム・ジャパン提供IoTカメラ「RC8110J」をプレゼントを致します。  続きを読む

関連記事