情報通信
ダイナミック空間情報を高速伝送、3Dで高精細再現する
現実世界の空間情報をデジタル化する。これまでは元になる点群データの計測方法の特性により、対象が静的な物体に限られていた。実空間を丸ごと3Dモデルとし、空間内の自由な位置や角度から映像生成を可能にするボリュメトリックビデオという技術もあるが――
その撮影には多数のカメラが配置されたグリーンバックの専用スタジオが必要だ。またその対象は特定のものに限定されているという。NTTは、動きのある空間情報を遠隔地にそのまま届け表す「動的3D空間伝送・再現技術」を確立し、同技術による新たなエンターテイメント体験の創出――Perfumeのライブパフォーマンス"IMA IMA IMA"をまるっと配信し再現することに成功した。
同技術では、LiDAR（光検出＆測距）の3D点群データとカメラ画像データを組み合わせることで、任意の場所・背景において、オブジェクトの動きを含む空間全体の情報を丸ごと伝送・再現できる。取得可能点数／時間に物理的な限界があり、形状再現が困難なLiDAR向けに、色と奥行きの対応関係を学んで疎な点群データを速く密にする、リアルタイム3D高解像度化技術を新開発した。
画像フィルタ風の処理を直接畳み込み層に表現することで、機械学習パラメータ数を約1／1000にまで減らした。この軽量な機械学習モデルにより、処理速度を約6倍高速化した。結果、市販LiDARで計測されるデータ空間について、リアルタイム処理で約20倍の高解像度化を実現している。
いずれIOWNのAPNを活用することで、膨大な動きのある空間情報を瞬時に双方向で共有できるようになる。これにより、都市や作業現場のモニタリング、災害対策や都市計画のシミュレーション、遠隔チームとのコラボ、即時フィードバックを行えるメタバース環境を実現していく。人と人、人と社会の「つながり」の質を高め、多様性を受容できる豊かな社会の実現をめざしていくという。