遠隔触診の実現に向けてマルチモーダル信号を5G伝送

日本の競争力の核となり得るポスト5Gについて、より一層のニーズに応えるため、単一通信網を仮想的に分割して運用するネットワークスライシングが提案されている。その最適化にはしかし多様な課題があり、ネットワーク企業単独でそれらを解決することは難しいという。

NEDOが委託する「ポスト5G情報通信システム基盤強化研究開発事業」の一環で、北海道大学BIPROGYテクノフェイスの研究グループは、マルチモーダル即ち触覚情報と診察動画を統合し医師間で共有する遠隔触診システムを開発。北大病院帯広厚生病院函館中央病院を結んでの実証に成功した。

マルチモーダル信号を動画フレーム単位で統合・同期し、5G伝送(網構築はNTT Com)する同システムでは、センサー群で取得した触診情報は多チャンネル応力情報として深さに応じた弾性値へ、情報の逐次変化から粘性値へと変換。当該データを視診向け動画のフレームに応じて埋め込むことで、触覚情報と動画の時空間が完全に同期する。その時の所要パラメーターは動画伝送時の既存コーデック(H.265)に関連する値のみ――

帯域と遅延に簡略化され、スライシングの設定を容易にする。動画コンテンツは、視診用とともに触診位置などの属性を含んだDBとしても利用可能。受信側医師は逐次触診情報にアクセスして触覚を能動的に再現でき、触診履歴の蓄積保存、カルテなどと情報共有、触診の定量化など、治療効果の経時的分析や教育用途にも展開できる。

取得画像とセンサー情報のタイミングは完全に同期していて、遠隔医師からの指示音声と、それに応じた現場医師から送られる触診再生画像のズレが2.0秒程度あった場合でも影響が出ないことを確認し、診察する上で医師のストレスにならない遠隔触診サービスを実現する見通しが得られたという。研究グループは、同システムの本格運用や関連技術の展開を2024年度以降に予定している。