富士通とカーネギーメロン大学、固定設置の単眼カメラの2次元画像から人や物体を動的かつ高精度に3次元化する技術を開発

東京, 2024年3月7日 - (JCN Newswire) - 富士通株式会社（注1）（以下、富士通）と米国のCarnegie Mellon University（注2）（以下、カーネギーメロン大学）は、2022年2月に開始したソーシャルデジタルツインの共同研究の一環で、固定設置の1台の単眼カメラから得られる画像に映る物体をAIによって3次元に変換しデジタル化することで人や物体の3次元形状や位置を高精度かつ動的に再構築する技術を2024年2月に開発しました。両者は2024年2月22日から、カーネギーメロン大学周辺の交差点を撮影した画像データなどで本技術の有効性を検証する実証実験を開始しました。

本技術は、深層学習によって人や物体の形状を学習したAIを用いて、カメラに映る2次元の各物体の3次元形状を推定可能にする3次元形状推定技術と、建物や地形などを含む3次元モデル上で人や物体を高精度に位置推定し復元する3次元プロジェクション技術の2つのコア技術によって構成されています。これらの技術を活用することで、例えば交差点など人や車が密集する場面で撮影された画像を、匿名化したうえで3次元上へ動的に復元し、監視カメラでは捉えきれなかった交通事故の原因などの潜在的な課題の可視化を実現します。

今後両者は、適用シーン拡大に向けて、交通だけでなくスマートシティなどにおける有用性も検証し、2025年度までに本技術の実用化を目指します。

背景

富士通とカーネギーメロン大学は、2022年2月より、人、モノ、経済、社会の間の複雑な相互作用を3次元上に動的に再現するソーシャルデジタルツインの共同研究を開始しており、複数角度から撮影された動画を高速高精細に画像生成する高速3次元シーン復元技術の開発などの取り組みを進めてきました。しかし、共同研究を進める中で、撮影画像を3次元に動的に復元するためには、映像の解析精度が技術的に不十分な部分や、3次元上で正確に物体の位置や形状を再現するために複数のカメラが必要となり、作業負荷、コストなどに課題があり社会実装の障壁となっていました。

両者は、上記の課題を解決するため、複数のカメラで同時撮影した映像を組み合わせることなく、1台の単眼カメラで物体を固定の位置のみから撮影する場合でも動的3次元シーンモデルを再構築する技術を開発しました。

開発技術について

本技術は、主に以下の2つのコア技術から構成されています。

1. 3次元形状推定技術：

本技術は、様々な角度から撮影した市街の複数の画像を、画像に映り込む建物や人などの物体の種別を判別させたうえで深層学習を用いて学習させたモデルを活用します。これにより、単眼カメラの1枚の市街の画像からでも、3次元空間上のVoxel（注3）の集合体として、建物や人といったカテゴリも含めて表現することが可能になります。また、事前の機械学習によって、建物の裏側などの画像では隠れて映っていない部分についても、正確な3次元形状の推定を可能にします。

2. 3次元プロジェクション技術：

本技術は、3次元形状推定技術の出力結果に基づいて3次元化されたデジタルツイン上で、既に学習済みの社会人文科学的な人間の行動分析のノウハウを組み込むことで、例えば人が物体をすり抜けるなど、現実世界では起こり得ない人間の動きを除外しつつ、進行方向や速度情報などとともに3次元上に高精度に配置可能にするものです。これにより、人や車の動きをより現実世界に即した形で復元可能となるほか、物体の特定の部分が障害物によって隠されている場合でも正確な位置推定を可能にします。

図1.開発技術の取り組み概要

実証実験について

期間: 2024年2月22日（木曜日）から2024年5月31日（金曜日）まで

場所: 米国ペンシルバニア州ピッツバーグ市

内容: カーネギーメロン大学内などに単眼カメラを設置し、大学周辺の交差点を撮影した画像データに映る物体を認識し、人の顔や車のナンバープレートなどを匿名化してプライバシーを保護したうえで、ソーシャルデジタルツイン上で再現する実証実験を実施。大学周辺の人の往来や交通状況などを分析し、分析結果から、建物や一時的な人混みにより発生する死角などの潜在的な事故の可能性を発見し、その防止策の立案を目指すことなど、開発技術の有効性を検証。

Carnegie Mellon University László A. Jeni助教授のコメント

この成果は、富士通のチーム、ならびにSean Qian教授、Srinivasa Narasimhan教授をはじめとするカーネギーメロン大学のチームによる共同研究の成果であり、今回の発表を喜ばしく思います。カーネギーメロン大学では、今後も富士通との連携を通じて最先端技術の研究を進めていきます。

富士通株式会社富士通研究所フェロー兼コンバージングテクノロジー研究所所長増本大器のコメント

当社のパーパスは、「イノベーションによって社会に信頼をもたらし、世界をより持続可能にしていくこと」です。当社が開発しているソーシャルデジタルツインは、このパーパスに沿って、さまざまな社会課題の解決を目指しています。カーネギーメロン大学と協力して達成したこのマイルストーンは、我々の目標に向けた重要な一歩となります。

URL https://pr.fujitsu.com/jp/news/2024/03/7.html