光線投影を活用した質感操作や視覚補助技術の開発

空間情報投影型拡張現実感研究室 (天野研究室) では、光線投影を活用した質感操作や視覚補助技術の開発に注力しています。例えば、以下の画像のように、プロジェクタやカメラを用いた光学的なフィードバック処理により、物体の光沢感や透明感をリアルタイムで操作する技術を研究しています。私たちは、このような技術を発展させて現実世界と仮想世界のシームレスな融合を実現し、メタバース空間の創造に貢献することを目指しています。

紹介動画

 

さらに、ニホンオオカミの復元とその生態を観察できるVR展示システムの開発を行いました。その剥製は世界に4体しか存在せず、そのうちの一体である本学の剥製の形状は不自然であると報告されています。そこで、CGを用いてニホンオオカミの骨格からその本来の姿の推測と復元を行い、彼らの生活する様子をVRで観察できる展示システムを開発しました。

現実世界の状況を詳細に理解するための視覚AI技術に関する研究

王研究室では、画像や映像に含まれる人、車、建物、臓器などの対象を画素レベルで識別し、現実世界の状況を詳細に理解するための視覚AI技術に取り組んでいます。

図1は、心エコー動画を入力とし、提案手法によって連続する動画フレーム間の時間的整合性を考慮しながら、心室と心筋壁複数の領域に画素レベルで分割する例を示しています。

図2は、屋内画像を入力とし、画像内に存在する様々な物体の大きさと深度の関係を利用することで、それらの物体が存在する画像内の領域と３次元空間における深度を同時に推定する例を示しています。

王研究では、画像・映像に内在する時間的関係や幾何学的関係などの構造的制約を深層学習モデルに組み込むことで、高精度で一貫性のある画像理解手法の構築を目指しています。これにより、自動運転、医療画像解析、ロボットビジョンなど、実環境における知的視覚認識への応用が期待されます。