KDDI総合研究所、世界初の「自由視点VR」や「音のVR」を実現

株式会社KDDI総合研究所は2日、撮影中の映像をリアルタイムでカメラの存在しないアングルも含んだ任意の視点から視聴できる「自由視点VRリアルタイム制作システム」の開発に、世界で初めて成功したことを明らかにした。

「自由視点VR」は、さまざまな視点からの映像視聴を可能にする自由視点技術を、複数のカメラから抽出された人物などの領域を、3次元コンピュータグラフィクス（3DCG）モデルとして合成することによって実現させるもの。

これまでの「自由視点VR」では、表現を完成させるために膨大なデータを扱わなければならず、処理時間がかかることが問題となっていた。また従来の普及した人物抽出技術では、撮影背景舞台を青や緑の色で統一する必要があり、一般撮影環境における抽出品質の向上が大きな課題としてある。

今回、開発・発表された新技術は、従来の3DCGを構成する点群やポリゴンを介することなく、平面集合体としてモデルを表現、データを得て処理する新方式を採用し、処理時間の大幅な高速化を実現、AIを活用した人物判別エンジンの高速化も図ることで、高精度な自動抽出のリアルタイム化も可能にした。

これらにより、制作処理のリアルタイム化と、一般撮影環境への適応が実現され、リアルタイムでの全自動処理により、10秒のハイライトシーンならば10秒以内に制作できるようになったという。

また、視聴者の操作や動作に応じ、収録した音場の空間的な広がりを保ちながら、任意の範囲にズームしたステレオ音場をリアルタイムに合成・再生する「音のVR」をかなえる新技術、音場のズーム合成技術の開発に成功したことも、あわせて発表された。

スマートフォンやヘッドマウントディスプレイを用い、全天球型や半天球型映像コンテンツで、任意の範囲の音と映像が体感的に合致した、リアルなインタラクティブ視聴体験を味わえるようになる。

これまで、ズームマイクなどと呼ばれる任意の方向の音源や音場を抽出する技術は存在したが、任意の方向を中心に、空間的な広がり、自然な広がりをもつ任意の範囲の合成音場を作り出す技術はなかった。そのため表示される映像が変化しても、再生される音場は変化しなかったり、再生される音場の方向が回転するのみであったりと、体感的に違和感を与えてしまうものとなっていた。

今回、発表された新技術では、複数のマイクロホンを空間的に配置したマイクロホンアレイを用い、収録音場の空間的広がりを保ったままに、任意の範囲でズームしたステレオ音場をリアルタイムで合成することができる。

KDDI総合研究所では、発表した「自由視点VR」と「音のVR」について、早期の実用化を目指していく方針で、「自由視点VR」では、サッカーやバレーボールなど、さまざまな撮影対象での評価を進め、次世代モバイル通信の5Gによるサービス展開を念頭に、実証実験を行っていく予定としている。

また「音のVR」では、スポーツやイベントなど、さまざまな音響環境での評価を進め、実際のシーンをよりリアルに体験できる手法として、通信や放送、エンターテイメント用途での活用推進を目指していくとした。

（画像はプレスリリースより）




株式会社KDDI総合研究所　プレスリリース（「自由視点VR」）
http://www.kddi-research.jp/newsrelease/100203.html

株式会社KDDI総合研究所　プレスリリース（「音のVR」）
http://www.kddi-research.jp/newsrelease/100202.html