作業者カメラで生成した3D画像とARでスムーズな遠隔指示を実現！

株式会社富士通研究所は17日、建築や保守・点検などの分野における現場で、作業者側のカメラで撮影した時系列画像から、広範囲にわたって該当作業現場の全景がわかる3次元パノラマ合成画面を生成し、AR（拡張現実）技術と組み合わせることによって、オペレーションルームなどにいる遠隔支援者が、作業員へ全方位で的確な指示を出すことを可能とする作業支援技術を開発したと発表した。

近年、少子高齢化による労働者不足などから、熟練した作業者が圧倒的に不足し、経験の不足している作業者へいかに作業をサポートする指示をスムーズかつ的確に出せるようにするかが大きな課題となっており、こうした遠隔作業支援技術には高い注目が寄せられている。

また、タブレットやヘッドマウントディスプレイなど、進化する多様なスマートデバイスの登場・普及で、作業を邪魔することのない支援を実現しやすくなったことも背景にあり、今後はさまざまな現場作業に指示・支援システムを導入していくことが期待されている。

しかしこうした期待の一方で、作業者側のカメラ画像を用いた従来の遠隔支援技術では、一般的に映し出せる範囲が狭く、ブレもあることから、支援者が現場状況を正しく掴みづらいといった問題があった。また、指示を伝える面でも、作業者の立ち位置や向きを直接伝達できないため、指示場所や注目方向などを会話で調整しなければならず、作業を中断しなければならないなど、効率の悪さも問題となっていた。今回開発された新技術は、こうした課題を解消する。

まず作業者の現場カメラ画像から、複数の画像特徴点を抽出し、位置と向きの情報をリアルタイムで追跡、作業者の位置・向きを継続的に推定する。推定結果からブレのない映像を選択し、3次元情報とともに遠隔支援者へ送信、カメラのパラメーターとなる焦点距離と画像の中心にあわせて3次元空間上に画像データをリアルタイムで配置して調整、現場の全景を高精度に表示させる。

表示する際には、現場作業者カメラと環境特徴点との距離も加味し、画像サイズを最適化、選別された画像を順次3次元空間に配置してオンライン合成していく。

生成・表示した3次元画像は、実際の作業現場の空間構造が忠実に反映されているため、複数のセンサー情報をプラスし、作業者の位置と向きを正確に推定することで、合成画像の中に作業者を3次元モデルとして仮想的に描画させることができる。

遠隔地にいる支援者は、この仮想モデルを用いて任意の視点から作業者の行動を把握、ポインターや注釈で指示を出すことができる。出した指示はすぐに作業者の持つスマートデバイスなどに伝達され、リアルタイムなAR情報として提示されるという。このAR情報が現場作業者の視野外にある場合でも、その地点まで作業者を誘導でき、スムーズかつ効果的な作業支援を実現可能だ。

遠隔支援者は任意の視点からの俯瞰的な現場3次元画像データを用い、作業者がどこに立ち、どこを向いていても、的確かつ迅速に指示を出すことができる。作業者も直感的に理解できるAR情報提示のかたちで指示を受けられるため、進行中の作業を中断することもなく、スムーズに指示に基づいた行動をとっていくことが可能になる。

富士通研究所では、この技術により、経験不足の作業者における作業範囲を拡大できるほか、現場作業が難しくなった熟練者のスキルを有効活用することができ、人材活用の自由度を大きく向上させられるものと見込んでいる。

今後は実際の設備点検やメンテナンス現場で技術検証を行い、2016年度中の実用化を目指す方針だ。点検・保守の作業現場だけでなく、物流や建設、小売りなどさまざまなシーンに適用させていきたいともしており、幅広い活用が期待される。

（画像はプレスリリースより）




株式会社富士通研究所　プレスリリース
http://pr.fujitsu.com/jp/news/2016/03/17.html