株式会社ホロラボ（東京都品川区、代表取締役CEO：中村 薫、以下「ホロラボ」）は、西松建設株式会社（東京都港区、代表取締役社長　髙瀨 伸利、以下「西松建設」）との共同研究として、ドローンによる空撮映像に3Dモデルをリアルタイムで重畳し、ヘッドマウントディスプレイと連携して施工の可視化、ドローンの操縦支援を行なう技術を開発した。

 施工段階において3Dモデル（CIMモデル）を活用した生産性向上、現場管理業務の効率化が活発化し、その活用方法のひとつとして、現実世界にCGによる視覚情報を重ねるAR（Augmented Reality:拡張現実）技術があり、施工状況のイメージを共有して、早期の課題把握や改善策提案、施工の手戻りの抑制といった効果が期待できる。しかし、現行のAR技術はスマートフォンやタブレット端末、ヘッドマウントディスプレイ等による用が主であるため、地上からの主観視点に限られていて、計画全体を見渡すことは困難で、そのためには高所に足場を用意して登らなければならず視点は限定的なものであった。また複数個所に渡って確認するためには現場内を移動して地点ごとにARの位置合わせをする必要があった。

これらの問題を解決するべく、位置や距離の影響を受けず高速移動が可能なドローンを活用した、自由視点での3Dモデル重畳技術の開発を行なった。（共同特許出願中）

マーカーを必要としない位置情報取得

ARの重畳のためにはQRコードなどのマーカーを使用した手法が一般的だが、今回の研究ではDJI Mavic 3 Enterprise にRTKモジュールを搭載し、全地球航法衛星システム（GNSS：Global Navigation Satellite System）による位置情報と、ドローン自身がもつ姿勢、カメラの情報を紐付けて、マーカーを必要とせずにリアルタイムなAR重畳を行なっている。また3Dモデルの配置には設計の緯度経度情報を利用し、登録された指定座標にWebブラウザから直接配置する事が可能だ。

XRデバイスを活用したドローン作業支援

ドローンの操縦を行ないながらこれらの制御をする事で操作が複雑化するのを解決するため、操縦者は透過型XRヘッドマウントディスプレイ（Trimble XR10 with HoloLens 2）を装着し、操縦している手を放すことなく様々な情報を把握、操作を補助するシステムを開発した。

XR10に投影される空間ヘッドアップディスプレイ（HUD）には、AR重畳された空撮映像の他に、ハンドトラッキングで操作できる3Dモデルの制御UI、撮影機能、飛行中のドローンの各種ステータスが確認出来る。また位置情報に基づいてドローンの飛行位置をARで投影された地図上に表示。カメラの向きを切り替えて確認する必要も無く、目視では把握しづらい遠方のドローンの位置を俯瞰的に把握出来る。

PCをコアにした性能向上と遠隔共有システム

ARレンダリングの処理負荷がドローン制御やXRデバイスに影響するのを回避するために、これらの演算を現場ネットワーク内の高性能PCで処理。PCから現場のネットワーク上で映像を共有する事で、各デバイスの負担を軽減しながら、高解像度なリアルタイムレンダリングと通信速度を実現。遠隔会議システムと連携する事で、インターネットを通じて遠隔地とも空撮映像の共有を可能にした。

現場検証の実施

西松建設が施工中のダム建設現場（宮城県名取市）で本件開発のフィールド検証を実施。

ドローンによる空撮映像にダム堤体や岩級区分の3Dモデルを重畳し、自由な視点で現場全体を確認でき、現況と施工計画を比較できる事を確認。またドローンの機動力を活かして広大なフィールドを短時間で移動、確認する事が出来るため、従来のAR技術と比較して、現地での移動時間を大幅に短縮する事に繋がった。

操縦者が装着しているXR10による空間ヘッドアップディスプレイ（HUD）には重畳映像とドローンの内部情報や、飛行している機体の位置を地図上で表示するため、操縦者はドローンを操縦しながら機体の状態、飛行位置、3Dモデルの重畳など複数の情報を同時に確認する事が可能だ。

今後の展望

今回の開発検証では自由視点での3Dモデルを重畳した広域現場での状況把握や、時間の削減を確認出来た一方、ドローンの移動中の伝送速度とレンダリング速度の差による重畳精度のずれなども確認出来たため、今後は一層の精度向上とシステムの最適化、更なる操作性・利便性の向上に向けて機能を拡張し、汎用利用可能なサービスとして展開するべく開発を進めていく。 

※記事参照元　ホロラボ PR TIMESリリースより
https://prtimes.jp/main/html/rd/p/000000096.000023638.html