LiDARとカメラのセンサーフュージョンによる点群のノイズ除去

本資料は、MATLAB EXPO 2024のライトニングトークにて使用されました。

イベントページ
https://jp.mathworks.com/videos/series/jp-expo-2024-lightning-talks.html
動画
https://jp.mathworks.com/videos/jp-expo-2024-lightning-talks-lt-03-lidar-3d-point-cloud-and-camera-sensor-fusion-1721197025693.html

Transcript

1. LiDARとカメラのセンサーフュージョン による点群のノイズ除去 ImVisionLabs株式会社代表取締役 板倉健太 博士（農学）
2. 3次元点群について [a] ScanX2.0  3次元点群:点の集まりにより3次元形状を表現する  3次元点群を利用し、森林の地表面の形状や高さなどを調べる →伐採計画や温室効果ガスの吸収量を調べることなどに利用 画像出典: 2024年1月26日 朝日新聞 教育科学面 「地図×データ 湧くアイデア」 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています
3. 3次元点群の分類について [a] ScanX2.0  点群から情報を得るためには、点群の分類が重要 例）樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
4. ノイズ除去について ScanX2.0  点群データを処理する際には、ノイズの点を除去する必要がある ノイズ 本発表では、点群から人のノイズ除去を行う  3次元点群での、計測対象外の人のノイズ除去は一般的に難しい 一般的なノイズ 点群中の人のノイズ
5. 地上型レーザースキャナ（LiDAR）による計測 4 ◼ 3次元点群を取得する方法として、地上型レーザースキャナがよく利用される 画像も同時に取得されることが多い 画像出典: Matterport URL: https://matterport.com/ja/pro3
6. LiDARとカメラのセンサーフュージョンによるノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー ジ ョ ン 画像（2D） LiDARで取得した点群（3D） ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング
7. 画像での人のセグメンテーション 6 ◼ Solov2を利用 • 人のセグメンテーションができるのではないか
8. LiDARとカメラのセンサーフュージョン 7 ◼ チェッカーボードを利用してLiDARとカメラのクロスキャリブレーションを実行 ◼ 画像および点群のチェッカーボードの角の情報などを利用 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影
9. LiDARとカメラのセンサーフュージョンによるノイズ除去 8 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] [b] [c] [d]
10. ◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d]
11. ◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた
12. まとめ 11 バックパック型スキャナー iPhone12 LiDAR LiDARとカメラのセンサーフュージョンを用いて3次元点群のノイズ分類を行いました 画像にてSolov2によりセグメンテーションした情報を点群にマッピングしました [動画] 本研究は、東京大学工学部全邦釘先生とのプロジェクトにて行われました