<aside> 💡 Camera+Lidar 센서 동시 입력으로부터 3차원 바운딩박스를 얻어보자

</aside>

RGB-D 데이터를 이용한 3차원 객체 검출 (프러스텀 포인트 넷)

GitHub - charlesq34/frustum-pointnets: Frustum PointNets for 3D Object Detection from RGB-D Data

10.2018

기존 하려던 객체인식 ( Yolo & Euclidean clustering algorithm )

1. 라이다 지면제거
2. 라이다 데이터를 이미지 상으로 보내는 원근 투영 변환 수행
3. 이미지 데이터 YOLO를 이용하여 경계상자 탐지
4. 결과로 나온 경계상자 내부에 있는 점 필터링
5. 필터링 된 점 Euclidean clustering Algorithm 이용하여 객체 별로 군집화
6. 각 클러스터의 위치 및 크기를 계산
7. 일정 크기 이상의 객체들을 최종 객체 선정에서 제외

• 지면을 제거하지 않을 경우 Euclidean clustering Algoritm으로 객체를 군집화할 때 지면의 점이 함께 군집화 되면서 정확한 결과가 나오지 않을 수 있다 (예: 사람의 발과 지면의 경계에서 특정하기 어려움)
• 다음과 같은 방법으로 프로그램이 지면을 제거하여 고려하지 않도록 함.
  1. 한 프레임 단위로 추출해 낸 라이다 데이터를 CloudCompare를 이용해 시각화 한 후, 지면의 높이가 일정하도록 조절 Lidar 데이터를 이미지 상으로 보내는 원근 투영 변환 수행
  2. 회전 수정 정보가 반영된 회전변환 행렬을 추출
  3. 프로그램 안에 세팅값으로 삽입하여 라이다 입력 시 해당 회전 변환을 적용

→ 현실세계 복잡한 Scene에서 잘 수행되지 않는다.

→ 3D frustum PointNet으로 해결해보자

Introduction of 3D frustum PointNet