많은 대중이 이용하는 지하철 역사 내에서는 해마다 안전사고가 발생하며 특히 장애인 안전·편의시설이 미흡해 안전사고 발생 위험이 나타나고 있다. 국내에서는 지하철역 승강기, 휠체어 전용석 등의 미흡한 인식으로 인해 개선이 필요하다.
본 프로젝트는 역사 내에 있는 장애인, 노약자 대상으로 안전 사각 지역을 실시간 모니터링 할 수 있는 시스템을 구축하여 시각장애인, 휠체어, 보행기 등 이용자를 검출함으로써 공공 안정성을 향상하고자 한다.
시각장애인, 휠체어, 보행기 이용자가 라벨링 된 학습 데이터셋을 구축하는 것에 큰 비용이 드는 것을 깨달음. 합성 데이터셋을 간편하게 자동으로 만들어주는 응용 프로그램을 개발하려고 함.
ROI 지정.
Grab Cut 결과 1.
Grab Cut 결과 2.
위와 같은 객체는 다양한 각도에서 촬영되면 좋고, Grab Cut 결과의 품질이 좋을 수록 좋다. 예시로 보인 결과는 품질이 좋지는 않다. 아무튼 이 Foreground 이미지는 이미지 합성에 중요한 재료가 된다.
배경 이미지에 전경 추가(임의의 위치와 크기).
배경(Background)이 되는 이미지 위에 객체(Foreground)를 추가한다. 그러나 자연스러운 합성 이미지 획득을 위해 배경에 어울리는 객체의 사이즈와 위치를 선정해야한다. 그 선정 기준은 딥러닝 기반의 Semantic Segmentation을 이용하고자 했다. 모델로는 Segformer(https://github.com/NVlabs/SegFormer)를 사용했다.
객체가 등장할 수 있는 범위(주로 땅)를 구하고, y좌표에 따라 Size를 결정했다.
그러나 Semantic Segmentation 모델 이용시 객체가 다른 객체에 의해 가려져있는 이미지(좀 더 현실적)는 생성하기 어렵다.
더욱 현실적인 이미지 합성을 위해 Instance Segmentation 모델인 SOLOv2 (https://github.com/WXinlong/SOLO) 로 교체해 Instance 별 레이어를 분리할 수 있었다.