GPGPU 기반의 깊이 영상 화질 개선 기법

본 논문에서는 3D 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.

[1]  이종성,et al.  차량의 GPS 정보를 활용한 도로정보 추출 및 적용 방법 , 2013 .

[2]  Stefano Mattoccia,et al.  Near real-time Fast Bilateral Stereo on the GPU , 2011, CVPR 2011 WORKSHOPS.

[3]  Frédo Durand,et al.  A Fast Approximation of the Bilateral Filter Using a Signal Processing Approach , 2006, International Journal of Computer Vision.

[4]  정인범,et al.  u-Button을 활용한 스마트 조명 제어시스템 , 2013 .

[5]  Jakob Wasza,et al.  High Performance GPU-Based Preprocessing for Time-of-Flight Imaging in Medical Applications , 2011, Bildverarbeitung für die Medizin.

[6]  Jakob Wasza,et al.  Real-time preprocessing for dense 3-D range imaging on the GPU: Defect interpolation, bilateral temporal averaging and guided filtering , 2011, 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops).

[7]  Roberto Manduchi,et al.  Bilateral filtering for gray and color images , 1998, Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271).

[8]  Kwanghoon Sohn,et al.  Spatial and temporal up-conversion technique for depth video , 2009, 2009 16th IEEE International Conference on Image Processing (ICIP).

[9]  Om Prakash Gangwal,et al.  Depth map post-processing for 3D-TV , 2009, 2009 Digest of Technical Papers International Conference on Consumer Electronics.

[10]  Lifeng Sun,et al.  A novel upsampling scheme for depth map compression in 3DTV system , 2010, 28th Picture Coding Symposium.

[11]  Miao Liao,et al.  Real-time stereo using approximated joint bilateral filtering and dynamic programming , 2012, Journal of Real-Time Image Processing.