3D Visual Attention Model and its Application to No-reference Stereoscopic Video Quality Assessment

최근 사용자에게 직접 입체감을 제공하는 3차원 영상기술에 대한 관심이 증대함에 따라 스테레오스코픽 비디오 화질 측정 기술개발은 중요한 주제로 많은 연구자에게 관심을 받고 있다. 특히, 스테레오스코픽 비디오 화질 측정에 중요한 역할을 하는 인간시각특성을 고려한 연구가 활발히 진행되지 않고 있어 본 논문에서 스테레오스코픽 비디오를 시청할 때 자극되는 다수의 인간시각특성 요소인 깊이, 움직임, 컬러, 휘도, 대조 등을 고려하여 3차원 시각 주의 모델을 제안한다. 또한, 본 논문에서는 실제 3차원 영상 특정 영역의 화질 열화 정도를 측정하는데 제안된 3차원 시각 주의 모델을 사용하여 무참조 스테레오스코픽 비디오 화질 측정 방법을 제안하였다. 제안 방법을 검증하기 위해 주관평가를 실시하여 기존의 스테레오스코픽 비디오 화질 측정 방법보다 평균 평가점에서 더 높은 연관성을 보였다. 게다가, 3차원 시각 주의 모델을 이용하여 스테레오스코픽 비디오의 관심영역 추출 결과는 공간적, 시간적 요소를 고려하여 추출된 관심영역에 비해 실제 관심영역과 더욱 유사함을 주관적으로 보여 제안 방법의 효율성을 보였다.

[1]  Eero P. Simoncelli,et al.  Image quality assessment: from error visibility to structural similarity , 2004, IEEE Transactions on Image Processing.

[2]  Tae-Il Jeong,et al.  An Improved Fast Fractal Image Decoding by recomposition of the Decoding Order , 2000 .

[3]  Jie Yang,et al.  Natural cooperation in wireless networks , 2009, IEEE Signal Processing Magazine.

[4]  Jianjun Lei,et al.  New metric for stereo image quality assessment based on HVS , 2010, Int. J. Imaging Syst. Technol..

[5]  Bing Zeng,et al.  A new three-step search algorithm for block motion estimation , 1994, IEEE Trans. Circuits Syst. Video Technol..

[6]  Christof Koch,et al.  A Model of Saliency-Based Visual Attention for Rapid Scene Analysis , 2009 .

[7]  Patrick Le Callet,et al.  Considering Temporal Variations of Spatial Visual Distortions in Video Quality Assessment , 2009, IEEE Journal of Selected Topics in Signal Processing.

[8]  Gary J. Sullivan,et al.  Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard , 2011, Proceedings of the IEEE.

[9]  André Kaup,et al.  Temporal Trajectory Aware Video Quality Measure , 2009, IEEE Journal of Selected Topics in Signal Processing.

[10]  Stephen Grossberg,et al.  Depth-tuning of occluded moving objects by boundary selection of motion signals , 2005 .

[11]  Rainer Stiefelhagen,et al.  Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics , 2008, EURASIP J. Image Video Process..

[12]  Kwanghoon Sohn,et al.  No-reference sharpness metric based on inherent sharpness , 2011 .

[13]  Seung-Tag Kwon Design of Efficient 8bit CMOS AD Converter for SOC Application , 2008 .

[14]  J ValdésJulio,et al.  2006 Special issue , 2006 .

[15]  Wijnand A. IJsselsteijn,et al.  Evaluation of Stereoscopic Images: Beyond 2D Quality , 2011, IEEE Transactions on Broadcasting.

[16]  Christof Koch,et al.  Feature combination strategies for saliency-based visual attention systems , 2001, J. Electronic Imaging.

[17]  C. Koch,et al.  Computational modelling of visual attention , 2001, Nature Reviews Neuroscience.

[18]  Alan C. Bovik,et al.  GAFFE: A Gaze-Attentive Fixation Finding Engine , 2008, IEEE Transactions on Image Processing.

[19]  Christof Koch,et al.  Modeling attention to salient proto-objects , 2006, Neural Networks.

[20]  Viet Anh Nguyen,et al.  Smoothed Group-Sparsity Iterative Hard Thresholding Recovery for Compressive Sensing of Color Image , 2014 .

[21]  Kwanghoon Sohn,et al.  An Objective Video Quality Metric for Compressed Stereoscopic Video , 2012, Circuits Syst. Signal Process..

[22]  이지은,et al.  수중음향렌즈 카메라에서 영상 품질 향상을 위한 SIR 분석 , 2014 .

[23]  Karl J. Friston,et al.  A direct demonstration of functional specialization in human visual cortex , 1991, The Journal of neuroscience : the official journal of the Society for Neuroscience.

[24]  M. Ernst,et al.  Focus cues affect perceived depth. , 2005, Journal of vision.

[25]  Jeanine K. Stefanucci,et al.  The Role of Effort in Perceiving Distance , 2003, Psychological science.