Histogram Equalization Based Color Space Quantization for the Enhancement of Mean-Shift Tracking Algorithm

Kernel-based mean-shift object tracking has gained more interests nowadays, with the aid of its feasibility of reliable real-time implementation of object tracking. This algorithm calculates the best mean-shift vector based on the color histogram similarity between target model and target candidate models, where the color histograms are usually produced after uniform color-space quantization for the implementation of real-time tracker. However, when the image of target model has a reduced contrast, such uniform quantization produces the histogram model having large values only for a few histogram bins, resulting in a reduced accuracy of similarity comparison. To solve this problem, a non-uniform quantization algorithm has been proposed, but it is hard to apply to real-time tracking applications due to its high complexity. Therefore, this paper proposes a fast non-uniform color-space quantization method using the histogram equalization, providing an adjusted histogram distribution such that the bins of target model histogram have as many meaningful values as possible. Using the proposed method, the number of bins involved in similarity comparison has been increased, resulting in an enhanced accuracy of the proposed mean-shift tracker. Simulations with various test videos demonstrate the proposed algorithm provides similar or better tracking results to the previous non-uniform quantization scheme with significantly reduced computation complexity. Keyword : mean-shift tracking, color-space quantization, histogram equalization 정규논문 (Regular Paper) 방송공학회논문지 제19권 제3호, 2014년 5월 (JBE Vol. 19, No. 3, May 2014) http://dx.doi.org/10.5909/JBE.2014.19.3.329 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) 330 방송공학회논문지 제19권 제3호, 2014년 5월 (JBE Vol. 19, No. 3, May 2014) a) 연세대학교전기전자공학부 (Dept. Electrical & Electronics Engineering, Yonsei University) b) 한독미디어대학원대학교 뉴미디어학부 (Dept. Newmedia, Korean German Institute of Technology) ‡Corresponding Author : 김용구(Yong-Goo Kim) E-mail: ygkim@kgit.ac.kr Tel: +82-2-6393-3222 ※ 본 연구는 미래창조과학부 및 정보통신산업진흥원의 “대학 IT 연구센 터 육성지원사업 / IT 융합 고급인력과정 지원사업”의 연구결과로 수행 되었음. (NIPA-2014-H0301-14-1012) ・Manuscript received December 2, 2013 Revised May 7, 2014 Accepted May 21, 2014 I. 서 론 컴퓨터 비전(computer vision)의 주요 연구 분야 중 하나 인 물체 추적은 연속된 장면에서 추적의 대상이 되는 물체 의 위치를 찾는 기술로, 현재 HCI(human-computer interaction), 비디오 색인, 자동 보안 시스템 등의 분야에서 널리 사용되고 있다. 물체 추적 연구는 일반적으로 크게 점 (point), 커널(kernel), 그리고 실루엣(silhouette) 기반의 방 식으로 나눌 수 있는데 , 최근에는 높은 추적 신뢰도를 제 공하면서 실시간 응용 프로그램의 구현이 용이한 커널 기 반 물체 추적 방법이 높은 관심을 받고 있다. 여기서 실시간 물체 추적을 가능하게 하는 핵심 기술은 평균 이동(meanshift) 기법으로, 이를 이용하면 주변의 최적 위치를 빠르게 추적할 수 있다. 이와 같은 장점으로 인해 평균 이동 방법을 적용한 다양 한 커널 기반 물체 추적 알고리즘들이 제안되었는데, 대표 적 연구로는 Bhattacharyya 유사성 측도(Bhattacharyya similarity measure) 및 Epanechnikov 타원형 커널을 이용한 색 히스토그램 기반의 물체 추적 알고리즘을 들 수 있다 . 이 기법은 표적 모델(target model)과 표적 후보(target candidate)간에 커널 가중치가 적용된 색 히스토그램을 비교하 여 최적의 유사성을 갖는 후보 영역 위치를 빠르고 정확하 게 계산하는 평균 이동 표적 위치 추정(mean-shift target localization) 알고리즘이다. 또한 이를 토대로 물체 추적의 정 확도 향상을 위한 연구가 다양한 방면으로 진행되었는데, 대표적으로는 새로운 물체 표현 모델을 사용하는 방식들 , 물체의 크기 변화 및 방향 변화를 고려하는 기법들 , Bhattacharyya 계수를 대신하는 새로운 유사성 측도를 사용하는 기법들 , 그리고 대상 영역의 물체를 배경에서 분리하는 방법들 [9,10] 등을 들 수 있다. 이처럼 다양한 연구들은 Comaniciu의 알고리즘을 기반 으로 추적 정확도를 개선하고자 노력한 결과이며, 많은 성능 향상을 보여주었다. 앞서 언급한 연구에서 사용하고 있는 색 히스토그램은 실시간 구현을 위해 색-공간을 균일 양자화 (uniform quantization)하여 얻고 있는데, 색 히스토그램의 빈(Bin)들을 양자화 한 소수의 대표값으로 변환함으로써 추 적 알고리즘이 사용하는 반복적 유사도 계산에서 큰 연산량 감소 효과를 얻는다. 하지만 이러한 색공간 양자화 방식은 히스토그램 유사성 비교 결과의 정확도를 감소시키게 되며, 특히 추적하고자 하는 모델 히스토그램이 일부 영역에 편중 되어 분포하고 있는 경우 큰 문제점을 발생시킬 수 있다. 즉, 표적 모델의 색 히스토그램이 특정 영역에 집중되어 있는 경우, 균일 히스토그램 양자화로 인해 특징 색들이 대부분 동일한 값의 빈(bin)으로 변환될 수 있으며, 이로 인해 발생 하는 비교 대상 히스토그램 빈의 감소는 히스토그램 유사성 비교 결과의 신뢰도를 감소시킬 수 있다. 이러한 문제점을 보완하기 위해 히스토그램 빈 개수 및 영역을 적응적으로 조절하는 비-균일 양자화 알고리즘이 제안되었다 . 이 알고리즘은 커널 영역의 화소 값들을 클 러스터링(clustering)하여 분류한 후, 각각의 클러스터에 적 합한 최적의 히스토그램 빈 영역을 색-공간 내에서 설정함 으로써 비-균일 히스토그램 양자화를 수행한다. 이와 같은 비-균일 히스토그램 양자화를 통해 히스토그램이 색-공간 의 일부에 편중된 영상에서도 높은 정확도의 물체 추적 결 과를 얻을 수 있지만 설정된 클러스터의 개수에 따라 물체 추적 정확도가 크게 좌우되며, 알고리즘 복잡도가 매우 높 기 때문에 실시간 물체 추적에 적용하기 어려운 단점이 있 다. 따라서 본 논문에서 목표로 하는 실시간 물체 추적의 정확도 향상을 위해서는 고속으로 비-균일 히스토그램 양 자화를 수행하는 알고리즘이 요구된다. 이에 본 논문에서는 영상의 색 히스토그램 분포를 조절 하여 색-공간 양자화를 수행함으로써, 표적 모델의 히스토 그램이 전체적으로 분산될 수 있는 고속 비-균일 색-공간 양자화 기법을 제안한다. 색 히스토그램의 분산은 영상의 명암 대비를 조절하는 것이기 때문에 이를 통해 물체와 배 최장원 외 2인 : 실시간 평균 이동 추적 알고리즘의 성능 개선을 위한 히스토그램 평활화 기반 색-공간 양자화 기법 331 (Jangwon Choi et al. : Histogram Equalization Based Color Space Quantization for the Enhancement of Mean-Shift Trancking Algorithm) 경을 보다 선명하게 구분할 수 있게 되며, 이는 물체 추적을 보다 정확하게 할 수 있는 장점을 갖는다. 또한 분산된 색 히스토그램은 양자화 후에도 전체 히스토그램 영역에 분산 된 값을 유지하기 때문에 이로 인해 증가되는 히스토그램 비교 후보군은 히스토그램 유사성 비교의 정확도를 높일 수 있다. 본 논문에서 제안하는 비-균일 양자화 기법은 색 히스토그램 평활화 기법 [11] 을 통해 고속으로 히스토그램 분 포를 조절한 후 색-공간 균일 양자화를 적용하는 방식으로, 결과적으로는 비트 심도(bit-depth)가 8인 색-공간 별로 28 바이트(byte) 크기의 양자화 테이블로 구현된다. 히스토그 램 평활화가 편중된 색-공간 분포를 가진 영상을 평활한 색 -분포를 가지도록 변환하는 기법이기 때문에, 평활화 결과 에 균일 양자화를 적용하는 것은 표적 모델의 특징을 이루 는 높은 히스토그램 빈 값을 가지는 색 영역 부근에서는 간격이 좁은 양자화를 수행하고, 반대로 낮은 히스토그램 빈 값을 가지는 색 영역들은 크게 하나로묶어주는 결과를 제공한다. 또한 이러한 비-균일 양자화 기법은 기존의 균일 양자화가 제공하는 고속 추적의 장점은 유지하면서 명암 대비가 개선된 형태로 히스토그램 유사도 계산을 가능하도 록 함으로써, 기존 비-균일 양자화 알고리즘과 비슷한 물체 추적의 정확도를 얻을 수 있도록 한다. 본 논문의 구성은 다음과 같다. 제 2장에서는 기존 평균 이동 물체 추적 알고리즘의 소개 및 색-공간 균일 양자화 방법을 설명한다. 3장에서는 2장에서 확인한 기존 알고리 즘의 문제점을 해결하기 위하여 색 히스토그램 평활화를 기반으로 한 비-균일 색-공간 양자화 방식을 설명하고, 이 를 적용한 평균 이동 물체 추적 알고리즘을 제안한다. 4장 에서는 제안하는 기법의 성능을 보여주기 위한 실험 및 결 과를 보여주고, 5장에서 본 논문의 결론을 맺는다. II. 평균 이동 물체 추적 알고리즘 본 장에서는 기존 평균 이동 물체 추적알고리즘의 분석을 통해 비-균일 색-공간 양자화 기법의필요성을 설명한다. 커 널 기반 평균 이동 물체 추적은 추적하고자 하는 물체가 포 함되어 있는 표적 모델과 이의 비교 대상이 되는 표적 후보 간의 색 히스토그램 유사성을 비교한 후 최적의 표적 후보 위치를 결정한다. 표적 모델은 물체 추적첫장면에서만 설 정되며, 표적 모델 및 표적 후보 모델 간 히스토그램 유사성 의 비교를 위한 Bhattacharyya 계수는 같이 정의된다. y≡pyq     y (1) 위 식에서 는 히스토그램 빈 위치를, q  와 py  yyy는 개의 히스토그램 빈 을 가지며 각각 등방성 커널 로 가중치가 적용된 표적 모델과 y위치에서의 표적 후보 히스토그램이며, 이들 히스 토그램은 다음과 같이 정의된다.       x       xx  y       ∥ yx∥       ∥ yx∥x  (2) 여기서 x는 표적 모델의 i-번째화소 좌표를, x는 표적 후보의 i-번째화소 좌표를 의미하며, ⋅는 커널 함수,  및 는 표적모델 및 표적 후보의 화소 개수를 뜻한다. 또한  함수는 Kronecker 델타 함수이며,  함수는 RGB 색-공간 화소에 균일 양자화를,  함수는 양자화 된 RGB 색-공간 화소를 과  사이의 1차원 빈 값으로 매핑시키 는 함수이다. 식 (1)과 같이 Bhattacharyya 계수는 표적 모델과 표적 후보 간 같은 위치의 히스토그램 값들을곱한 후 이를 모두 더하여 얻게 되며, 값이 높을수록두커널 간 유사성이 높다 고 할 수 있다. 따라서두히스토그램에서 유사한 값을 가지 는 빈이 많을수록 높은 Bhattacharyya 계수를 얻을 수 있다. 또한 식 (2)에서 볼 수 있듯이, q와 py는 등방성 커널 로 가중치가 적용되기 때문에 커널 중심에서멀어질수 332 방송공학회논문지 제19권 제3호, 2014년 5월 (JBE Vol. 19, No. 3, May 2014) 록 히스토그램에 영향이작아지게 되며, 가까울수록 큰 영향 을준다. 즉, 커널 중심에 가까운 화소일수록 Bhattacharyya 계수의 계산 시 보다 많은 영향을 준다. 표적 모델 q는 물체 추적을 하고자 하는 첫 장면에서 계산되며, 표적 후 보 py는 현재 영상 위치에서 표적이 있을 것이라 예상 되는 영역에서 얻는다. 표적 후보 영역에서의 초기 위치인 y는 이전 장면의 물체 추적 성공 위치와 동일하며, 이후 Bhattacharyya 계수가 최대가 되는 위치 y은 다음과 같은 계산을 반복함으로써 얻을 수 있다. y      ∥ yx ∥      x∥ yx ∥ (3) 위 식에서 y는 현재 표적 후보의 위치를 나타내고,   ′이며, 각 화소 위치 x에 대한 평균 이동 가중치  는 다음의 식으로 주어진다.        y  x  (4) 이 후, 평균이동 벡터 yy가 0에 수렴할 때까지 y을 y으로 재설정 후, 새로운 y을 찾는 것을 반복하여 최적의 y을 찾는다. 즉, 화소 위치 x에 대한 평균 이동 가중치  는 표적 모델 q과 표적 후보 py에서 양자화 된 색상 x에해당하는빈 값의비율로얻게 되며, 따라서 평균 이동벡터yy 계산에표적모델과표적후보모델의히스 토그램 비율이 절대적인 영향을 미치고 있음을 알 수 있다. 이와 같이, 표적 모델과 표적 후보 모델의 색-공간 히스 토그램은 평균 이동 알고리즘의 핵심인 평균 이동 벡터 계 산에 영향을준다. 하지만 실시간 물체 추적을 목표로 하는 평균 이동 알고리즘에서는 복잡도 감소를 위해 색-공간 (히 스토그램) 양자화를 수행하며, 히스토그램이 특정 영역에 편중되어 분포하는 영상에서는 양자화로 인해 특정 히스토 그램 빈에 값이 집중되는 현상이 발생할 수 있다. 그림 1은 이를 확인하기 위해 Campus1 실험 영상에서 표적 모델의 색 히스토그램 분포도 및 색-공간 균일 양자화의 결과를 도 시한 것이다. 그림 1(b)의 가로축은 표적 모델 RGB 채널의 28개 히스토그램 빈을, 세로축은 빈도수를 의미하며, 그림 1(c)의 가로축은 RGB 채널을 통합한 히스토그램 분포도로, 224개의 히스토그램 빈을 212개로 색-공간 별 균일 양자화 를 수행하여 색-공간을 병합한 인덱스를 의미하며1), 세로 축은 등방성 커널 로 가중된 양자화된 히스토그램 빈 도수를 표현한 것이다. 그림 1(a)와 1(b)에서볼수 있는 바 와 같이, 이 표적 모델은 명암 비가좋지 않기 때문에 RGB 세 채널의 히스토그램이 모두 좁은 범위에 분포되어 있는 것을 알 수 있다. 따라서 이로 인해 그림 1(c)와 같이 양자화 가 적용된 표적 모델 히스토그램이 몇 몇 빈에 집중되어 있는 것을 확인할 수 있다. 그림 1. Campus1 실험 영상에서의 표적 모델 히스토그램 분포도 (a) 표적 모델 영상 (b) RGB 채널의 히스토그램 분포 (c) 양자화가 적용된 표적 모델 히스토그램 Fig. 1. Histogram distribution of target model of Campus1 test sequence (a) target model image (b) Histogram distribution of RGB channels (c) quantized target model histogram distribution 이와 같이 명암비가좋지 않은 영상은 표적 모델과 더불 1) 기존의 평균 이동 추적 기법들에서는 R, G, B 각 색-공간을 보통 16으로 (색-공간 별) 균일 양자화 하여 16x16x16=212 개의 히스토그램 빈을 생성하 고, 이를 이동 추적에 사용하였다. 최장원 외 2인 : 실시간 평균 이동 추적 알고리즘의 성능 개선을 위한 히스토그램 평활화 기반 색-공간 양자화 기법 333 (Jangwon Choi et al. : Histogram Equalization Based Color Space Quantization for the Enhancement of Mean-Shift Trancking Algorithm) 그림 2. Campus1 실험영상에서의표적모델과 표적후보모델 히스토그램 분포도 (a) 표적모델영상 (b) 표적후보영상 (c) 양자화가적용된표적모델과 표적 후보 모델 히스토그램 Fig. 2. Histogram distribution of target model and target candidate model of Campus1 test sequence (a) target model image (b) target candidate model image (c) quantized target model and target candidate model histogram distribution 어 표적 후보 또한 소수의 히스토그램 빈에 값이몰리게 되 며, 따라서 표적 모델과 표적 후보 사이의 히스토그램 비교 후보군이 감소하게 되고, 양자화 오차가 평균이동 알고리즘 에 큰 영향을 미칠수 있게 된다. 즉, 그림 2(c)와 같이 표적 모델 및 표적 후보y 의 히스토그램이 몇 몇 히스토 그램 빈에 집중되어 서로 중복되는 빈의 개수가 줄어든다. 이로 인해 두 히스토그램의 비율로 결정되어지는  값은 소수의 빈을 제외하고는 모두 0으로 계산되며, 이는 를 가중치로 하여 얻어지는 평균 이동 벡터 계산 결과의 정확도 감소 원인이 된다. 실제로 그림 2(c)에서 얻은 표적 모델과 표적 후보 히스토그램을 분석한 결과, 표적 모델 히스토그램 에서 0이아닌값을 갖는 빈은 전체 212개의 빈 중에 119개 였으며 표적 후보 히스토그램에서는 71개였다. 또한 서로 중복되어   계산에 영향을 줄 수 있는 빈은 고작 49개에 그쳤다. 따라서 이러한 문제점을 해결하기 위해서는 표적 모 델 및 표적 후보 모델의 색 히스토그램 분포를 조절하여 비 교 후보군을충분히 확보함으로써 평균 이동 벡터 계산 결과 의 정확도를 높이는 기법이 요구된다 할 수 있다. III. 비-균일 색-공간 양자화를 이용한 평균 이동 물체 추적 기법 앞서 언급한 바와 같이, 영상의 색-공간 히스토그램 분포 가 편중된 경우 색-공간 균일 양자화로 인해 특정 히스토그 램 빈들에만 값이 존재하는 현상이 발생하며, 이는 히스토 그램 유사성 비교 결과의 신뢰도를 감소시킬 수 있다. 이러 한 문제를 해결하기 위해 색-공간 내에 물체의 색이 존재하 는 영역을 그 색 분포에 따라 비-균일하게 대표화 할 수 있 는 비-균일 양자화 알고리즘이 제안되었다. 이 알고리즘 은 커널 영역 내 화소 값들을 클러스터링하여 분류한 후, 각 클러스터의 직교정규 변환(orthonormal transform) 결과 를 이용하여 최적의 히스토그램 빈 영역을 계산한다. 이를 통해 클러스터 개수만큼의 비-균일한 히스토그램 빈 영역