버로우즈-휠러 변환과 다단계 정렬을 이용한 고속 한글 문서 탐색 기법

표절이 심각한 사회적 문제로 부각되면서 표절 탐색에 대한 연구가 활발하게 진행되고 있다. 하지만 표절 탐색 시스템들은 표절의 검사와 문서의 수집에 대해서만 관심을 가질 뿐, 원문을 보호하는 측면은 고려하지 않는다. 저자들은 보통 자신의 저작물이 표절 탐색을 위해 무단으로 수집되는 것을 원하지 않기 때문에 표절 검사 문제와 이를 위한 데이터 수집 문제는 서로 상충할 수 밖에 없다. 따라서 본 논문에서는 원문을 보호함과 동시에 빠른 유사도 탐색을 수행하는 방법을 제안하고자 한다. 이 시스템은 색인을 위한 접미사 배열을 생성하고 저장하기 위하여 버로우즈-휠러 변환(Burrows-Wheeler Transform, BWT)을 사용하며, 유사 영역을 사용자 선택적으로 찾기 위하여 다단계 정렬(Multi-Level Alignment, MLA)이라는 방법을 활용한다. 또한 원문을 보호하기 위하여 손실 압축의 일종인 한글 스킨 추출을 사용한다. 실험 결과 제안한 모델을 통해 원문을 매우 효과적으로 보호하면서, 20자 이상의 검색어에 대해서는 매우 정확하게 검색을 수행함을 알 수 있었다. 또한 다단계 정렬을 통해 사용자가 속도와 검색 민감도를 적절히 조절하면서 유사 영역을 탐색할 수 있었다.