MapReduce를 이용한 대용량 보안 로그 분석

로그 수집 및 분석은 보안관리 시스템에서 매우 중요하다. 다양한 이기종의 보안 장비에서 발생시키는 보안 로그들은 점점 증가하고 있으며, 보안관리자는 이를 수집하고 한정된 시간 내에 공격 유무를 분석하고 대응하여야 한다. 기존 통합 보안관리시스템은 DBMS를 이용하여 보안로그를 저장하고 분석하지만, 대용량의 로그 분석에는 부족하다. 본 논문에서는 대용량 이기종의 보안로그들을 통합적으로 수집 및 분석 할 수 있는 MapReduce 기반의 보안로그 분석시스템을 제안한다. 방화벽, 침입탐지시스템, 웹 로그를 대상으로 정규화하고 공통필드를 대상으로 병합하여, 병합 비율과 수행시간을 비교하였다. 수천만 건 이상의 대용량 로그 병합 실험에서 제안시스템은 DBMS 질의 방식보다 노드 6개에서 85% 이상의 빠른 수행시간으로 우수함을 보였다.