Reduce Redundant Repetition Using Decoding History for Sequence-to-Sequence Summarization

문서 요약 문제는 최근 심층 신경망을 활용하여 활발히 연구되고 있는 문제 중 하나이다. 많은 기존 연구 들이 주로 시퀀스-투-시퀀스 모델을 활용하여 요약을 수행하고 있으나, 아직 양질의 요약을 생성하기에는 많은 문제점이 있다. 시퀀스-투-시퀀스 모델을 활용한 요약에서 가장 빈번히 나타나는 문제 중 하나는 요 약문의 생성과정에서 단어나 구, 문장이 불필요하게 반복적으로 생성되는 것이다. 이를 해결하기 위해 다 양한 연구가 이루어지고 있으며, 이들 대부분은 요약문의 생성 과정에서 정확한 정보를 주기 위해 모델에 여러 모듈을 추가하였다. 하지만 기존 연구들은 생성 단어가 정답 단어로 나올 확률을 최대화 하도록 학 습되기 때문에, 생성하지 말아야 하는 단어에 대한 학습이 부족하여 반복 생성 문제를 해결하는 것에는 한계가 있다. 따라서 본 논문에서는 기존 요약 모델의 복잡도를 높이지 않고, 단어 생성 이력을 직접적으 로 이용하여 반복 생성을 제어하는 모델을 제안한다. 제안한 모델은 학습할 때 생성 단계에서 이전에 생 성한 단어가 이후에 다시 생성될 확률을 최소화하여 실제 모델이 생성한 단어가 반복 생성될 확률을 직접 적으로 제어한다. 한국어 데이터를 이용하여 제안한 방법을 통해 요약문을 생성한 결과, 비교모델보다 단 어 반복이 크게 줄어들어 양질의 요약을 생성하는 것을 확인할 수 있었다.