Hangul Handwriting Recognition using Recurrent Neural Networks

1. 서 론 필기체 인식은 컴퓨터가 다양한 형태의 필기 입력을 인 식하는 문제로서, 인공지능 분야의 대표적인 응용문제 중 하나로 여전히 활발히 연구되는 주제이다. 이미 쓰인 필기 정보를 입력으로 받는 오프라인 방식과, 펜촉의 움 직임 정보(좌표, 필기면 접촉 여부)를 기반으로 하는 온 라인 방식으로 크게 구분된다. 필기체 글자 인식의 경우, 기존에는 연구자별로 다양 한 특성(feature)을 추출하여 은닉마코프모델(HMM) 기반 의 알고리즘으로 인식하는 것이 일반적이었으나, 최근 딥러닝 기법으로 공통의 프레임 하에서 해법을 모색하는 것이 가능해졌다. 컨벌루션 신경망(CNN)과 순환신경망 (RNN)이 숫자 인식[1], 영어 인식[2], 중국어 인식[3], 아 라비아어 인식[4] 등에서 낱글자와 문장 인식 모두 기존 방법 대비 큰 성능 향상을 보인 바 있으며, 90% 중후반 대의 높은 성능을 보이기도 한다. 이러한 동향과는 달리, 한글 필기체 인식 문제의 경우 학계에서의 연구는 다른 언어에 비해 상대적으로 정체되어 있는 것으로 보인다. 은닉마코프모델(HMM) 또는 동적 베이지안망(DBN) 기반 의 인식 기법이 주로 사용되는 와중에[5][6] 최근 컨벌루 션 신경망을 이용한 오프라인 인식 결과가 발표되고 있 다[7][8]. 본 논문에서는 한글 필기체 인식 문제에서 온라인 방 식의 해법 체계를 정리하고, 순환신경망 기반의 딥러닝 기법의 가능성을 예비 실험을 통해 확인한 결과를 보고 한다.

[1]  Sang-Heon Lee,et al.  Improving discrimination ability of convolutional neural networks by hybrid learning , 2015, International Journal on Document Analysis and Recognition (IJDAR).

[2]  Aaron C. Courville,et al.  Recurrent Batch Normalization , 2016, ICLR.

[3]  Haikal El Abed,et al.  Guide to OCR for Arabic Scripts , 2012, Springer London.

[4]  Yoshua Bengio,et al.  Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation , 2014, EMNLP.

[5]  Sergey Ioffe,et al.  Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift , 2015, ICML.

[6]  Jürgen Schmidhuber,et al.  Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks , 2006, ICML.

[7]  Jin Hyung Kim,et al.  Ligature Modeling for Online Cursive Script Recognition , 1997, IEEE Trans. Pattern Anal. Mach. Intell..

[8]  Alex Graves,et al.  Supervised Sequence Labelling with Recurrent Neural Networks , 2012, Studies in Computational Intelligence.

[9]  Jürgen Schmidhuber,et al.  Long Short-Term Memory , 1997, Neural Computation.

[10]  Marcus Liwicki,et al.  A novel approach to on-line handwriting recognition based on bidirectional long short-term memory networks , 2007 .

[11]  Xiaohui Xie,et al.  Handwritten Hangul recognition using deep convolutional neural networks , 2014, International Journal on Document Analysis and Recognition (IJDAR).

[12]  J. Schmidhuber,et al.  Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks , 2008, NIPS 2008.

[13]  Jürgen Schmidhuber,et al.  Multi-column deep neural networks for image classification , 2012, 2012 IEEE Conference on Computer Vision and Pattern Recognition.

[14]  Jin Hyung Kim,et al.  Bayesian network modeling of Hangul characters for online handwriting recognition , 2003, Seventh International Conference on Document Analysis and Recognition, 2003. Proceedings..

[15]  Jeffrey L. Elman,et al.  Finding Structure in Time , 1990, Cogn. Sci..

[16]  Michael I. Jordan Attractor dynamics and parallelism in a connectionist sequential machine , 1990 .

[17]  Geoffrey E. Hinton,et al.  Speech recognition with deep recurrent neural networks , 2013, 2013 IEEE International Conference on Acoustics, Speech and Signal Processing.