신경망 학습에서 가중치 교란에 의한 국부적 최적해 탈출

다층 퍼셉트론(multilayer perceptron)의 학습 방법인 오류 역전파(error backpropagation) 알고리즘은 오차를 최소화하기 위한 전략으로 오차 표면의 기울기를 이용하는 경사하강법을 사용한다. 임의로 가중치를 초기화한 후 오류 역전파 알고리즘을 통해 학습을 진행시키면 각각의 은닉 노드가 패턴 공간에서 하나의 특징을 추출하는 역할을 하게 된다. 따라서 오류 역전파 알고리즘은 전역적 최적해에 수렴했을 때뿐만 아니라 국부적 최적해에 수렴했을 때에도 많은 은닉 노드들이 유효한 ‘feature detector'일 수 있다고 판단할 수 있다. 즉, 오류 역전파 학습의 중요한 특성은 학습이 진행되어 감에 따라 각 은닉 노드를 입력 패턴들의 특징을 구분해 주는 하나의 기능적 단위로 간주할 수 있게 한다. 이러한 특성을 이용하여 국부적 탐색에서 매우 효율적인 경사하강법과 가중치 교란을 결합함으로써 전역적 최적해를 찾을 수가 있다. 제안된 알고리즘은 먼저 오류 역전파 알고리즘으로 학습을 수행하다가 오류 역전파 알고리즘이 국부적 최적해에 수렴하게 되면 국부적 최적해를 유발 시키는 은닉 노드들의 가중치를 교란시킴으로써 전역적 최적해를 탐색하는 알고리즘이다. 시뮬레이션을 통하여 벤치마크 문제들인 4-비트 패리티(4-bit parity) 문제와 “horseshoes" 문제에 적용한 결과 제안도니 재초기화 방법이 매우 효율적임을 알 수 있었다.