순환 신경망

순환 신경망은 이전 단계의 출력이 현재 단계의 입력에 영향을 주는 구조를 가진다. 전통적인 피드포워드 신경망이 입력과 출력을 독립적으로 가정하는 것과 달리, RNN은 은닉층의 노드에서 활성화 함수를 지난 결과값을 출력층으로 보내는 동시에 다시 은닉층 노드의 다음 계산 입력으로 보낸다. 이를 통해 시퀀스 내의 이전 정보를 '메모리' 형태로 유지한다.

각 시점 $t$에 대해 활성화 상태 $a^{<t>}$와 출력 $y^{<t>}$는 다음과 같은 수식으로 표현된다.

$a^{<t>} = g_1(W_{aa}a^{<t-1>} + W_{ax}x^{<t>} + b_a)$ $y^{<t>} = g_2(W_{ya}a^{<t>} + b_y)$

여기서 $W$는 가중치 계수, $b$는 편향이며, 이들은 모든 시점에서 공유된다. 이러한 구조를 통해 RNN은 입력 신호의 길이가 한정되지 않은 동적 데이터를 처리할 수 있다.

RNN의 기초는 1982년 존 홉필드가 발명한 홉필드 네트워크와 1986년 데이비드 루멜하르트의 연구에 기반을 둔다. 1993년에는 1,000개 이상의 레이어로 구성된 정적 RNN을 이용해 '매우 깊은 학습(Very Deep Learning)'을 구현하는 데 성공하였다. 이후 1997년 제프 혹스라이터와 위르겐 슈미트후버가 장단기 메모리(LSTM)를 발명하며 기존 RNN의 한계를 극복하는 계기를 마련하였다.

기본적인 RNN은 정보의 거리가 멀어질수록 학습 능력이 저하되는 장기 의존성 문제를 겪는다. 이를 해결하기 위해 게이트 구조를 도입한 모델들이 개발되었다.

• 장단기 메모리(LSTM): 게이트된 상태를 통해 정보를 선택적으로 저장하거나 삭제하여 장기 의존성 문제를 해결한다.
• 게이트 순환 유닛(GRU): LSTM의 구조를 간소화한 형태로, 유사한 성능을 내면서도 계산 효율성을 높였다.
• 양방향 RNN(Bidirectional RNN): 특정 시점의 출력을 결정할 때 과거의 정보뿐만 아니라 미래의 시퀀스 정보까지 함께 고려한다.

순환 신경망은 데이터의 순서가 중요한 다양한 분야에서 활용된다.

• 자연어 처리(NLP): 언어 번역, 감정 분석, 다음 단어 예측 등에 사용된다.
• 음성 및 필기 인식: 시변적 특징을 지니는 음성 신호나 필기 궤적을 분석한다.
• 시계열 예측: 과거의 기상 데이터, 홍수 수위, 조수 간만의 차 등을 기반으로 미래 수치를 예측한다.
• 이미지 캡션: 이미지의 내용을 분석하여 이를 설명하는 순차적인 문장을 생성한다.

순환 신경망은 시퀀스 데이터 처리에 강력한 도구이나 명확한 한계점도 존재한다.

특히 시퀀스가 길어질수록 처음의 정보가 끝까지 전달되지 못하는 그래디언트 소실 문제가 발생하며, 이는 LSTM이나 GRU와 같은 개선된 모델을 통해 보완된다.