순환 신경망

순환 신경망은 이전 단계의 출력이 현재 단계의 입력에 영향을 주는 구조를 가진다. 전통적인 피드포워드 신경망이 입력과 출력을 독립적으로 가정하는 것과 달리, RNN은 은닉층의 노드에서 활성화 함수를 지난 결과값을 출력층으로 보내는 동시에 다시 은닉층 노드의 다음 계산 입력으로 보낸다. 이를 통해 시퀀스 내의 이전 정보를 '메모리' 형태로 유지한다.

각 시점 $t$에 대해 활성화 상태 $a^{<t>}$와 출력 $y^{<t>}$는 다음과 같은 수식으로 표현된다.

$a^{<t>} = g_1(W_{aa}a^{<t-1>} + W_{ax}x^{<t>} + b_a)$ $y^{<t>} = g_2(W_{ya}a^{<t>} + b_y)$

여기서 $W$는 가중치 계수, $b$는 편향이며, 이들은 모든 시점에서 공유된다. 이러한 구조를 통해 RNN은 입력 신호의 길이가 한정되지 않은 동적 데이터를 처리할 수 있다. RNN은 유한 임펄스 구조와 무한 임펄스 구조로 나뉘며, 유한 임펄스 구조는 순방향 신경망으로 재구성 가능하지만 무한 임펄스 구조는 불가능하다.

RNN의 기초는 1982년 존 홉필드가 발명한 홉필드 네트워크와 1986년 데이비드 루멜하르트의 연구에 기반을 둔다. 1993년에는 1,000개 이상의 레이어로 구성된 정적 RNN을 이용해 '매우 깊은 학습(Very Deep Learning)'을 구현하는 데 성공하였다. 이후 1997년 제프 혹스라이터와 위르겐 슈미트후버가 장단기 메모리(LSTM)를 발명하며 기존 RNN의 한계를 극복하는 계기를 마련하였다. LSTM은 여러 응용 분야에서 독보적인 정확성을 보여주었으며, 이후 게이트 순환 유닛(GRU) 등 다양한 변형이 등장하였다.

기본적인 RNN은 정보의 거리가 멀어질수록 학습 능력이 저하되는 장기 의존성 문제를 겪는다. 이를 해결하기 위해 게이트 구조를 도입한 모델들이 개발되었다.

• 장단기 메모리(LSTM): 게이트된 상태를 통해 정보를 선택적으로 저장하거나 삭제하여 장기 의존성 문제를 해결한다. 입력 게이트, 망각 게이트, 출력 게이트로 구성된다.
• 게이트 순환 유닛(GRU): LSTM의 구조를 간소화한 형태로, 업데이트 게이트와 리셋 게이트만 사용하여 유사한 성능을 내면서도 계산 효율성을 높였다.
• 양방향 RNN(Bidirectional RNN): 특정 시점의 출력을 결정할 때 과거의 정보뿐만 아니라 미래의 시퀀스 정보까지 함께 고려한다. 두 개의 RNN을 역방향으로 결합하여 구현한다.
• 심층 RNN(Deep RNN): 여러 개의 RNN 층을 쌓아 더 높은 수준의 표현을 학습할 수 있도록 한 구조이다.

RNN은 일반적으로 시간 역전파(Backpropagation Through Time, BPTT)를 통해 학습된다. BPTT는 순환 구조를 시간 축으로 펼친 후 역전파를 적용하는 방식이다. 시퀀스가 길어질수록 그래디언트가 소실되거나 폭발하는 문제가 발생할 수 있으며, 이를 완화하기 위해 그래디언트 클리핑(Gradient Clipping) 기법이 사용된다.

특히 시퀀스가 길어질수록 처음의 정보가 끝까지 전달되지 못하는 그래디언트 소실 문제가 발생하며, 이는 순차적 처리 특성상 병렬화가 어려워 학습 속도가 느리다는 단점과 함께 트랜스포머(Transformer)와 같은 새로운 아키텍처가 등장하는 배경이 되었다.

순환 신경망은 데이터의 순서가 중요한 다양한 분야에서 활용된다.

• 자연어 처리(NLP): 언어 번역, 감정 분석, 다음 단어 예측, 기계 번역 등에 사용된다.
• 음성 및 필기 인식: 시변적 특징을 지니는 음성 신호나 필기 궤적을 분석하여 텍스트로 변환한다.
• 시계열 예측: 과거의 기상 데이터, 홍수 수위, 주식 가격, 교통량 등을 기반으로 미래 수치를 예측한다.
• 이미지 캡션: 이미지의 내용을 분석하여 이를 설명하는 순차적인 문장을 생성한다.
• 비디오 분석: 비디오 프레임 간의 시간적 관계를 학습하여 행동 인식이나 이벤트 탐지에 활용된다.