어텐션 메커니즘

어텐션 메커니즘은 기존 순환 신경망(RNN) 기반의 시퀀스 투 시퀀스(Seq2Seq) 모델이 가진 한계를 해결하기 위해 등장했다. 기존 모델은 입력 문장의 모든 정보를 하나의 고정된 크기의 컨텍스트 벡터(Context Vector)에 압축해야 했으며, 이 과정에서 정보 손실이 발생했다. 또한 문장이 길어질수록 초기 입력 정보가 소실되는 장기 의존성(Long-Term Dependencies) 문제와 기울기 소실(Vanishing Gradient) 문제가 발생하여 번역 성능이 저하되는 단점이 있었다. 이러한 문제를 해결하고자 2014년 바다나우(Bahdanau) 등이 기계 번역을 위한 모델에 어텐션 메커니즘을 처음 도입했다.

어텐션 메커니즘은 정보를 검색하고 추출하기 위해 세 가지 주요 요소를 사용한다.

• Query ($Q$): 현재 찾고자 하는 정보의 기준이 되는 표현이다.
• Key ($K$): 입력 데이터의 각 요소가 가진 고유한 특징을 나타내며, Query와 비교되는 대상이다.
• Value ($V$): Key와 연결된 실제 정보 값이다.

모델은 Query와 각 Key 사이의 유사도를 계산하여 어텐션 가중치를 산출한다. 이 가중치를 각 Value에 곱한 뒤 모두 더하는 가중합 과정을 거쳐 최종적인 출력 벡터를 생성한다.

어텐션의 동작 과정은 크게 세 단계로 나뉜다.

1. 유사도 계산: Query와 모든 Key 사이의 유사도를 측정한다. 유사도 함수로는 내적(dot product)이나 가산(Additive) 방식 등이 사용된다.
2. 가중치 산출: 계산된 유사도를 소프트맥스(Softmax) 함수 등을 통해 확률 분포 형태의 어텐션 가중치로 변환한다.
3. 가중합 계산: 산출된 가중치를 각 Value에 적용하여 합산함으로써, 현재 시점에서 가장 관련성이 높은 정보가 강조된 벡터를 얻는다.

수식으로 표현하면 다음과 같다.

$\text{Attention}(Q, K, V) = ext{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

여기서 $d_k$는 Key 벡터의 차원으로, 내적 값이 너무 커지는 것을 방지하기 위한 스케일링 팩터이다.

어텐션 메커니즘은 구조와 계산 방식에 따라 여러 형태로 변형되어 발전했다.

바다나우 어텐션 (Bahdanau Attention)

2014년에 제안된 방식으로, Query와 Key의 유사도를 단일 은닉층 신경망을 통해 계산하는 가산 어텐션 방식을 사용한다. 주로 RNN 기반 모델에서 성능 향상을 위해 쓰였다.

루옹 어텐션 (Luong Attention)

2015년에 제안되었으며, Query와 Key의 내적을 사용하여 유사도를 계산하는 승산 어텐션 방식을 취한다. 계산 과정이 비교적 간단하고 효율적이다.

셀프 어텐션 (Self-Attention)

입력 시퀀스 내의 각 요소가 서로에 대해 어텐션을 계산하는 방식이다. 문장 내 단어 간의 관계를 직접 모델링할 수 있으며, 트랜스포머 모델의 핵심 구성 요소이다.

멀티헤드 어텐션 (Multi-Head Attention)

여러 개의 어텐션 헤드를 병렬로 사용하여 각기 다른 표현 공간에서 정보를 동시에 추출한다. 이를 통해 모델이 다양한 관점에서 데이터를 이해할 수 있게 한다.

2017년 발표된 트랜스포머 모델은 RNN을 배제하고 어텐션 메커니즘만으로 아키텍처를 구성하여 연산 효율성을 극대화했다. 이는 데이터의 병렬 처리를 가능하게 하여 ChatGPT와 같은 대규모 언어 모델(LLM)의 학습 속도와 성능을 비약적으로 높였다.

현재 어텐션 메커니즘은 자연어 처리뿐만 아니라 이미지 캡셔닝, 시각적 질의응답 등 컴퓨터 비전 분야로도 확장되었다. 제한된 연산 자원을 효율적으로 사용하여 복잡한 데이터 간의 상관관계를 파악하는 데 핵심적인 역할을 수행한다.