하이브리드 어텐션

하이브리드 어텐션(hybrid attention)은 트랜스포머(Transformer) 아키텍처에서 표준 셀프 어텐션(self-attention)의 한계를 극복하기 위해 제안된 접근 방식이다. 표준 어텐션은 시퀀스 길이에 따라 계산량이 제곱으로 증가하는 문제가 있으며, 이를 해결하기 위해 여러 종류의 어텐션 메커니즘을 결합하거나 어텐션과 다른 효율적인 연산(예: 상태 공간 모델, 합성곱)을 혼합한다. 하이브리드 어텐션은 모델의 성능을 유지하면서도 계산 비용을 줄이고 장문맥(long-context) 처리 능력을 향상시키는 데 기여한다.

트랜스포머 모델의 핵심인 셀프 어텐션은 입력 시퀀스의 모든 토큰 쌍 간의 관계를 계산하므로 시퀀스 길이 $n$에 대해 $O(n^2)$의 시간 및 메모리 복잡도를 가진다. 이는 긴 문맥을 필요로 하는 작업(예: 문서 요약, 코드 생성, 에이전트 워크플로)에서 심각한 병목이 된다. 희소 어텐션(sparse attention)이나 슬라이딩 윈도우 어텐션 등 다양한 경량화 기법이 제안되었으나, 특정 상황에서는 정보 손실이 발생할 수 있다. 하이브리드 어텐션은 이러한 단일 메커니즘의 한계를 보완하기 위해 서로 다른 특성을 가진 어텐션 방식을 조합하거나, 어텐션과 상태 공간 모델(state space model) 같은 대체 연산을 함께 사용한다.

하이브리드 어텐션은 크게 두 가지 방향으로 분류할 수 있다. 첫째, 여러 어텐션 메커니즘을 결합하는 방식이다. 예를 들어 HAT(Hybrid Attention Transformer)는 채널 어텐션(channel attention)과 셀프 어텐션을 결합하여 이미지 초해상도(super-resolution) 작업에서 성능을 향상시켰다. 또한 인접한 윈도 간의 상호작용을 개선하기 위해 오버랩되는 크로스 어텐션 모듈을 도입한다. 둘째, 어텐션과 다른 구조를 혼합하는 방식이다. HySparse는 희소 어텐션 아키텍처에 Oracle Token Selection과 KV 캐시 공유를 도입하여 장문맥에서 효율성을 높였다. Switch Attention은 동적이고 세분화된 하이브리드 트랜스포머를 제안하여 각 레이어나 토큰에 따라 다른 어텐션 방식을 선택한다. 또한 최근 연구에서는 셀프 어텐션과 Mamba 같은 상태 공간 모델을 결합한 하이브리드 언어 모델이 긴 문맥 작업에서 우수한 성능을 보였다.

하이브리드 어텐션은 자연어 처리(NLP)와 컴퓨터 비전(CV)을 포함한 다양한 분야에서 활용된다. 자연어 처리에서는 긴 문서의 요약, 질의응답, 코드 생성 등 장문맥이 필요한 작업에서 계산 효율성을 높이는 데 사용된다. 컴퓨터 비전에서는 이미지 초해상도, 객체 검출, 영상 분할 등에서 공간적 정보와 채널 정보를 동시에 활용하기 위해 적용된다. 특히 HAT은 초해상도 작업에서 기존 방법보다 1dB 이상의 성능 향상을 보였다. 또한 에이전트 워크플로와 테스트-타임 스케일링(test-time scaling) 같은 새로운 패러다임에서도 하이브리드 어텐션이 중요한 역할을 한다.

하이브리드 어텐션은 여러 메커니즘을 결합함으로써 추가적인 설계 복잡성을 수반한다. 어떤 조합이 특정 작업에 최적인지 결정하는 것이 어렵고, 하이퍼파라미터 튜닝이 까다롭다. 또한 결합 방식에 따라 모델의 크기와 추론 속도가 증가할 수 있으며, 일부 하이브리드 구조는 표준 어텐션보다 학습이 불안정할 수 있다. 향후 연구는 동적이고 세분화된 하이브리드 전략의 자동 탐색과 하드웨어 친화적인 구현에 초점을 맞출 것으로 예상된다.

하이브리드 어텐션과 관련된 주요 연구로는 다음이 있다.

• HAT (Hybrid Attention Transformer): 채널 어텐션과 셀프 어텐션을 결합하여 이미지 초해상도에 적용한 모델이다. 오버랩되는 크로스 어텐션 모듈을 통해 인접 윈도 간 상호작용을 개선했다.
• HySparse: 희소 어텐션 아키텍처에 Oracle Token Selection과 KV 캐시 공유를 도입하여 장문맥에서의 효율성을 극대화한 모델이다.
• Switch Attention: 동적이고 세분화된 하이브리드 트랜스포머로, 각 레이어나 토큰에 따라 다른 어텐션 방식을 선택한다.
• Hybrid Architectures for Language Models: 셀프 어텐션과 Mamba 같은 상태 공간 모델을 결합한 하이브리드 언어 모델에 대한 체계적인 분석을 제공한다.