전문가 혼합

전문가 혼합(MoE)은 인공지능 모델을 입력 데이터의 하위 집합을 전문으로 하는 별도의 하위 네트워크(전문가)로 나누어 작업을 공동으로 수행하는 머신러닝 접근 방식이다. 각 전문가는 독립적으로 학습되며, 게이팅 네트워크(또는 라우터)가 특정 입력을 처리할 전문가 또는 전문가 조합을 결정하고 각 전문가의 출력에 가중치를 할당한다. 이로 인해 시스템은 단일 모델보다 다양한 유형의 데이터를 더 잘 처리할 수 있다.

MoE 모델의 핵심 전제는 1991년 논문 '로컬 전문가의 적응형 조합(Adaptive Mixture of Local Experts)'에서 비롯되었다. 이 논문은 각각 다른 학습 사례의 하위 집합을 전문으로 하는 별도의 네트워크로 구성된 AI 시스템을 제안했으며, 전문가 네트워크와 게이팅 네트워크를 함께 학습시키는 방법을 다루었다. 저자들은 유사한 기존 모델과 비교했을 때 절반의 학습 에포크 만에 목표 정확도에 도달하여 학습 속도가 훨씬 빠르다는 것을 발견했다. 최근 몇 년간 생성형 AI와 대규모 언어 모델의 컴퓨팅 요구가 높아짐에 따라 MoE는 더 큰 모델의 용량과 더 작은 모델의 효율성 사이의 균형을 해결하는 주요 기법으로 부상했다.

MoE 아키텍처는 크게 두 가지 구성 요소로 이루어진다.

• 전문가 네트워크(Expert Networks): 각각 특정 데이터 패턴이나 작업을 전문으로 처리하는 여러 개의 하위 신경망이다. 각 전문가는 독립적인 매개변수를 가지며, 입력의 일부에 대해 학습된다.
• 게이팅 네트워크(Gating Network) 또는 라우터(Router): 입력 데이터를 분석하여 어떤 전문가(또는 전문가 조합)를 활성화할지 결정한다. 게이팅 네트워크는 각 전문가의 출력에 가중치를 할당하여 최종 결과를 조합한다.

현대의 MoE 구현은 대부분 스파스 MoE(Sparse MoE) 방식을 사용한다. 이는 모든 전문가를 활성화하는 대신 입력에 따라 일부 전문가만 선택적으로 활성화하여 계산 비용을 크게 줄인다. 예를 들어, Mixtral 8x7B 모델은 8개의 전문가 중 2개만 선택하여 사용한다.

MoE의 주요 장점은 다음과 같다.

• 계산 효율성: 모든 매개변수를 활성화하는 대신 필요한 전문가만 사용하므로 사전 학습 및 추론 시 계산 비용이 크게 줄어든다.
• 모델 용량 확장: 전체 매개변수 수는 매우 크게 유지하면서도 실제 계산량은 적게 가져갈 수 있어, 더 큰 모델을 구축할 수 있다.
• 전문화: 각 전문가가 특정 데이터 하위 집합에 특화되어 다양한 유형의 입력을 효과적으로 처리할 수 있다.
• 학습 속도: 초기 연구에서 MoE는 기존 모델보다 절반의 에포크 만에 목표 정확도에 도달하는 등 학습 속도가 빠르다.

MoE 아키텍처는 몇 가지 도전 과제를 안고 있다.

• 통신 오버헤드: 여러 전문가가 분산 환경에서 동작할 경우 전문가 간 통신 비용이 발생할 수 있다.
• 불균형 문제: 일부 전문가만 과도하게 선택되는 현상(라우터 불균형)이 발생할 수 있으며, 이를 완화하기 위한 추가 기법이 필요하다.
• 메모리 요구량: 전체 전문가의 매개변수를 메모리에 유지해야 하므로, 밀집 모델보다 더 많은 메모리가 필요할 수 있다.
• 학습 안정성: 게이팅 네트워크와 전문가 네트워크를 동시에 학습시키는 과정이 까다로울 수 있다.

MoE는 최근 대규모 언어 모델(LLM)에서 널리 사용된다. 대표적인 예로 OpenAI의 GPT-4와 Mistral AI의 Mixtral 8x7B가 있다. 이들 모델은 MoE 아키텍처를 채택하여 수십억 개의 매개변수를 가지면서도 효율적인 추론을 가능하게 한다. 또한 컴퓨터 비전 분야에서도 MoE가 적용되어 다양한 시각 작업에 활용되고 있다. 생성형 AI 모델의 규모가 계속 커짐에 따라 MoE는 모델 용량과 효율성 사이의 균형을 맞추는 핵심 기술로 자리 잡았다.