mHC (딥러닝)

mHC(Manifold-Constrained Hyper-Connections)는 딥시크가 개발한 대규모 언어 모델 학습을 위한 아키텍처 프레임워크이다. 기존 딥 트랜스포머 모델은 층이 깊어질수록 정보 흐름이 약해지고 학습 불안정성이 증가하는 문제가 있다. mHC는 이러한 문제를 해결하기 위해 하이퍼커넥션 구조에 다양체 제약을 도입하여, 깊은 신경망에서도 안정적인 정보 전달을 보장한다. 이 기법은 연산 부담을 크게 늘리지 않으면서 모델 확장성을 높이는 데 초점을 맞춘다.

대규모 언어 모델(LLM)의 성능을 높이기 위해 전통적으로 모델 크기와 데이터 양을 늘리는 '브루트 포스' 방식이 사용되어 왔다. 그러나 이 방식은 연산 비용과 학습 불안정성을 급격히 증가시킨다. 딥시크는 사전 학습 단계에서 같은 비용으로 더 큰 효과를 내기 위해 mHC를 개발하였다. mHC는 모델의 깊이가 증가할 때 정보 흐름이 소멸되거나 폭발하는 현상을 완화하여, 더 깊고 큰 모델을 안정적으로 학습할 수 있게 한다.

mHC는 하이퍼커넥션(Hyper-Connections) 구조를 기반으로 한다. 하이퍼커넥션은 층 간 연결을 동적으로 조정하여 정보 흐름을 최적화하는 기법이다. 여기에 다양체 제약(Manifold Constraint)을 추가하여 연결 가중치가 특정 다양체(manifold) 위에 놓이도록 강제함으로써, 학습 과정에서의 불안정성을 줄이고 일반화 성능을 높인다. 이는 모델이 깊어져도 그래디언트가 잘 전파되도록 돕는다.

mHC는 DeepSeek V4 시리즈(V4-Pro, V4-Flash)의 핵심 구성 요소이다. V4는 mHC 외에도 하이브리드 어텐션(Hybrid Attention), Engram, Native Sparse Attention(NSA) 등의 기법을 결합하여 최대 100만 토큰의 긴 문맥을 처리할 수 있다. mHC는 모델의 깊이를 안정적으로 확장하는 기반을 제공하며, 추론 메모리를 이전 세대 대비 90% 줄이는 데 기여한다. V4-Pro는 총 1조 6000억 개의 파라미터 중 490억 개만 활성화하는 전문가 혼합(MoE) 구조를 채택하였다.

mHC의 주요 장점은 사전 학습 비용을 크게 낮추면서도 모델 성능을 유지 또는 향상시킨다는 점이다. 이는 중소 기업과 개인 개발자도 고성능 LLM을 활용할 수 있는 길을 열어준다. 또한 mHC는 모델 확장 시 연산 부담과 불안정성을 크게 추가하지 않으므로, 향후 더 큰 모델 개발의 기반이 될 수 있다. IBM의 엔지니어들은 이 혁신이 AI 업계의 패러다임을 바꿀 수 있다고 평가하였다.

mHC는 아직 초기 단계의 기술로, 실제 배포 환경에서의 검증이 더 필요하다. 일부 전문가들은 mHC가 특정 하드웨어나 소프트웨어 스택에 최적화되어야 할 수 있다고 지적한다. 또한 mHC의 효과는 모델 규모와 데이터 특성에 따라 달라질 수 있어, 추가 연구가 필요하다. 딥시크는 V4 시리즈를 오픈소스로 공개하여 커뮤니티의 검증을 유도하고 있다.