증류 (인공지능)

인공지능 분야에서 증류는 대규모 모델의 학습 결과를 압축하여 소형 모델에 이식하는 기법을 의미한다. 대형 언어 모델(LLM)과 같이 파라미터 수가 많은 모델은 높은 정확도를 보이지만, 추론 시 많은 비용과 시간이 소요된다. 증류는 이러한 대형 모델을 '교사(Teacher)'로 삼아 '학생(Student)' 모델이 그 출력 특성을 학습하게 함으로써, 실용적인 배포가 가능한 수준으로 모델을 경량화한다. 최근에는 딥시크(DeepSeek)가 증류 기술을 활용하여 저비용으로 고성능 모델을 구축한 사례가 대표적인 성공 사례로 꼽힌다.

증류 과정은 크게 교사 모델의 지식 추출과 학생 모델의 학습 단계로 나뉜다.

1. 교사 모델 준비: GPT-4, Llama 3, DeepSeek-R1과 같이 이미 대규모 데이터로 학습된 고성능 모델을 선정한다.
2. 학생 모델 설계: 교사 모델보다 레이어 수나 파라미터가 적은 간단한 구조의 모델을 설계한다.
3. 지식 전달: 교사 모델의 출력을 학생 모델의 학습 데이터로 사용한다. 이때 단순한 정답(Hard Target)뿐만 아니라 교사 모델이 예측한 확률 분포인 '소프트 타겟(Soft Target)'을 함께 학습한다.
4. 미세 조정: 실제 데이터를 활용하여 학생 모델의 성능을 추가로 보완한다.

소프트 타겟과 온도 조절

학생 모델은 교사 모델이 내놓은 각 클래스별 확률 분포를 학습한다. 예를 들어 이미지 분류 시 단순히 '강아지'라는 결과만 배우는 것이 아니라, '강아지일 확률 80%, 고양이일 확률 15%, 여우일 확률 5%'와 같은 세부적인 관계를 학습한다.

확률 분포를 더 부드럽게 만들기 위해 소프트맥스 함수에 온도 계수 $T$를 적용하는 온도 조절(Temperature Scaling) 기법이 사용된다. $T > 1$인 경우 확률 분포가 평탄해져 학생 모델이 클래스 간의 미세한 상관관계를 더 쉽게 파악할 수 있다.

손실 함수

학생 모델은 학습 시 두 가지 손실을 최소화하는 방향으로 최적화된다.

• 증류 손실(Distillation Loss): 교사 모델의 소프트 타겟과 학생 모델 예측값 사이의 차이를 측정하며, 주로 KL 발산(KL-Divergence)을 사용한다.
• 학생 손실(Student Loss): 실제 정답 레이블과 학생 모델 예측값 사이의 차이를 측정하며, 교차 엔트로피를 사용한다.

장점

• 리소스 절약: 적은 메모리와 컴퓨팅 파워로 구동이 가능하여 운영 비용이 절감된다.
• 속도 향상: 모델이 가벼워짐에 따라 추론 시간이 단축되어 실시간 응용 서비스에 유리하다.
• 에지 컴퓨팅 적합: 하드웨어 성능이 제한적인 모바일 기기나 IoT 장치에 AI 모델을 탑재하기 용이하다.

한계

• 성능 저하: 복잡한 작업에서는 원본 교사 모델에 비해 성능이 떨어질 수 있다.
• 범용성 감소: 특정 태스크에 특화되어 증류된 경우, 다른 일반적인 작업에 적용하기 어려울 수 있다.
• 복잡한 과정: 효과적인 증류를 위해 교사 모델을 선정하고 학습 과정을 설계하는 데 추가적인 노력이 필요하다.