Unsloth

Unsloth는 대규모 언어 모델(LLM)과 비전 언어 모델(VLM)의 훈련 및 미세 조정을 위해 설계된 오픈소스 프레임워크이다. Unsloth AI 팀이 개발하였으며, PyTorch 생태계 위에서 동작한다. 기존의 미세 조정 방식보다 2~5배 빠른 훈련 속도와 최대 60% 낮은 VRAM 사용량을 제공한다. Apache-2.0 라이선스로 배포되어 누구나 자유롭게 사용할 수 있다.

Unsloth는 다음과 같은 주요 기능을 제공한다.

• 고속 미세 조정: QLoRA, LoRA 등 효율적인 미세 조정 기법을 지원하며, 2~5배 빠른 훈련 속도를 달성한다.
• 긴 컨텍스트 훈련: 새로운 알고리즘을 통해 단일 GPU에서 500K 이상의 컨텍스트 길이 훈련이 가능하다. 예를 들어, 80GB H100 GPU에서 gpt-oss-20b 모델을 500K 컨텍스트로 훈련할 수 있으며, B200 GPU에서는 750K 이상까지 확장된다.
• 메모리 최적화: Fused Chunked Cross-Entropy Loss, Gradient Checkpointing, Tiled MLP 등의 기술로 VRAM 사용량을 60% 줄이고 컨텍스트 길이를 3.2배 늘린다.
• 강화 학습 지원: 최신 버전(v2026.4.8)에서 강화 학습(Reinforcement Learning) 훈련을 지원한다.
• 모델 내보내기: GGUF, safetensors 등 다양한 형식으로 모델을 내보낼 수 있다.

Unsloth Studio는 Unsloth의 노코드 웹 UI이다. 베타 버전으로 공개되었으며, 로컬 환경에서 모델 훈련, 실행, 내보내기를 통합된 인터페이스로 제공한다. GGUF와 safetensors 형식을 지원하며, 코드 작성 없이도 미세 조정을 수행할 수 있다. 오픈소스로 제공된다.

Unsloth는 pip, uv, Docker를 통해 설치할 수 있다. Python 3.9 이상이 필요하며, CUDA 버전에 따라 다양한 휠 패키지(cu118, cu121 등)를 제공한다. macOS와 Windows에서도 설치가 가능하다. 공식 문서에서 Colab 노트북을 포함한 다양한 예제를 제공한다.

pip install unsloth

또는 특정 CUDA 버전에 맞게 설치할 수 있다.

pip install unsloth[cuda121]

Unsloth는 기존의 미세 조정 방식 대비 2~5배 빠른 훈련 속도를 보인다. 긴 컨텍스트 훈련에서도 우수한 성능을 발휘하며, 80GB H100 GPU에서 gpt-oss-20b 모델을 500K 컨텍스트로 훈련할 수 있다. B200 GPU에서는 750K 이상의 컨텍스트 윈도우를 지원한다. 메모리 사용량은 최대 60% 감소하며, 컨텍스트 길이는 3.2배 증가한다. 이러한 성능 향상은 Fused Chunked Cross-Entropy Loss, Gradient Checkpointing, Tiled MLP 등의 최적화 알고리즘 덕분이다.

• LLM 미세 조정
• QLoRA
• Hugging Face Transformers
• PyTorch