Ollama는 사용자가 자신의 컴퓨터에서 대규모 언어 모델(LLM)을 직접 구동할 수 있게 해주는 오픈 소스 소프트웨어이다. 복잡한 설정 과정 없이 터미널 명령어를 통해 다양한 오픈 소스 모델을 설치하고 관리할 수 있는 환경을 제공하며, 로컬 실행뿐만 아니라 클라우드 확장 기능도 지원한다.

배너 광고

개요

Ollama는 오픈 소스 인공지능 모델을 로컬 환경에서 구축하고 실행하는 과정을 단순화하기 위해 개발된 도구이다. 사용자는 클라우드 서비스에 의존하지 않고 자신의 하드웨어 자원을 활용하여 언어 모델을 구동할 수 있다. 터미널 기반의 인터페이스를 통해 모델의 다운로드부터 실행까지의 과정을 직관적으로 처리하는 것이 특징이다.

주요 기능

Ollama는 로컬 LLM 운용을 위한 다양한 편의 기능을 제공한다.

  • 모델 관리: 간단한 명령어로 모델을 가져오거나(pull) 실행(run)할 수 있다.
  • 워크플로우 자동화: OpenClaw, Claude Code 등 다양한 애플리케이션과 연동하여 작업을 자동화할 수 있다.
  • 클라우드 확장: 로컬 환경을 넘어 더 크고 빠른 모델이 필요한 경우 클라우드 인프라를 통해 확장할 수 있는 기능을 지원한다.
  • 병렬 처리: 여러 요청을 동시에 처리할 수 있는 기능을 포함하여 효율성을 높였다.

지원 모델

다양한 최신 오픈 소스 모델을 지원하며, 지속적으로 새로운 모델이 추가되고 있다.

모델 시리즈주요 특징
Llama / Gemma메타와 구글에서 공개한 범용 모델
DeepSeek / Qwen추론 및 코딩 능력이 강화된 모델
GLM / MiniMax에이전트 워크플로우 및 코딩 특화 모델
Mistral / Kimi효율적인 성능을 제공하는 오픈 모델

설치 및 사용법

운영체제에 따라 최적화된 설치 방식을 제공한다.

설치 명령어

  • macOS 및 Linux: 터미널에서 다음 명령어를 실행한다.
curl -fsSL https://ollama.com/install.sh | sh
  • Windows: PowerShell에서 다음 명령어를 실행하거나 설치 파일을 내려받는다.
irm https://ollama.com/install.ps1 | iex

기본 사용법

설치 후 터미널에서 ollama를 입력하면 대화형 메뉴가 열린다. 특정 모델을 실행하려면 ollama run <모델명> 형식을 사용하며, ollama launch openclaw와 같은 명령어로 관련 도구를 실행할 수 있다.

기술적 구성

Ollama의 소스 코드는 주로 Go 언어(약 65.1%)로 작성되었으며, 성능 최적화를 위해 C(약 28.5%)와 C++ 등이 혼용되었다. 프로젝트는 MIT 라이선스에 따라 자유롭게 이용 및 수정이 가능하다. GitHub 저장소를 통해 전 세계 개발자들의 기여가 활발히 이루어지고 있으며, 17만 개 이상의 별(Star)을 기록하고 있다.

참고 자료

8

관련 문서