[LLM] Ollama란? Mac에서 Exaone 4.0 로컬로 구동하기

Ollama, 도대체 무엇인가요?

간단히 말해, Ollama는 오픈소스 거대 언어 모델(LLM)을 내 컴퓨터에서 아주 쉽게 다운로드하고 실행할 수 있게 해주는 도구입니다. 개발자들 사이에서는 흔히 **'LLM을 위한 Docker'**라고 불리죠.

Docker가 애플리케이션을 컨테이너에 담아 어디서든 동일하게 실행시켜 주듯, Ollama는 복잡한 AI 모델을 간편한 패키지로 만들어 클릭 몇 번, 명령어 한 줄로 실행할 수 있게 해줍니다.

Ollama의 핵심 장점

• 극강의 간편함: 복잡한 Python 환경 설정, CUDA 드라이버 설치, 모델 가중치 다운로드 등의 과정을 모두 알아서 처리해 줍니다.
• 완벽한 로컬 구동: 모든 데이터가 내 컴퓨터 안에서만 처리되므로, 인터넷 연결 없이도 사용할 수 있고 개인정보 보호에 매우 강력합니다.
• OpenAI 호환 API 내장: Ollama를 설치하는 순간, 내 Mac은 http://localhost:11434 주소를 가진 OpenAI 호환 API 서버가 됩니다. 기존에 개발된 수많은 AI 애플리케이션과 손쉽게 연동할 수 있죠.
• Apple Silicon (M 시리즈) 최적화: Mac의 M1, M2, M3, M4 칩에 내장된 GPU(Metal)를 최대한 활용하여 놀랍도록 빠른 속도로 모델을 구동합니다.

---

Mac에서 Exaone 4.0 (32B) 모델 구동하기: A to Z

여기서는 커뮤니티에 올라온 ingu627/exaone4.0:32b 모델을 기준으로 설명하겠습니다. M4 48GB 같은 고사양 Mac이 있다면 충분히 도전해 볼 만합니다!

1단계: Ollama 설치하기

가장 먼저 Ollama를 설치해야 합니다. 과정은 놀랄 만큼 간단합니다.

1. **Ollama 공식 웹사이트**에 접속합니다.
2. 메인 화면에 보이는 'Download for macOS' 버튼을 클릭하여 설치 파일을 다운로드합니다.
3. 다운로드된 Ollama.zip 파일의 압축을 풀고, Ollama 아이콘을 응용 프로그램(Applications) 폴더로 드래그 앤 드롭하면 설치가 끝납니다.

설치가 완료되면 macOS 상단 메뉴 막대에 라마(🦙) 모양의 아이콘이 생깁니다. 이 아이콘이 보이면 Ollama의 백그라운드 서버가 성공적으로 실행되고 있다는 뜻입니다.

2단계: 터미널에서 Exaone 4.0 모델 실행하기

이제 터미널(Terminal) 앱을 열고, 마법의 주문 같은 명령어 한 줄을 입력할 차례입니다.

ollama run ingu627/exaone4.0:32b

 

이 명령어를 입력하면 Ollama가 다음과 같은 작업을 순서대로 수행합니다.

1. ingu627/exaone4.0:32b 모델이 내 컴퓨터에 있는지 확인합니다.
2. 모델이 없다면, Ollama 라이브러리에서 모델 다운로드를 시작합니다.
3. ⚠️ 주의: 32B 모델은 수십 기가바이트(GB)에 달하는 매우 큰 파일입니다. 인터넷 속도에 따라 다운로드에 아주 오랜 시간이 걸릴 수 있으니 커피 한잔하며 여유롭게 기다려 주세요.
4. 다운로드가 완료되면, 모델을 메모리에 로드하고 바로 대화할 수 있는 채팅 프롬프트가 터미널에 나타납니다.

>>> Send a message (/? for help)

 

3단계: 터미널에서 Exaone 4.0 모델 테스트하기 (OpenAI api 스펙)

curl --location 'http://localhost:11434/v1/chat/completions' \
--header 'Content-Type: application/json' \
--data '{
    "model": "ingu627/exaone4.0:32b",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello!"
        }
    ]
}'