[GenAI] vLLM이란?

vLLM은 대규모 언어 모델(LLM) 추론 및 서빙을 위한 빠르고 사용하기 쉬운 라이브러리입니다. vLLM API 서버는 이 라이브러리를 기반으로 구축되어, OpenAI의 API와 유사한 인터페이스를 통해 LLM 모델을 쉽게 배포하고 상호작용할 수 있게 해주는 강력한 도구입니다.

쉽게 말해, vLLM API 서버는 매우 효율적인 LLM 레스토랑 주방과 같습니다. 손님(사용자)들이 다양한 주문(요청)을 하면, 주방(vLLM 서버)은 최고의 요리사(LLM 모델)를 활용하여 가장 빠르고 효율적으로 음식을 만들어(응답 생성) 제공합니다.

---

vLLM API 서버의 핵심 특징 및 장점

vLLM이 왜 특별하고 빠른지 이해하려면 몇 가지 핵심 기술을 알아야 합니다.

🐧 PagedAttention: 핵심적인 메모리 관리 기술

기존의 LLM 서빙 방식은 모델이 텍스트를 생성할 때 필요한 메모리(KV 캐시)를 미리 예측하여 한 번에 많은 양을 할당해야 했습니다. 이는 마치 레스토랑에서 손님이 얼마나 먹을지 몰라 테이블에 미리 엄청난 양의 접시를 깔아두는 것과 같습니다. 공간 낭비가 심하고 비효율적이죠.

PagedAttention은 이러한 문제를 해결합니다. 컴퓨터 운영체제의 '페이징(Paging)' 기술에서 영감을 받아, KV 캐시를 작은 '블록' 단위로 나누어 관리합니다.

• 동적 할당: 텍스트 생성에 필요한 만큼만 메모리 블록을 동적으로 할당하여 낭비를 줄입니다.
• 효율적인 공유: 하나의 요청 내에서 반복되는 부분이나, 여러 요청 간에 공통되는 프롬프트가 있을 경우 메모리 블록을 공유하여 중복 계산을 피하고 효율성을 높입니다.

이 기술 덕분에 vLLM은 같은 하드웨어에서도 더 많은 요청을 동시에 처리하고 (높은 처리량), 더 빠르게 응답을 생성할 수 있습니다.

🔄 지속적 배치(Continuous Batching)

기존의 배치 처리 방식은 여러 요청을 한 묶음으로 만들어 처리하고, 이 묶음의 모든 요청이 끝나야 다음 묶음을 처리할 수 있었습니다. 이는 마치 놀이기구에서 모든 사람이 내릴 때까지 다음 사람이 타지 못하고 기다리는 것과 같습니다. 먼저 끝난 사람이 있어도 모두가 끝날 때까지 기다려야 하므로 비효율적입니다.

vLLM의 지속적 배치는 요청이 끝나는 즉시 해당 자리에 새로운 요청을 추가하여 GPU가 쉬는 시간 없이 계속 일하도록 만듭니다. 덕분에 GPU 활용률이 극대화되고 전체적인 처리 속도가 빨라집니다.

---

vLLM API 서버 시작 및 사용법

vLLM API 서버를 사용하는 것은 매우 간단합니다.

1. 설치

먼저 vLLM을 설치합니다.

pip install vllm

2. API 서버 실행

터미널에서 간단한 명령어로 API 서버를 실행할 수 있습니다.

python -m vllm.entrypoints.api_server \
    --model "meta-llama/Llama-2-7b-chat-hf" \
    --host "0.0.0.0" \
    --port 8000

• --model: 허깅페이스 허브에 있는 모델 이름을 지정합니다.
• --host: 서버에 접속할 수 있는 IP 주소를 설정합니다. 0.0.0.0은 모든 네트워크 인터페이스에서 접속을 허용합니다.
• --port: 서버가 사용할 포트 번호를 지정합니다.

이 명령어를 실행하면, 지정된 모델(Llama-2-7b-chat-hf)이 GPU에 로드되고, 8000번 포트에서 들어오는 요청을 기다리는 상태가 됩니다.

3. 요청 보내기

서버가 실행되면 curl 명령어 또는 Python의 requests 라이브러리를 사용하여 간단하게 요청을 보낼 수 있습니다.

curl 사용 예시

 

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-2-7b-chat-hf",
    "prompt": "대한민국의 수도는 어디인가요?",
    "max_tokens": 50,
    "temperature": 0.7
  }'

Python requests 사용 예시

Python

 

import requests
import json

url = "http://localhost:8000/v1/completions"
headers = {"Content-Type": "application/json"}
data = {
    "model": "meta-llama/Llama-2-7b-chat-hf",
    "prompt": "vLLM에 대해 쉽게 설명해줘.",
    "max_tokens": 256,
    "temperature": 0.8
}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json())

 

 

 

이처럼 OpenAI API와 거의 동일한 형식으로 요청을 보낼 수 있어, 기존 OpenAI API를 사용하던 코드에서 엔드포인트 주소만 변경하여 손쉽게 vLLM으로 전환할 수 있습니다.

---

vLLM API 서버의 주요 장점 요약

• 🚀 높은 처리량 및 빠른 속도: PagedAttention과 지속적 배치 기술 덕분에 동일한 하드웨어에서 훨씬 더 많은 요청을 빠르게 처리할 수 있습니다.
• 🤝 OpenAI와의 호환성: OpenAI API와 유사한 인터페이스를 제공하여 기존 코드 및 애플리케이션과 쉽게 통합할 수 있습니다.
• 💻 유연한 모델 지원: 허깅페이스에 있는 대부분의 최신 LLM 모델을 별다른 수정 없이 바로 사용할 수 있습니다.
• 🛠️ 간편한 배포: 단 몇 줄의 명령어로 강력한 LLM 서빙 API 서버를 구축할 수 있습니다.

결론적으로 vLLM API 서버는 자체 서버에 LLM을 배포하여 AI 서비스를 구축하려는 개발자나 기업에게 비용 효율적이고 성능이 뛰어난 최고의 솔루션 중 하나라고 할 수 있습니다. 복잡한 서빙 최적화 과정을 대신해주어 개발자가 서비스 로직에 더 집중할 수 있도록 돕습니다.