엑사원 설치 방법, 로컬 PC와 서버별 순서

엑사원은 PC에서는 Ollama로 가장 간단히 설치할 수 있고, API 서버가 필요하면 vLLM 같은 프로그램과 허깅페이스 모델 파일로 설치해요. 사용 환경과 모델 버전에 따라 방법이 달라요.

엑사원 사용 목적별 설치 방식 비교

엑사원 설치가 막히는 대부분은 내 상황에 맞지 않는 방법을 골랐기 때문이에요. 아래 표에서 나에게 맞는 방식을 먼저 찾아보세요.

로컬 PC와 서버에 맞는 엑사원 설치 방식 차이

엑사원 설치 방법은 사용 환경(로컬 PC 또는 서버)과 모델 버전(3.5, 4.5 등)에 따라 달라져요. 로컬 PC에서는 Ollama로 7.8B 모델 약 4.9GB를 내려받아 바로 실행하는 방식이 가장 간편해요.

서버나 개발자용으로는 허깅페이스에서 가중치 파일을 받아 vLLM 같은 서빙 프로그램으로 OpenAI 호환 API 서버를 띄우는 방식이 쓰여요. 고성능 추론이 필요할 때 적합해요.

엑사원 설치 전 모델 버전과 GPU 사양 점검

설치를 시작하기 전에 아래 항목을 확인해 두면 시행착오를 줄일 수 있어요.

• ✓모델 버전: 3.5인지 4.5인지 먼저 정해야 설치 방법이 정해져요.
• ✓저장 공간: 7.8B 모델은 약 4.9GB를 차지해요.
• ✓GPU 사양: 4.5 33B를 전체 컨텍스트로 쓰려면 단일 H200 또는 A100 40GB 4대 구성이 추천돼요.
• ✓라이선스: 허깅페이스에서 모델을 쓸 때 LG AI 리서치의 라이선스 동의가 필요할 수 있어요.

Ollama로 엑사원 3.5 PC 설치 단계별 진행

PC에 간단히 설치하는 기준으로 순서를 정리했어요. 서버용은 아래 단계 중 4번부터 이어서 진행해요.

1. Ollama 설치: 공식 홈페이지에서 설치 파일을 내려받아 실행해요.
2. 터미널 열기: Windows에서는 CMD를 열어요.
3. 모델 실행: ollama run exaone3.5를 입력해 모델을 다운로드하고 대화를 시작해요.
4. Python 환경 준비: API 서버가 필요하면 Python 환경에 vLLM 또는 TensorRT-LLM을 설치해요.
5. 모델 받기: 허깅페이스 리포지토리에서 가중치 파일을 다운로드해요.
6. 서버 실행: vLLM 등으로 OpenAI 호환 API 서버를 띄워 사용해요.

엑사원 설치 공식 문서와 Ollama 안내 확인처

설치 과정에서 계속 막히면 LG AI연구원의 공식 개발자 문서인 docs.exaone.ai에서 최신 설치 안내를 먼저 확인해 보세요. 모델 버전마다 절차가 조금씩 달라서 공식 문서가 가장 정확해요.

PC 설치 파일 문제라면 Ollama 공식 홈페이지의 안내를 참고하고, 사용 중인 모델 이름과 버전이 맞는지 다시 확인해 보세요.

API 키를 쓰는 방식은 설치 없이 가능하지만 무료 기간은 아직 정해지지 않았어요.