🧑💻 “그냥 ChatGPT 쓰면 안 돼요?” — 개발자 김민준 씨의 고민
실제로 서울의 한 핀테크 스타트업에서 백엔드 개발을 담당하던 김민준 씨(32세)는 2025년 초, 팀장에게 한 가지 미션을 받았습니다. “우리 고객 데이터는 외부로 나가면 안 되는데, AI 기능은 붙여야 해. 방법 찾아봐.” 상용 API를 쓰면 데이터가 OpenAI나 구글 서버로 전송될 수 있어 금융 규정상 불가능한 상황. 결국 선택지는 하나였습니다. 온프레미스에서 돌릴 수 있는 오픈소스 LLM. 하지만 2025년 당시 선택지가 너무 많았습니다. Llama 3, Mistral, Qwen, Gemma, Phi-3… 도대체 뭘 써야 할까요?
• 2025년 오픈소스 LLM 생태계는 Meta, Mistral, Alibaba, Google 등이 치열하게 경쟁
• 보안·비용·성능 세 가지 기준으로 모델을 골라야 실패가 없음
• 실제 업무 도입 전 반드시 벤치마크가 아닌 ‘내 태스크 기준’ 테스트가 필요
⚔️ 2025년 오픈소스 LLM 판도 — 무엇이 달라졌나
김민준 씨가 조사를 시작했을 때, 시장은 이미 춘추전국시대였습니다. 2024년 말 기준으로 Hugging Face에 등록된 LLM 관련 모델만 50만 개를 돌파했고, 2025년 들어 주요 플레이어들이 연달아 대형 모델을 오픈소스로 공개했습니다. 아래 표는 그가 실제로 비교 검토한 주요 모델 목록입니다.
| 모델명 | 출시사 | 파라미터 | 한국어 지원 | 상업적 사용 |
|---|---|---|---|---|
| Llama 3.1 / 3.3 | Meta | 8B ~ 405B | 보통 | ✅ 가능 |
| Mistral / Mixtral | Mistral AI | 7B ~ 8x22B | 보통 | ✅ 가능 |
| Qwen 2.5 | Alibaba | 0.5B ~ 72B | 🌟 우수 | ✅ 가능 |
| Gemma 2 | 2B ~ 27B | 보통 | ✅ 가능 | |
| Phi-3 / Phi-4 | Microsoft | 3.8B ~ 14B | 보통 | ✅ 가능 |
| EXAONE 3.5 | LG AI연구원 | 2.4B ~ 32B | 🌟 최우수 | ✅ 가능 |
특히 눈에 띄는 점은 한국어 성능이었습니다. Llama나 Mistral 계열은 영어 중심이라 한국어 태스크에서 성능이 확연히 떨어졌고, 반면 Qwen 2.5와 국내 LG AI연구원의 EXAONE 3.5는 한국어 벤치마크에서 두드러진 성과를 보였습니다. 실제로 Open Ko-LLM Leaderboard 기준, EXAONE 3.5 32B 모델은 2025년 상반기 국내 공개 모델 중 1위를 기록하기도 했습니다.
🔬 직접 돌려봤습니다 — 테스트 과정과 진짜 결과
김민준 씨는 벤치마크 점수만 믿지 않기로 했습니다. 실제 업무에서 쓸 세 가지 태스크를 직접 설계했습니다. ① 금융 문서 요약, ② 고객 문의 분류, ③ 간단한 SQL 생성. 테스트 환경은 A100 80GB GPU 1장, 추론 프레임워크는 vLLM을 사용했습니다.
결과는 예상 밖이었습니다. 파라미터 수가 클수록 좋을 거라 생각했지만, Qwen 2.5 14B 모델이 Llama 3.1 70B보다 한국어 문서 요약에서 더 자연스러운 결과물을 냈습니다. SQL 생성에서는 Phi-4가 크기 대비 놀라운 정확도를 보였고, 고객 문의 분류 태스크에선 EXAONE 3.5가 가장 일관된 성능을 유지했습니다. 토큰 처리 속도(throughput) 측면에서는 Mistral 7B가 가장 빨랐으며, 응답 1건당 평균 0.3초대를 기록했습니다.
• 한국어 태스크엔 Qwen 2.5 또는 EXAONE 계열이 압도적으로 유리
• 코드·SQL 생성은 Phi-4가 소형 모델임에도 경쟁력 있음
• 영어 중심 범용 태스크라면 Llama 3.3 70B가 여전히 강력한 선택지
✅ 결국 어떤 모델을 골랐고, 어떻게 적용하면 될까
김민준 씨의 팀은 최종적으로 EXAONE 3.5 32B를 메인 모델로, 속도가 중요한 실시간 응답에는 Qwen 2.5 7B를 서브 모델로 병행 운영하는 구조를 택했습니다. 온프레미스 서버에 올린 후 Ollama + Open WebUI 조합으로 팀 내 인터페이스를 구축했고, 도입 3개월 만에 고객 문의 1차 응대 자동화율이 67%에 달했습니다. 비용 절감액은 월 평균 API 비용 대비 약 월 180만 원 수준으로 추산됐습니다.
여러분도 비슷한 상황이라면 아래 흐름으로 접근해보세요. ① 내 태스크 언어(한국어/영어) 확인 → ② GPU 환경에 맞는 모델 사이즈 선택 → ③ Ollama나 vLLM으로 로컬 테스트 → ④ 실 업무 태스크 3~5개로 직접 비교 → ⑤ 파인튜닝 필요 여부 판단. 벤치마크 순위보다 ‘내 데이터, 내 태스크’에서의 성능이 훨씬 중요합니다.
❓ 자주 묻는 질문 (Q&A)
Q. 오픈소스 LLM도 GPT-4o 수준의 성능이 나오나요?
A. 2025년 기준 Llama 3.3 70B, Qwen 2.5 72B 등 대형 모델은 GPT-4o 대비 70~85% 수준의 성능을 보입니다. 특정 도메인에 파인튜닝하면 해당 태스크에서 상용 모델을 뛰어넘는 경우도 충분히 있습니다.
Q. GPU가 없어도 오픈소스 LLM을 써볼 수 있나요?
A. 네. Phi-4 또는 Qwen 2.5 1.5B~3B 같은 경량 모델은 CPU만으로도 Ollama를 통해 로컬 실행이 가능합니다. 물론 속도는 느리지만 테스트 목적으로는 충분합니다.
2025년 오픈소스 LLM 생태계는 “쓸 만한 게 없다”는 말이 옛말이 될 만큼 빠르게 성숙했습니다. 김민준 씨의 사례처럼, 보안·비용·언어 요건이 맞는다면 오픈소스 LLM은 이제 충분히 현실적인 선택지입니다. 중요한 건 남의 벤치마크가 아니라 내 업무 기준의 테스트입니다.
지금 바로 실천해보세요!
• Ollama 설치 후 Qwen 2.5 7B 또는 EXAONE 3.5 2.4B로 첫 테스트 시작하기
• 내 업무 태스크 3가지를 직접 프롬프트로 넣어보고 결과 비교하기
Photo by Andrey Matveev on Unsplash