오픈소스 LLM 성능 비교 2026, 순위표 1위가 정답은 아닙니다

이 글은 2025년 12월에 쓴 비교 글을 2026년 10월 1일 기준으로 다시 쓴 것입니다. 순위는 Arena(9월 30일 집계)와 Artificial Analysis(10월 1일 조회), 모델 크기와 라이선스는 Hugging Face 원문을 따랐습니다.

작년 12월 이 글에서 비교한 오픈소스 LLM은 gpt-oss, Qwen 3, DeepSeek V3였습니다. 열 달이 지난 지금, 사람들의 투표로 순위를 매기는 Arena의 오픈 모델 순위표 맨 위 세 자리에는 이 셋 중 어느 이름도 없습니다. 1위는 문샷AI의 Kimi K3, 2위는 샤오미의 MiMo-V2.6-Pro, 3위는 Z.ai의 GLM-5.3입니다. 상위 15개가 모두 중국 기업의 모델이고, gpt-oss-120b는 83위입니다.

그럼 우리 회사도 1위 모델을 가져다 쓰면 될까요?

저는 그렇게 보지 않습니다. 순위표는 어떤 모델이 답을 잘하는지 알려 줄 뿐, 우리가 써도 되는지, 우리 서버에서 돌릴 수 있는지는 알려 주지 않습니다. 1위 Kimi K3만 해도 파라미터가 2조 8천억 개라 가중치를 올리는 데만 GPU 메모리가 테라바이트 단위로 들고, 라이선스에는 매출 조건이 붙어 있습니다. 이 글은 세 모델의 근황부터 짚고, 순위표에 나오지 않는 세 가지 기준인 라이선스, GPU, 출처로 넘어갑니다.

열 달 사이 세 모델은 어디까지 왔나

gpt-oss는 그 자리에 멈춰 있고, Qwen과 DeepSeek는 몇 달 간격으로 새 버전을 내며 덩치를 키웠습니다.

gpt-oss는 2025년 8월 모델 그대로다

OpenAI의 gpt-oss는 지금도 2025년 8월에 낸 120b와 20b 두 모델뿐입니다. 120b는 전체 1,170억 개 파라미터 중 토큰마다 51억 개만 계산에 쓰는 구조라 80GB GPU 한 장에서 돌아가고, 라이선스는 Apache 2.0(상업 이용, 수정, 재배포를 폭넓게 허용하는 라이선스)입니다. Artificial Analysis 지수(여러 벤치마크를 묶은 종합 점수)로는 오픈 모델 1위의 4분의 1 수준(12점 대 46점)까지 밀렸지만, 미국 기업 모델이면서 GPU 한 장에 올라가는 모델을 찾는다면 여전히 첫 후보입니다.

Qwen은 3.8에서 라이선스가 갈렸다

알리바바의 Qwen은 2026년 2월 3.5, 4월 3.6을 거쳐 8월 3.8까지 왔습니다. 눈여겨볼 변화는 라이선스입니다. 270억 파라미터의 Qwen3.8-27B는 Apache 2.0 그대로지만, 최상위 모델 Qwen3.8-2.4T-A95B(전체 2조 4천억 개 중 토큰마다 950억 개 사용)와 Qwen3.8-Flash-Next는 자체 라이선스로 나왔습니다. 구글이 Gemma 4에서 자체 약관을 버리고 Apache 2.0으로 간 것과 반대 방향입니다.

DeepSeek는 V4.1까지 왔고 라이선스는 MIT 그대로다

DeepSeek는 V3.2(2025년 12월)를 거쳐 2026년 4월 V4를 냈습니다. 1조 6천억 파라미터의 Pro와 2,840억 파라미터의 Flash 두 가지이고, 둘 다 100만 토큰 문맥을 다룹니다. 9월 10일에는 이미지까지 읽는 V4.1-Flash를 공개했고, 라이선스는 계속 MIT(저작권 표시만 지키면 조건이 거의 없는 라이선스)입니다. 작년 비교 대상 중 지금 Arena 오픈 모델 10위 안에 든 것은 DeepSeek(V4.1-Flash, 6위)뿐입니다.

gpt-oss와 Qwen 중 하나를 고른다면

GPU 한 장에 올릴 모델이라면 gpt-oss-120b와 Qwen3.8-27B가 맞수입니다. 둘 다 Apache 2.0입니다. Artificial Analysis 지수는 Qwen3.8-27B가 34점(가장 깊게 추론하는 설정)으로 gpt-oss-120b의 12점보다 높고, 같은 곳에서 잰 API 출력 속도는 gpt-oss-120b가 초당 171토큰으로 Qwen3.8-27B(45토큰)보다 빠릅니다. 답의 수준이 먼저라면 Qwen3.8-27B, 빠른 응답과 많은 호출이 먼저라면 gpt-oss-120b부터 시험해 보시길 권합니다.

1위는 누가 가져갔고, 그 순위를 믿어도 되나

Arena(옛 LMArena)의 오픈 모델 순위(9월 30일 집계, 225개 모델)에서 1위부터 15위까지는 문샷AI, 샤오미, Z.ai, DeepSeek, 텐센트의 모델입니다. 중국 밖 모델 중 가장 높은 것은 16위 구글 Gemma 4 31B이고, 올해 나온 국산 오픈 모델은 아직 순위표에 없습니다. 비공개 모델과의 거리도 남아 있습니다. 오픈 모델 1위 Kimi K3는 전체 순위로는 17위이고, Artificial Analysis 지수는 오픈 모델 1위 MiMo-V2.6-Pro가 46점, 비공개 모델 1위 Claude Opus 5.5가 58점입니다.

2026년 10월 기준 주요 오픈 모델

Artificial Analysis 지수 순입니다. 파라미터는 전체 기준이고, 국산 모델의 지수는 Artificial Analysis가 표시한 추정치입니다.

• MiMo-V2.6-Pro(샤오미): 1조 240억 파라미터, MIT, 지수 46점, Arena 오픈 2위
• GLM-5.3(Z.ai): 7,530억, GLM-5.3 License, 지수 45점, Arena 오픈 3위
• Kimi K3(문샷AI): 2조 8천억, Kimi K3 License, 지수 44점, Arena 오픈 1위
• Qwen3.8-2.4T-A95B(알리바바): 2조 4천억, Qwen3.8-Max License, 지수 40점
• DeepSeek V4.1-Flash(DeepSeek): 5,520억, MIT, 지수 39점, Arena 오픈 6위
• Motif 3(모티프테크놀로지스): 3,150억, MIT, 지수 34점(추정)
• Qwen3.8-27B(알리바바): 270억, Apache 2.0, 지수 34점, Arena 오픈 22위
• Solar Open 2(업스테이지): 2,500억, Upstage Solar License, 지수 25점(추정)
• A.X K2(SK텔레콤): 6,880억, Apache 2.0, 지수 23점(추정)
• K-EXAONE 2.0(LG AI연구원): 7,500억, Apache 2.0, 지수 20점(추정)
• Muse Glimmer 30B(메타): 300억, Apache 2.0, 지수 17점, Arena 오픈 31위
• Gemma 4 31B(구글): 307억, Apache 2.0, 지수 15점, Arena 오픈 16위
• gpt-oss-120b(OpenAI): 1,170억, Apache 2.0, 지수 12점, Arena 오픈 83위

순위표마다 1위가 다른 이유

Gemma 4 31B는 Arena에서 오픈 모델 16위인데 Artificial Analysis 지수는 15점으로 상위 모델의 3분의 1입니다. Arena는 사람이 두 답 중 더 나아 보이는 쪽에 투표한 결과이고, Artificial Analysis는 어려운 과제를 얼마나 풀었는지를 묶은 점수라서 생기는 차이입니다. 대화에서 깔끔하게 답하는 모델과 긴 과제를 끝까지 푸는 모델은 다를 수 있다는 뜻이죠. 순위표는 후보를 좁히는 데까지만 쓰고, 마지막 선택은 우리 업무 문서와 질문으로 직접 비교해서 정해야 합니다.

오픈소스면 마음대로 써도 되나요

먼저 용어부터 짚겠습니다. 오픈소스 이니셔티브(OSI)의 오픈소스 AI 정의 1.0은 가중치와 함께 학습 데이터 정보와 학습 코드까지 공개해야 오픈소스로 봅니다. 이 글의 모델 대부분은 가중치만 공개한 오픈 웨이트(open weight) 모델이고, 어디까지 쓸 수 있는지는 모델마다 붙은 라이선스가 정합니다.

gpt-oss, Gemma 4, Qwen3.8-27B, DeepSeek, MiMo, K-EXAONE 2.0, A.X K2, Motif 3는 Apache 2.0이나 MIT라 조건이 단순합니다. 나머지는 개발사가 자체 라이선스를 붙였고 조건이 제각각입니다.

• Qwen3.8-2.4T-A95B: 본인이나 계열사가 API형 모델 서비스(MaaS, 외부 고객이 API로 모델을 쓰거나 파인튜닝하게 해 주는 사업)나 코딩, 오피스용 AI 비서 사업을 하고 계열사 합산 매출이 12개월간 5천만 달러를 넘으면, 상업 목적으로 쓰기 전에 별도 라이선스가 필요합니다. 사내 사용은 예외입니다.
• Kimi K3: 본인이나 계열사가 MaaS 사업을 하고 합산 매출이 12개월간 2천만 달러를 넘으면 별도 계약이 필요합니다. 사내 사용은 예외입니다.
• GLM-5.3: MaaS 사업을 하면서 계열사 합산 매출이 12개월간 100억 달러를 넘는 기업은 상업 목적으로 쓰기 전에 Z.ai의 보안 심사를 받아야 합니다.
• Mistral Medium 3.5: 직전 달 전 세계 연결 매출이 2천만 달러를 넘는 회사는 사내 사용을 포함해 쓸 권리가 없고, 상업 라이선스를 따로 받아야 합니다.
• Solar Open 2: 이 모델로 만든 파생 모델을 배포하면 이름을 'Solar'로 시작하고 'Built with Solar'를 표시해야 합니다.

대부분은 모델을 API로 되팔거나 AI 비서를 만들어 파는 회사를 겨냥한 조건이라, 사내 업무에 쓰는 기업은 걸리지 않습니다. 예외가 둘 있습니다. Mistral Medium 3.5는 매출만으로 선을 긋는데, 월 2천만 달러는 연 매출로 3천억 원대라 국내 대기업 대부분이 넘습니다. 그리고 그룹사는 '본인 또는 계열사' 조건을 보셔야 합니다. 계열사 한 곳이 API형 AI 사업을 하면, 다른 계열사가 이 모델로 외부 고객용 서비스를 만들 때 별도 라이선스가 필요해질 수 있습니다.

라이선스는 순위표의 표기가 아니라 원문으로 확인하세요. Arena는 GLM-5.3을 MIT로 표시하지만, Hugging Face 원문은 보안 심사 조건이 붙은 GLM-5.3 License입니다. '상업 이용 가능'이라는 한 줄로는 부족합니다.

1위 모델을 들이려면 무엇이 더 필요한가

GPU 메모리는 전체 파라미터가 정한다

요즘 큰 오픈 모델은 대부분 MoE(전문가 혼합, 토큰마다 일부 전문가만 골라 계산하는 구조)입니다. 필요한 GPU 메모리는 전체 파라미터가, 응답 속도는 활성 파라미터가 정합니다. 가중치는 BF16이면 파라미터당 2바이트, 4비트면 약 0.5바이트라 1,000억 파라미터 모델은 가중치만 200GB 또는 50GB이고, 대화 문맥을 담아 두는 KV 캐시 메모리가 더 듭니다. 공식 문서와 이 계산으로 묶으면 이렇습니다.

• 80GB GPU 1장: gpt-oss-120b(공식 문서 기준), Gemma 4 31B(BF16 가중치 약 61GB), Qwen3.8-27B(약 56GB)
• 서버 1대: Solar Open 2(H200 최소 4장, 권장 8장), DeepSeek V4-Flash(공식 실행 예시 GB300 4장), A.X K2(GPU 메모리 합계 800GiB 이상 권장)
• 서버 2대 이상: K-EXAONE 2.0(공식 실행 예시 H200 8장 서버 2대), Kimi K3(4비트로 줄여도 가중치만 약 1.4TB라 H200 8장 서버 한 대의 약 1.1TB에 들어가지 않음)

오픈 모델 순위 상위권은 모두 수천억에서 조 단위 파라미터입니다. 1위 모델을 사내에 들이려면 모델보다 서버 견적을 먼저 받아야 합니다.

중국 모델을 사내 서버에서 돌릴 때 남는 문제

2025년 2월 DeepSeek 앱의 국내 신규 다운로드가 중단된 것은 앱에 입력한 정보가 국외로 넘어간 문제였습니다. 가중치를 내려받아 사내 서버에서 돌리면 입력한 데이터는 개발사로 가지 않습니다. 그래도 세 가지는 남습니다.

• 모델의 성향: 미국 NIST 산하 CAISI는 2025년 9월, DeepSeek R1-0528로 만든 에이전트가 미국 프런티어 모델보다 악성 지시를 따를 가능성이 평균 12배 높고, 흔한 탈옥 기법을 쓰면 악성 요청의 94%에 응답했다고 발표했습니다(미국 기준 모델은 8%). 사내 에이전트에 붙일 모델이라면 직접 시험해야 합니다.
• 공급의 지속성: 2026년 7월 FT와 로이터는 중국 정부가 자국 AI 모델 가중치의 해외 직접 다운로드 제한을 검토한다고 보도했습니다. 확정된 규제는 아니지만, 다음 버전도 지금처럼 내려받을 수 있을지는 장담할 수 없습니다.
• 발주처의 기준: 2026년 1월 독자 AI 파운데이션 모델 1차 평가에서 네이버클라우드는 Qwen 2.5의 비전 인코더와 가중치를 그대로 쓴 점이 문제가 돼 탈락했습니다. 공공 과제에서는 모델의 출처가 평가 항목입니다.

국산 모델은 K-EXAONE 2.0, A.X K2, Motif 3가 3천억에서 7천억 파라미터대로 커졌고, 라이선스도 Apache 2.0이나 MIT입니다. 다만 Artificial Analysis 추정 지수는 20~34점으로 중국 상위 모델(39~46점)과 차이가 있고, 한국어 성능을 같은 조건에서 비교한 제3자 자료는 아직 찾기 어렵습니다.

그래서 저는 이렇게 나눠 봅니다. 사내 업무용이고 데이터가 밖으로 나가지 않는 구조라면 중국 모델도 후보에 둘 수 있습니다. 공공 납품, 보안 기준이 엄격한 그룹사, 외부 고객용 서비스라면 성능을 조금 양보하더라도 미국이나 국산 모델에서 출발하는 편이 설명하기 쉽습니다.

그래서 무엇부터 확인해야 하나

1. 용도: 사내 업무용인지, 외부 고객에게 나가는 서비스인지 나눕니다.
2. 라이선스: Apache 2.0이나 MIT가 아니면 매출, 이용자 수, 계열사 조건을 원문으로 읽습니다.
3. GPU: 80GB GPU 한 장, 서버 한 대, 서버 두 대 이상 중 어디까지 감당할지로 후보를 자릅니다.
4. 출처: 공공 납품이나 그룹 보안 기준이 있다면 중국 모델을 후보에 둘지부터 정합니다.
5. 직접 비교: 남은 두세 개를 우리 업무 문서와 질문으로 시험합니다. 순위표는 여기서 참고 자료로 씁니다.

우리 회사의 1위 모델은 무엇일까요? 그 답은 순위표가 아니라 우리 업무 데이터에 있습니다.

순위표 1위는 몇 달마다 바뀝니다. 열 달 전 이 글의 주인공이던 세 모델처럼, 지금의 1위도 내년 이맘때면 다른 이름일 가능성이 큽니다. 바뀌지 않는 것은 새 모델이 나왔을 때 자기 업무에 바로 붙여 보고 쓸 만한지 판단하는 사람들입니다. 진짜 경쟁력은 1위 모델을 먼저 고르는 데서 생기지 않습니다. 전사 AX 교육으로 무장한 현장의 구성원들이 매일 자기 업무에서 새 활용 사례를 만들고, 그 사례가 복리로 쌓일 때 생깁니다.

모델은 바뀌고, 쓰는 힘은 쌓인다.