🧠 AI 이론 · EP.20

2.8조 파라미터가
무료로 풀렸다
그런데 왜 안 돌아가나

나흘 전, 역대 최대 규모의 인공지능이 가중치째로 공개됐다.
누구나 내려받을 수 있는데, 내 노트북에서는 절대 열리지 않는다.
오늘은 그 이유를 파고들면서 인공지능이 실제로 어떻게 만들어지는지 배운다.

2.8조

전체 파라미터
Kimi K3

1,040억

토큰 하나당
실제로 켜지는 양

16 / 896

전문가 중
활성화되는 수

1.4 TB

4비트로 줄여도
남는 무게

2026년 7월 30일 · 모닝 AI · AI CITY BUILDERS
이 교재의 모든 숫자는 공식 기술 보고서와 논문에서 가져왔고, 출처는 마지막 장에 모두 열려 있다.

7월 26일 · 나흘 전

무슨 일이 있었나

중국 문샷AI가 Kimi K3의 가중치를 공개했다. 논문도 함께 나왔다.
"오픈 웨이트"란 모델의 내부 숫자 전체를 누구나 내려받을 수 있다는 뜻이다. API로 빌려 쓰는 것과 근본적으로 다르다.

항목	수치	무엇을 뜻하나
전체 파라미터	2.8조 개	모델이 가진 지식의 총량. 공개된 것 중 최대
활성 파라미터	1,040억 개	토큰 하나를 만들 때 실제로 계산에 쓰이는 양 — 전체의 3.7%
컨텍스트	1,048,576 토큰	한 번에 읽을 수 있는 분량. 책 열 권 규모
전문가 수	896개 중 16개	내부가 896개 조각으로 나뉘어 있고, 매번 16개만 켜진다
저장 형식	MXFP4	가중치 하나를 4비트로 저장. 학습 단계부터 이 형식을 전제로 훈련
학습 효율	2.5배	같은 계산량으로 이전 모델(K2)보다 2.5배 더 똑똑해졌다는 주장

출처: Kimi K3 기술 보고서(arXiv:2607.24653) 및 문샷AI 공식 기술 블로그. 성능은 Artificial Analysis 지능 지수 189개 모델 중 4위, Vals 실무 지수 38개 중 2위로 측정됐다.

이론 1 · 희소성 Sparsity

2.8조인데
왜 1,040억만 켜지나

여기서 첫 번째 이론이 나온다. 예전 인공지능은 질문 하나에 뇌 전체를 다 썼다.
지금은 필요한 부분만 켠다. 이걸 희소성이라 부른다.

모델이 가진 전체 파라미터2.8조 (100%)

토큰 하나를 만들 때 켜지는 양1,040억 (3.7%)

왜 이렇게 만드나? 지식은 많을수록 좋지만, 계산은 적을수록 싸고 빠르다. 이 두 가지는 원래 함께 갈 수 없었다. 희소성은 그 둘을 분리해낸다 — 아는 것은 2.8조만큼, 쓰는 것은 1,040억만큼. 여러분이 만드는 서비스로 옮기면, 기능은 많은데 요청당 비용은 낮은 구조와 같은 이야기다.

이론 2 · 전문가 혼합 MoE

896명의 전문의,
환자마다 16명만 부른다

MoE(Mixture of Experts)를 병원으로 이해하면 정확하다.
종합병원에 전문의가 896명 있다. 환자가 올 때마다 전원 회의를 열면 병원이 망한다.
그래서 접수 데스크가 증상을 보고 딱 맞는 16명만 호출한다.

입력 토큰

"환자 도착"

단어 하나가 들어온다

→

라우터 Router

접수 데스크

896명 각각에게 점수를 매겨
상위 16명을 고른다

→

활성 전문가

16명만 진료

나머지 880명은
전기도 쓰지 않는다

켜진 전문가 16개 잠든 전문가 880개 = 전체의 1.8%

위 격자는 실제 896개를 하나씩 그린 것이다. 이 중 금색 16개만 켜진다. K3의 이 구조를 문샷은 Stable LatentMoE라 부른다.

이론의 뿌리 · 논문으로 보는 계보

이 아이디어는
2017년에 나왔다

지금의 모든 거대 모델은 아홉 년 전 논문 하나에서 갈라져 나왔다.
새로 나온 기술이 아니라, 오래된 아이디어가 드디어 실현된 것이다.

2017 · 희소 게이트 MoE

노암 셰이저 등이 "터무니없이 큰 신경망"을 발표한다. 층 안에 전문가를 여러 개 두고 일부만 켜는 방식을 처음 제시했다. 논문 열기 ↗

2017 · 트랜스포머

같은 해 어텐션 하나로 충분하다는 논문이 나온다. 오늘의 모든 언어 모델의 뼈대다. 논문 열기 ↗

2021 · 스위치 트랜스포머

구글이 전문가를 1개만 켜는 극단적 단순화로 1조 파라미터에 도달한다. MoE가 실전에 들어온 시점이다. 논문 열기 ↗

2022 · 친칠라 법칙

딥마인드가 "모델만 키우면 안 되고 데이터도 같이 키워야 한다"를 수치로 증명한다. 이후 모든 학습 계획의 기준이 됐다. 논문 열기 ↗

2026 · Kimi K3

896개 중 16개. 2.8조 규모에서 이 구조가 실제로 안정적으로 학습된다는 것을 보였다. 기술 보고서 열기 ↗

이론 3 · 최적 희소성

왜 하필 16개인가

1개도 아니고 896개도 아니고 16개. 이 숫자는 감이 아니라 연구로 찾아낸 값이다.
최근 논문들이 밝혀낸 결론이 특히 중요하다.

발견 1

외우는 능력은
전체 파라미터에서 온다

사실을 많이 아는 것 — 지식의 양은 모델이 가진 총 파라미터에 비례한다. 그러니 전체는 키울수록 좋다. 2.8조까지 간 이유다.

발견 2

추론하는 능력은
켜는 양에서 온다

여러 단계를 거쳐 생각하는 힘은 다르다. 학습 손실이 똑같아도, 켜지는 계산량이 많은 모델이 추론을 더 잘한다. 그래서 활성 파라미터를 마냥 줄일 수 없다.

정리하면 이렇다. 전체는 크게, 활성은 "충분히" 크게. 이 둘 사이의 최적 지점이 존재하고, 그 지점은 제약 조건에 따라 달라진다. 메모리가 빡빡하면 다르게, 학습 예산이 정해져 있으면 또 다르게 나온다. K3의 896 중 16은 그 계산의 결과값이다.

arXiv:2501.12370 · Abnar 등

파라미터 대 연산량: MoE의 최적 희소성 법칙

제약 조건마다 최적 희소성이 따로 존재함을 수식으로 유도한 논문

논문 열기 ↗

arXiv:2508.18672 · Nakamura 등

추론 과제에서의 MoE 최적 희소성

"손실이 같아도 활성 연산이 크면 추론이 낫다"를 실험으로 분리해낸 논문

논문 열기 ↗

arXiv:2502.05172

MoE 결합 스케일링 법칙 — 메모리 효율의 관점

MoE가 오히려 메모리를 아낄 수 있는 조건을 다룬 논문

논문 열기 ↗

이론 4 · 라우팅과 균형

896개를 나눠놓으면
반드시 생기는 병

전문가를 많이 만드는 건 쉽다. 어려운 건 골고루 쓰이게 만드는 것이다.
이 문제를 못 풀면 2.8조는 그냥 낭비된 저장 공간이 된다.

문제 · 전문가 붕괴

인기 있는 몇 명에게만
환자가 몰린다

라우터는 학습 초반에 우연히 성적이 좋았던 전문가를 계속 고른다. 고르니까 더 잘 배우고, 더 잘 배우니까 또 고른다. 결국 896명 중 스무 명만 일하고 나머지는 평생 놀게 된다. 파라미터는 있는데 지능은 늘지 않는 상태다.

K3의 해법 · 분위 균형

점수의 순위를 기준으로
배분을 정한다

K3는 Quantile Balancing을 쓴다. 라우터 점수의 분위값에서 배분 기준을 직접 끌어내는 방식이다. 덕분에 1.8%라는 극단적 희소성에서도 학습이 무너지지 않았다.

이 대목이 이 논문의 진짜 성과다. "전문가를 896개로 늘렸다"는 자랑이 아니라, "896개로 늘려도 학습이 안 터진다"를 보인 것이다. 규모 경쟁이 아니라 안정성 문제를 풀어낸 것이 핵심이다. K3에는 이를 위한 장치가 더 있다 — 활성 함수를 다듬은 SiTU, 어텐션 헤드를 따로 최적화하는 Per-Head Muon.

이론 5 · 어텐션 비용

100만 토큰을 읽는 데
드는 진짜 대가

"컨텍스트 100만"은 광고 문구처럼 보이지만, 계산량으로 보면 무서운 숫자다.
원래 어텐션은 토큰마다 앞의 모든 토큰을 다시 본다. 그래서 비용이 길이의 제곱으로 늘어난다.

컨텍스트 길이	비교해야 할 토큰 쌍	연산량 (1천 토큰 기준)
1,000 토큰 (A4 두 장)	약 100만 쌍	1배
10,000 토큰 (보고서 하나)	약 1억 쌍	100배
100,000 토큰 (단행본 한 권)	약 100억 쌍	1만 배
1,048,576 토큰 (K3)	약 1조 1천억 쌍	100만 배

길이를 1,000배 늘리면 계산은 100만 배가 된다. 그냥 밀어붙이면 답 하나 만드는 데 몇 분이 걸린다. 그래서 어텐션 자체를 바꿔야 100만 토큰이 가능해진다. 다음 장이 그 이야기다.

이론 6 · 선형 어텐션

기억을 쌓지 말고
덮어쓰기로 바꾼다

K3의 어텐션은 Kimi Delta Attention(KDA)이다. 원리는 의외로 직관적이다.

기존 · 소프트맥스 어텐션

받아쓴 노트를
한 장도 안 버린다

지금까지 본 모든 토큰을 캐시에 그대로 보관한다. 정확하지만, 길어질수록 노트가 무한히 늘어난다. 100만 토큰이면 노트만으로 메모리가 터진다.

KDA · 선형 어텐션

한 장의 요약 노트를
계속 고쳐 쓴다

크기가 고정된 상태 하나를 두고, 새 토큰이 올 때마다 일부를 지우고 일부를 덮어쓴다. 노트가 늘어나지 않으니 길이에 상관없이 메모리가 일정하다.

KDA의 핵심 개선 — 지우는 정도를 채널마다 따로

이전 방식(Gated DeltaNet)은 "얼마나 잊을지"를 하나의 숫자로 정했다. KDA는 그 숫자를 차원마다 다른 벡터로 바꿨다. 사람으로 치면 "전체를 흐릿하게 기억하기"에서 "이름은 또렷하게, 배경은 흐릿하게"로 나뉜 것이다. 한정된 기억 공간을 훨씬 알차게 쓴다.

다만 선형 어텐션만 쓰면 표현력이 떨어진다. 그래서 K3는 섞는다 — KDA 3층에 정밀한 어텐션 1층을 끼워넣는 3:1 구조다. 이 조합으로 KV 캐시는 최대 75% 줄고, 100만 토큰에서 생성 속도는 6배가 됐다. 더불어 AttnRes는 각 층이 앞선 모든 층의 결과를 필요한 만큼만 골라 쓰게 한다.

arXiv:2510.26692 · Moonshot AI

Kimi Linear — KDA를 처음 제시한 논문

3:1 인터리브, KV 캐시 75% 절감, 1M 컨텍스트 디코딩 6배의 근거

논문 열기 ↗

arXiv:2605.22791 · NVIDIA

Gated DeltaNet-2 — 지우기와 쓰기를 분리하다

논문 열기 ↗

이론 7 · 양자화

4비트로 줄여도
여전히 1.4 테라바이트

양자화는 숫자 하나를 몇 비트로 적을지를 정하는 일이다.
이 계산은 초등학교 산수다. 직접 해보면 왜 안 돌아가는지 즉시 이해된다.

필요한 용량 = 파라미터 수 × 비트 수 ÷ 8

비트를 바이트로 바꾸려면 8로 나눈다. 이것뿐이다.

저장 형식	가중치 1개당	2.8조 개면	현실
FP16 (학습 기본)	16비트	5.6 TB	불가능
FP8	8비트	2.8 TB	불가능
MXFP4 (K3 공개 형식)	4비트	1.4 TB	가속기 64개 이상

K3의 영리한 점이 여기 있다. 보통은 다 학습한 뒤에 억지로 줄여서 성능이 깎인다. K3는 학습 후반부터 4비트를 전제로 훈련했다(양자화 인식 학습). 처음부터 4비트로 살 것을 알고 자란 모델이라, 줄여도 덜 망가진다. 이론을 알면 이런 설계 의도가 보인다.

현실 점검

"무료 공개"와
"내가 쓸 수 있다"는 다르다

가중치는 누구나 내려받을 수 있다. 그런데 열 곳이 없다.

장비	메모리	K3를 담을 수 있나
맥북 프로 (통합 메모리 36GB)	36 GB	1.4TB의 2.6% — 불가
RTX 5090급 그래픽카드	32 GB	불가
H100 · H200 · B200 한 장	80~192 GB	한 장으로는 불가
문샷 권장 구성	가속기 64개 이상	가능 (수십억 원대)

이게 오픈 웨이트의 솔직한 현실이다. "오픈"은 법적·기술적 접근권이 열렸다는 뜻이지, 내 장비에서 돈다는 뜻이 아니다. 여기서 실망하고 끝나면 안 된다. 중요한 건 다음 질문이다 — 그럼 내 노트북에는 무엇이 들어가나.

참고로 API로 빌려 쓸 때 K3의 가격은 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러다(캐시 적중 시 입력은 0.3달러). 이 숫자는 뒤에서 다시 쓴다.

실전 1 · 내 장비의 한계 계산하기

그럼 내 노트북에는
무엇이 들어가나

방금 배운 공식 하나로 직접 계산할 수 있다. 파라미터 × 비트 ÷ 8.

모델	4비트 계산	실제 필요 용량	어디서 도나
Gemma 3 · 4B	40억 × 4 ÷ 8	약 2 GB	8GB 노트북에서도 여유
Qwen3 8B · Llama 3.3 8B	80억 × 4 ÷ 8	약 5~6 GB	16GB 노트북의 최적점
중형 모델 · 30B급	300억 × 4 ÷ 8	약 18~20 GB	32GB 이상 필요
Kimi K3 · 2.8T	2.8조 × 4 ÷ 8	1.4 TB	개인 장비 불가

POINT 1

Q4가 기본값인 이유

8비트보다 4비트(Q4_K_M)가 노트북에서는 정답이다. 용량이 절반이고 발열과 연산도 줄어든다.

POINT 2

속도는 초당 10~30 토큰

전용 그래픽카드가 없어도 돈다. 사람이 읽는 속도 정도라, 대화형 서비스에는 충분히 쓸 만하다.

POINT 3

작은 모델이 쓸 만해졌다

2년 전 8B는 장난감이었다. 지금 8B는 요약·분류·추출·상담 같은 실무를 해낸다. 이게 흐름의 핵심이다.

여기서 중요한 통찰 — 대부분의 서비스는 프론티어 모델이 필요하지 않다. 필요한 건 "충분히 잘하는 모델"이고, 그건 이미 내 노트북에 들어간다.

실전 2 · 오늘 가장 중요한 장

사용자가 늘수록
손해 나는 구조

이건 이론이 아니라 손익계산서 문제다. 우리 수강생들이 지금 실제로 겪고 있다.
누군가는 과금이 무서워 기능을 숨겨뒀고, 누군가는 질문 하나마다 본인이 돈을 물고 있었다.

사용자 수	하루 대화	API 방식 월 비용	로컬 방식 월 비용
10명	100회	약 4.5만 원	전기료
100명	1,000회	약 45만 원	전기료
1,000명	10,000회	약 450만 원	전기료
10,000명	100,000회	약 4,500만 원	전기료

계산 근거: 대화 1회를 입력 1,000토큰 + 출력 500토큰으로 잡고, K3 공개 가격(입력 100만당 3달러, 출력 100만당 15달러), 환율 1,400원을 적용하면 1회당 약 15원이 나온다. 여기에 회수를 곱한 값이다. 모델과 프롬프트 길이에 따라 달라지니 구조를 보는 표로 읽어야 한다.

여기서 갈린다. 무료로 공개한 서비스에 사람이 몰리면, API 방식에서는 성공할수록 적자가 커진다. 광고나 유료 전환이 붙기 전에 통장이 먼저 마른다. 로컬 AI는 이 구조를 뒤집는다 — 사용자가 늘어도 추론 원가는 0에 가깝다.

실전 3 · 실제로 바꾸는 방법

코드에서 바꿀 건
한 줄이다

여기가 많은 분들이 놓치는 부분이다. LM Studio와 Ollama는 OpenAI와 똑같은 형식의 주소를 열어준다.
그래서 이미 만들어둔 코드에서 주소만 바꾸면 로컬 모델로 넘어간다.

# 기존 — 사용자가 질문할 때마다 내 카드에서 돈이 나간다 client = OpenAI( base_url = "https://api.openai.com/v1", api_key = "sk-...." ) # 로컬 — 내 컴퓨터의 모델을 부른다. 요청당 비용 0원 client = OpenAI( base_url = "http://localhost:1234/v1", # LM Studio 기본 주소 api_key = "not-needed" ) # 나머지 코드는 손대지 않는다 res = client.chat.completions.create( model = "qwen3-8b", messages = [{"role": "user", "content": "요약해줘"}] )

이 한 줄의 의미를 다시 짚어보자. 서비스 구조를 다시 짜는 게 아니다. 원가 구조만 갈아끼우는 것이다. 요약·분류·추출처럼 무거운 추론이 필요 없는 기능부터 로컬로 옮기고, 정말 어려운 것만 유료 API에 맡기는 이중 구조가 지금 가장 현실적인 답이다.

무료 · 윈도우 · 맥 · 리눅스

LM Studio

클릭으로 모델을 내려받고, OpenAI 호환 서버를 켜준다. 처음이면 이것부터

열어보기 ↗

무료 · 명령어 한 줄

Ollama

ollama run qwen3:8b — 이 한 줄로 모델이 돌아간다. 자동화에 붙이기 좋다

열어보기 ↗

Hugging Face

문샷AI 공식 저장소

K3 가중치와 라이선스 파일이 있는 곳. 상업적으로 쓸 거면 라이선스를 꼭 직접 확인할 것

열어보기 ↗

한 단계 위에서 보기

2.8조가 공개돼서
진짜 달라지는 것

내 노트북에서 못 돌린다고 남의 일이 아니다. 세 가지가 실제로 바뀐다.

1

📉

가격에 천장이 생긴다

비슷한 성능을 누구나 직접 돌릴 수 있게 되면, API 가격은 그 이상으로 올라가지 못한다. 1인 기업에게는 원가가 계속 내려간다는 뜻이다.

2

🔓

한 회사에 묶이지 않는다

서비스 전체가 한 회사 API에 얹혀 있으면, 그쪽 가격·정책·중단에 내 사업이 흔들린다. 대체할 수 있는 선택지가 존재한다는 것 자체가 협상력이다.

3

🔬

검증할 수 있게 된다

가중치와 논문이 열려 있으니 연구자 누구나 확인하고 개선한다. 오늘 본 KDA·최적 희소성 같은 이론이 빠르게 도는 이유가 이것이다.

4

🧭

작아지며 내려온다

거대 모델에서 검증된 구조는 몇 달 뒤 작은 모델로 내려온다. 오늘의 2.8조가 내년의 8B에 들어간다. 그때 준비된 사람이 먹는다.

"오픈 웨이트가 중요한 이유는 지금 당장 내가 돌릴 수 있어서가 아니다.
돌릴 수 있는 사람이 세상에 존재해서, 값이 오르지 못하기 때문이다." — 오늘의 정리

정리 · EP.20

오늘 챙겨갈
일곱 가지 이론

이론	한 줄 정리	내 서비스에서는
희소성	아는 것과 쓰는 것을 분리한다	기능은 넓게, 요청당 비용은 얇게
MoE	896명 중 16명만 호출한다	모든 요청에 최고 모델을 쓸 필요는 없다
최적 희소성	기억은 총량, 추론은 활성량에서 온다	어려운 일에만 큰 모델을 붙인다
라우팅 균형	안 쓰이는 전문가는 낭비다	안 쓰는 기능은 지우는 게 낫다
어텐션 비용	길이가 1,000배면 계산은 100만 배	프롬프트를 길게 넣을수록 돈이 나간다
선형 어텐션	쌓지 않고 고쳐 쓴다	대화 전체를 매번 보낼 필요가 없다
양자화	파라미터 × 비트 ÷ 8	내 장비에 뭐가 들어가는지 직접 계산한다

다음 단계. 오늘 배운 것을 손으로 확인해보자. LM Studio를 깔고 8B 모델 하나를 내려받아, 지금 만들고 있는 서비스의 가장 단순한 기능 하나를 로컬로 돌려보는 것. 그 한 번이 원가 구조를 보는 눈을 만든다. 11월 「나만의 인공지능 · 로컬AI의 정석」에서 이걸 처음부터 끝까지 함께 만든다.

1차 출처 · arXiv:2607.24653

Stable LatentMoE · KDA · AttnRes · Quantile Balancing 설명

열어보기 ↗

고전 · arXiv:1701.06538

희소 게이트 MoE (2017)

모든 것이 시작된 논문

논문 열기 ↗