2.78 万亿参数的 Kimi K3，塞进 8GB 内存的 CPU 跑起来了：kimi-k3-in-c 登上 GitHub 热榜

先说结论：一个叫 kimi-k3-in-c 的开源项目，把 2.78 万亿参数的 Kimi K3，塞进了一台只有 8GB 内存的 CPU 机器里，还真跑起来了。代价是速度——8 个 token 吐了 261.5 秒，平均一个 token 33 秒。能跑和能用，是两回事，但这份"居然能跑"本身就够极客了。

这项目到底干了什么

kimi-k3-in-c 是 GitHub 上一个用纯 C99 写的推理引擎，目标只有一个：让 Kimi K3 这个 2.78 万亿参数的大家伙，在没有显卡的普通 CPU 上跑起来。没有 BLAS，没有深度学习框架，没有 GPU 要求，编译出来就能跑。11 月 5 日当天，它挂在 GitHub 日榜上，star 数 10574，fork 1652。

思路说白了就一句：模型太大塞不进内存，那就别塞。1.56TB 的检查点老老实实躺在硬盘上，推理的时候一段一段流式读进内存，用完就扔。内存从"装不装得下"的门槛，变成了一个可以拧的旋钮。

核心特点

• 纯 C99 实现，零依赖：不用 BLAS，不用 PyTorch 这类框架，不挑显卡，有 CPU 就能编译运行。
• 峰值内存 8.24GB（作者贴出的数据）：作者在 laptop 预设下测得的峰值常驻内存。2.78 万亿参数的模型，内存占用还没某些浏览器多。
• 四招瘦身组合拳：专家权重用 MXFP4 存，一个权重只占半字节；KDA 注意力让内存占用不随长度增长；MLA 把 96 个注意力头压成一个隐向量；93 层逐层流式加载，再配一个 LRU 专家缓存。
• 内存是个旋钮：8GB 到 224GB 都能跑，同一句提示词在任何内存档位下输出逐字节相同，变的只是速度。内存给足、把 90/93 层钉在内存里，速度能压到平均 10.66 秒一个 token。
• 五档预设开箱即用：laptop、desktop、workstation、server、max，另有一个 ultra 档（2.5GB trunk ring + 0.31GB 专家缓存）。作者原话：ultra 是"能跑通"的证明，不是"能聊天"的速度。
• 带多轮聊天 REPL：支持官方 Kimi K3 XTML 格式的多轮对话，不只是跑个续写 demo。
• Apache-2.0 开源协议：代码本身是标准宽松协议，随便用随便改。
• 磁盘是真正的瓶颈：需要约 1.7TB 空闲空间（1.56TB 检查点 + 109GB 打包后的 trunk），作者建议放在最快的本地磁盘上，最好是高速 NVMe。
• 一直在变快：v1.0.0 让每个 token 的计算量轻了约 8 倍，追问速度快了 3.9 倍。作者整个 Part IV 的实测，就是在把"每个 token 169.75 秒"的最差成绩一点点磨下来。

速度实话：先看数字再决定要不要试

作者贴出来的数据一点没藏着掖着。laptop 预设下，让模型续写"The capital of France is"，8 个 token 跑了 261.5 秒，平均 32.69 秒一个 token，峰值内存 8.24GB，答案是对的（Paris）。这台测试机还是 124 核 + 高速 NVMe 的配置，你的笔记本只会更慢。

所以这项目的定位很清楚：它是一份工程能力证明，不是日常聊天工具。真想拿 Kimi K3 干活，API 仍然是正路。想折腾、想看看 2.78 万亿参数在自家机器上转起来的样子，再来玩这个。

顺带提一句：这个项目针对的是今年 7 月发布的 Kimi K3。Kimi K3.1 Pro 的完整权重昨天（11 月 4 日）刚在 Hugging Face 放出，要不要支持新版，得看作者后续更新，别下错了权重。

入口与出处

• GitHub：github.com/FareedKhan-dev/kimi-k3-in-c
• 模型权重来自月之暗面官方发布的 Kimi K3 开放权重，检查点约 1.56TB，下载前先确认磁盘空间。
• 信息核对日期：2026 年 11 月 5 日；star 数、版本号以 GitHub 官方页面最新为准。

大模型价格战那篇里聊过，头部大模型 API 正在集体降价，自己搭推理引擎和直接调 API 之间，账要算清楚再动手。

常见问题

是否免费？项目代码本身是 Apache-2.0 协议，免费。模型权重来自月之暗面官方发布的 Kimi K3 开放权重（注意：这个项目针对的是 K3，不是昨天刚放出的 K3.1 Pro）。

信息是最新的吗？本文信息核对于 2026 年 11 月 5 日，star 数与功能细节请以官方最新说明为准。

链接打不开怎么办？先刷新或换网络，也可以在评论区留言，我会核对补档。

本站是官网吗？不是，本站是独立介绍，使用问题请优先找官方。

本文根据项目官网、官方文档及公开资料整理，本站与该项目无官方隶属关系；功能、价格与授权可能调整，请以官方最新说明为准。未亲自验证的内容不写"实测"。