图片来源：网络，版权归原作者所有，侵权请联系删除
7 月 16 日，赶在 WAIC 开幕前，月之暗面发布了 Kimi K3——2.8 万亿参数，1M 上下文窗口，原生多模态。
这是目前全球参数规模最大的开源模型，比 DeepSeek V4 Pro（1.6T）大约 75%。 月之暗面称，虽然 K3 整体仍落后于最强闭源模型 Claude Fable 5 和 GPT-5.6 Sol，但在全套评测中展现出前沿水平，并稳定超过了其他所有模型。完整权重将于 7 月 27 日前发布。
这也是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。
图片来源：网络，版权归原作者所有，侵权请联系删除
价格上，K3 价格对标 Sonnet 模型，每百万 Token 输入：2 元（命中缓存）和 20 元（未命中缓存），输出：100 元。官方声称，借助 Mooncake 分离式推理架构，Kimi 官方 API 编程场景的缓存率超过 90%，实际输入价格仅为标准输入价格的 1/4。
目前 K3 已经可以在 Kimi 网页版、Kimi App 和 Kimi Work 以及官方 API 中使用，当前默认思考强度为 max（极致），后续更新后会增加 low 和 high 两种模式。
01 参数上， 把规模推到 3 T 参数级
Kimi K3 是一个 MoE 模型，总参数 2.8 T。模型拥有 896 个专家模块，每次推理只激活其中 16 个。这种高稀疏度设计意味着，虽然模型「知道」的东西极多，但每次回答问题时调用的计算量被严格控制。
架构上，K3 引入了两项关键创新：
Kimi Delta Attention（KDA）： 一种混合线性注意力机制。传统 Transformer 的注意力机制在处理超长文本时计算成本呈平方增长，KDA 用线性注意力替代了大部分计算，同时保留少量全注意力层处理需要精确检索的场景。具体比例是 3:1——每 4 层中有 3 层用 KDA，1 层用全注意力。结果是 KV 缓存使用量减少 75%，在 100 万 token 上下文长度下解码吞吐量提升最高 6 倍。
Attention Residuals（AttnRes）： 传统深层模型在各层均匀累积信息表示，AttnRes 则让模型能有选择地跨层检索信息。简单说，模型变深之后，底层学到的东西不容易被顶层「忘掉」。
图片来源：网络，版权归原作者所有，侵权请联系删除
这两项技术合在一起，让 K3 相比上一代 K2 的整体训练效率提升了约 2.5 倍。月之暗面在官方博客中的说法是：「能更有效地把算力转化为能力。」
此外，K3 采用了量化感知训练（MXFP4 权重 + MXFP8 激活），从 SFT 阶段就开始适配低精度推理，这意味着模型从训练阶段就在为部署效率做准备。
图片来源：网络，版权归原作者所有，侵权请联系删除
价格上，K3 对标 Sonnet 5 模型，比 K2.6 贵了不少，对于重度用户，感觉 token plan 可能更划算。
根据 Artificial Analysis 的数据，K3 在智能指数（Intelligence Index）上的平均任务成本为 0.94 美元，接近 GPT-5.6 Sol 的 1.04 美元，约为 Opus 4.8（1.80 美元）价格的一半。
图片来源：网络，版权归原作者所有，侵权请联系删除
02 性能： 逼近闭源最强，但还没追上
先看数据和评测。
图片来源：网络，版权归原作者所有，侵权请联系删除
图片来源：网络，版权归原作者所有，侵权请联系删除
月之暗面的定位是： K3 整体仍落后于 Fable 5 和 GPT-5.6 Sol，但稳定超过了其他所有模型。
在 Kernel 优化竞技场（一个让模型在 GPU 沙箱里自主优化内核的测试环境）中，K3 在最大思考强度下的表现接近 Fable 5（含回退机制），明显领先 Opus 4.8、GPT-5.6 Sol 和 GPT 5.5。
在 AA-Briefcase（长程智能体知识工作测试）中，K3 得分 1527，排名第二，超过了 GPT-5.6 Sol Max 的 1495。
知识工作领域的提升也是本次模型的亮点。
图片来源：网络，版权归原作者所有，侵权请联系删除
不过具体体感如何，也期待各位的实测。
03 任务演示： 48 小时设计一颗芯片
Benchmark 数据之外，K3 有几个能力展示值得单独说。
Kernel 优化竞技场。 月之暗面搭建了一个内核优化测试环境，每个模型在独立的 GPU 沙箱中运行，最多 24 小时内完成分析、重写和验证。测试覆盖 H200 GPU 上的 Attention Residuals、KDA 线性注意力、512 头维度 MLA 内核，以及某国产 GPU 上的 KDA 任务。K3 在最大思考强度下的表现接近 Fable 5。
从零构建 GPU 编译器。 K3 开发了 MiniTriton，一款类 Triton 编译器。它基于 MLIR 构建了自己的 tile 级中间表示层，实现了完整的优化 pass 到 PTX 代码生成流水线。在 Roofline 基准测试中，MiniTriton 在部分工作负载上的性能超过了 Triton 和 torch.compile。作为端到端验证，团队用 MiniTriton 训练了 nanoGPT，并观察到正常收敛。
自主设计芯片。 在 48 小时连续运行中，K3 基于开源 EDA 工具和 Nangate 45nm 工艺库，独立完成了一颗芯片的设计、优化和验证。芯片面积 4 mm²，集成 146 万个标准单元，在 100 MHz 下完成时序收敛，仿真解码吞吐超过每秒 8700 个 token。月之暗面的描述是：「一颗由模型设计、为模型服务的芯片。」
科研编程。 在一个计算天体物理的案例中，K3 用约两小时复现了 I-Love-Q 普适关系，阅读交叉验证了 20 多篇论文，评估了 300 多种状态方程，生成了 3000 多行代码。这个工作通常需要一名资深研究人员一到两周。
行业研究。 在 Kimi Work 中，K3 完成了一份推理芯片行业研究报告，覆盖 ASIC 行业 42 年历史，经过 120 多轮递归自我改进。过程中完成了 2800 多次网页搜索、1100 多次终端数据拉取，处理了 87 份季报和 99 份 PDF，合计超过 11000 页。
图片来源：网络，版权归原作者所有，侵权请联系删除
查看完整交互式报告 https://asic42cn.ok.kimi.link/
这些案例的共同特征是 长程自主性， 持续数小时甚至数天地独立完成复杂工程任务。这是 K3 区别于上一代模型最核心的能力升级。
04 已知局限
月之暗面在发布博客中列出了三条局限：
图片来源：网络，版权归原作者所有，侵权请联系删除
还没有评论，来说两句吧...