25
1
0
—
—

4280 亿参数开源了,我那台 4G 服务器还是只能调 API

对于普通开发者来说,API始终是首选

10 月 26 日晚上我在服务器上改一个部署脚本,等命令跑完的空档刷了下时间线,才发现三家把模型挤在一周里全发完了。

10 月 19 日 MiniMax M3.1 Flash 上线,10 月 23 日把权重开源。10 月 24 日零点,月之暗面推了 Kimi K3.1 Pro。10 月 26 日,OpenAI 发了 GPT-6.1 Terra。

一周三个模型,两个说开放权重,一个直接砍价一半。热闹是真热闹。

三条不一样的路

模型

发布

参数

上下文

权重

每百万 token 刊例价

GPT-6.1 Terra

10 月 26 日

未公开

1.05M

不开源

输入 1 美元、输出 5 美元

Kimi K3.1 Pro

10 月 24 日

3 万亿级

1,048,576

承诺 11 月 4 日前

输入 2 美元、输出 10 美元

MiniMax M3.1 Flash

19 日上线、23 日开源

4280 亿,激活 230 亿

最高 1M

已开源

输入 1 元、输出 4 元

Terra 走的是老路,闭源,只在自家 API 和 ChatGPT 里用。这次主打视觉推理和电脑操作,官方在 OSWorld 2.1 离线集上报 74.2%,MMMU-Pro 报 85.5%,上下文 1.05M token。它比 9 月 29 日的 GPT-6.1 Sol 便宜一半,输入从每百万 2 美元降到 1 美元,输出从 10 美元降到 5 美元。

K3.1 Pro 是 3 万亿级参数,上下文 1,048,576 token,原生支持文本、图片和视频输入。三项单价都比上一代 K3 降了三分之一,国内刊例价输入 13 元、输出 68 元,缓存命中 1.3 元,高速版是两倍价。官方承诺 11 月 4 日之前发布完整模型权重。

M3.1 Flash 已经开完了。总参数 4280 亿,每个 token 激活约 230 亿,支持文本图像视频输入,最高 100 万 token 上下文。官方说 10 月 19 日上线后 72 小时里,真实用户处理了超过 100 万亿 token。

开放权重这四个字,与我无缘了

我一开始也跟着高兴。「权重开源」听起来像东西已经递到手里了。后来在纸上算了一笔账。

4280 亿参数,按 BF16 存要 856 GB 显存。压到 4 bit 差不多 214 GB。

3 万亿参数更别提,BF16 是 6 TB,4 bit 也要 1.5 TB,还得配一整套能跑起来的推理框架和足够快的卡。

我这台服务器总共 3.6 GB 内存。

模型

BF16 原始精度

压到 4 bit

相当于我现有内存的

M3.1 Flash 4280 亿

856 GB

约 214 GB

约 60 倍

K3.1 Pro 3 万亿

6 TB

约 1.5 TB

约 400 倍

这两个数字跟 3.6 GB 摆在一起,光靠给服务器加内存条是追不上的。

这里有个容易看错的地方。官方写 M3.1 Flash 每个 token 只激活 230 亿参数,很多人第一反应是「那我按 230 亿算显存不就行了」。不行。MoE 结构里稀疏激活省的是算力,不是显存,那 4280 亿个参数一个都不能少,得全部驻留在显存里等着被调用。所以省下来的是推理时每次算多少,不是你要买多少卡。这个坑挺常见,网上那些算 MoE 显存算出来的账对不上的,多半是这里看错了。

所以开放权重这件事捧的是另一群人。卖推理算力的服务商,手里有卡的云厂商,能拿权重去微调自家业务模型的团队,他们才是第一波受益人。个人开发者排在队尾,我下载那几十上百 GB 的权重,除了占硬盘没有别的用。

跟我有关的其实是价格

三家都在降,这才是落到我身上的变化。

Terra 输入输出各砍一半。K3.1 Pro 三项单价降三分之一。M3.1 Flash 最狠,输入每百万 1 元、输出 4 元、缓存读取 0.1 元,比 M3 的输入输出单价降了一半以上。官方给的说法是整体使用成本降 70%,推理速度提升近 3 倍。

这台机器上现在塞着两个数据库、一个博客、两个 AI 面板,可用内存长期吊在 1.3 GB 上下。前几天装一个 AI 面板,进程起来占 250 MB,我看了一眼剩余内存,觉得还行,接着装插件市场,又从牙缝里挤出一点。这种资源状况下,别说 4280 亿的模型,20B 级量化模型都跑不稳。

所以我的用量是纯 API 路线。主模型走 DeepSeek,一天几十轮对话,多数轮次几千 token。这个量级下,单价从 2 美元降到 1 美元,我一个月省不出几块钱。

但方向是对的。便宜到这个程度,很多以前要犹豫的事就不用犹豫了。让模型把几十页的文档通读一遍,以前会心疼那点钱,现在不太在乎。

Terra 我倒是懂了

Terra 发布当天就进了 ChatGPT 和 Codex,付费档全部可以直接用。它主打的能力是直接操作软件界面,模型能看屏幕、点按钮、跨软件把活干完。

这东西对个人开发者的意义,比多一个会聊天的模型大得多。现实里一堆活没有 API,只有界面,装个客户端点一百次那种。能把它交出去的场景我立刻能想出几个。

可惜我服务器上没有图形界面。这套能力要用起来,得接在一台有人天天开着的电脑上,而不是塞在机房的角落里。

K3.1 Pro 那个权重,官方写的是 11 月 4 日之前发布。到写这篇的时候还没发。承诺和兑现之间隔着一周,这一周里会不会变,我不知道。

M3.1 Flash 那个 100 万亿 token,我没找到统计口径。是全部流量都算进去,还是只算这个新模型,官方没说清。

还有一件更麻烦。有独立分析把 K3.1 Pro 的单价换算成跑完一个任务要多少钱,结论是单任务成本和上一代几乎没动。单价降三分之一,但新模型想得更久、写得更长,总账打平。这个说法我没法验证,只能先记着。

还是没想明白

如果权重真的都开了,为什么我还是要调 API。

要是有钱买八张卡,这问题就不成立。可我手上这台机器的内存是 3.6 GB,跑不动任何一个像样的本地模型,连量化到 4 bit 的小模型都塞不下。

开放权重对我,暂时只是一条新闻。

三条路里,对我最实在的还是降价这一条。权重、参数、基准分数都是别人家的热闹,账单是自己的。


参考来源

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!

4280 亿参数开源了,我那台 4G 服务器还是只能调 API
/archives/hJ9NIuMW
作者
楠香自语
发布于
2026-10-27
许可协议
CC BY-NC-SA 4.0

评论