SPORTS EDITORIAL

赛事内容 · 深度观察 · 体育视角

纬来体育 - 从哨响开始,跟进每个关键时刻 资讯动态 3210亿参数塞进单张显卡,26 token每秒跑起来了

3210亿参数塞进单张显卡,26 token每秒跑起来了

纬来体育带来本期体育资讯:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

about image

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

更多体育资讯,关注纬来体育。

返回资讯列表
分享文章与朋友分享这篇体育内容