标签相关文章

这个标签暂时没有关联文章。

12G 显卡也能跑 125B 大模型?Strata 把整台电脑都用上了

Strata 试图解决本地部署超大 MoE 模型最现实的三个问题:显存不够、部署麻烦、接入困难。它通过 GPU、CPU、内存与 SSD 协同,把 Qwen3.8 Flash Next 这类超大模型带到普通消费级电脑上。

如果你手里正好有一张 12G、16G,甚至 24G 显存的显卡,最近这个项目确实值得看一眼。

它叫 Strata。

它干的事情非常直接:把原本看起来更像“服务器专属”的 Qwen3.8 Flash Next,想办法塞进普通 PC 的使用场景里。不是让 125B 参数凭空消失,也不是靠什么魔法把模型压进 12G 显存,而是换了一套思路——别只盯着显卡,把整台电脑都调动起来。

GPU、CPU、系统内存、SSD,能干活的全部参与。

这才是它真正有意思的地方。

一、它先解决本地大模型的三道门槛

很多人想在本地跑大模型,真正卡住的往往不是“不会聊天”,而是三件很现实的事。

第一道是 显存。

12G 和 16G 是非常常见的消费级配置,但面对 100B 以上的大模型,显存差距已经不是“少一点”,而是完全不在一个量级。传统思路是尽量把权重塞进 GPU,可模型越来越大之后,这条路的成本会迅速上升。

第二道是 部署复杂度。

编译、依赖、量化格式、模型分片、显存参数、上下文长度……任何一个环节都能把第一次部署的人劝退。模型能不能跑是一回事,能不能几步就跑起来,又是另一回事。

第三道是 生态接入。

本地模型如果只能开一个窗口聊天,用处其实很有限。真正有价值的是接进自己的工作流,比如编辑器、Coding Agent、自动化工具,或者其他支持 OpenAI 接口的客户端。

Strata 的定位,正好就是冲着这三件事来的。

二、它不是“再做一个聊天界面”

Strata 本质上更像一个针对超大 MoE 模型做优化的本地推理引擎。

安装之后,它会根据机器配置去决定适合的量化版本、内存占用和运行方式,并提供本地接口。对于不想折腾复杂参数的人来说,这一点非常关键。

你最终拿到的不是一个只能在项目目录里敲命令的模型,而是一个可以继续接进工具链的本地服务。

简单说,就是从“我终于把模型跑起来了”,变成“这个模型真的能拿来干活”。

三、12G 显存为什么有机会跑 125B

重点来了。

Strata 的核心不是让显存变大,而是把不同硬件当成不同层级的存储和计算资源。

可以把它理解成三层。

第一层是显存。

GPU 负责最关键、最高频的部分,同时尽可能多地缓存常用专家。显存越大,能留在 GPU 上的专家越多,CPU 需要补算的部分就越少。

第二层是系统内存和 CPU。

大量专家权重放在内存里。如果当前 token 需要某个 GPU 没缓存到的专家,就交给 CPU 计算,而且 GPU 和 CPU 尽量并行工作,不让一边一直等另一边。

第三层是 SSD。

速度最慢、但不必每次全部搬进显存的数据,可以留在固态硬盘上。项目里像 n-gram 查找表这一类数据,就可以利用 SSD 和系统缓存处理。

所以它的思路不是“所有东西全塞进 GPU”,而是:

最热的放最快的地方,没那么热的留在内存,低频的大块数据再交给 SSD。

这就像给大模型做了一套分层仓库。

四、真正的关键,其实是 MoE

为什么这个方案在 Qwen3.8 Flash Next 上能成立?

因为它是 MoE,也就是 Mixture of Experts,专家混合模型。

这个模型内部有非常多专家模块,总数达到 24,576 个,但生成一个 token 时,并不是所有专家一起上,而是每层只选择其中少量专家参与计算,常见路由数量是 10 个。

这意味着一个非常重要的事实:

模型总参数很大,不代表每生成一个 token 都要把所有专家全部算一遍。

于是 Strata 就有空间做缓存。

高频专家长期留在 GPU,低频专家放在内存,需要时再由 CPU 补上。聊天内容发生变化,热点专家也会跟着变化,显存里的专家缓存就可以动态调整。

这也是为什么在这种架构里,显存容量有时候比单纯追求更高算力更重要。

多 1GB 显存,可能就意味着多放一批专家;多放一批专家,就意味着 CPU 少干一批活。

五、它还在想办法减少“完整推理次数”

光把模型跑起来还不够,速度才决定它到底能不能用。

Strata 还有一个很重要的加速思路:MTP 推测解码。

你可以把它理解成“先猜,再验”。

一个较轻的预测模块先猜接下来的几个 token,然后完整大模型一次性检查这些候选。如果猜对,就直接连续接受;猜错的地方再由大模型重新决定。

这样做的价值是,原本可能要一轮一轮生成的 token,有机会在一次完整计算里确认多个。

项目给出的说法是,这类机制在合适情况下可以明显提升输出速度,尤其是代码、重复文本和规律性较强的内容。

六、长文本也是它重点优化的场景

很多本地模型短聊天看起来很快,一旦塞进去几十 K 的代码、文档或者历史对话,速度立刻掉下来。

Strata 对长 Prompt 做了专门的分块处理。

长文本不会傻乎乎一个 token 一个 token 地慢慢读,而是尽量以更大的块做 prefill,同时配合专家加载和缓存调度。

所以它真正想服务的,不只是问一句答一句,而是:

  • 大段代码上下文
  • 长文档分析
  • 长对话历史
  • Coding Agent 持续工作

这些场景才更能体现这套架构的价值。

七、硬件不同,选的模型档位也不同

这个项目还有一个很实用的地方:它不会假设所有人都是顶级硬件。

内存较小,就选更激进的量化;内存更充裕,就可以往 IQ2_XS、IQ3_S 这类更高质量的版本走。

如果机器只有 32G 左右内存,又主要做编程,也有偏代码场景的 Coder 版本。

但这里要注意:量化越激进,通常越省内存,代价就是模型能力可能会有损失。并不是数字越小越“神”,而是看你的硬件到底能承受哪一档。

对于本地部署来说,能稳定跑、速度够快、质量能接受,往往比单纯追求最高精度更重要。

八、实际速度到底什么水平

按项目给出的测试数据,在 RTX 5070 12G、64G 内存这类机器上,Q2 档短聊天可以达到约 90 token/s 左右;即便上下文拉长,速度仍然能保持在一个比较实用的区间。

IQ3_S 这类更高质量的量化速度会下降,但仍然可以达到几十 token/s。

如果显存继续往上走,例如 24G 级别显卡,能够驻留在 GPU 的专家更多,整体速度还有继续上升的空间。

当然,这些数字更适合当作参考,不应该理解成所有机器都一定复现同样结果。CPU、内存带宽、显卡、上下文长度、量化方式都会影响最终速度。

九、它也不是没有代价

这个项目很有意思,但不要把它理解成“12G 显卡从此等于服务器”。

它目前更适合个人单机使用,一次主要处理一个请求,并不是为了高并发服务设计的。

第一次输入很长的上下文时,依旧需要完整读入;后续追问因为可以复用已有上下文,体验会明显更快。

另外,项目还很新,更新频率高,一些能力仍在快速迭代。喜欢稳定生产环境的人,需要给它一点时间;喜欢折腾本地 AI 的人,反而会觉得这正是最好玩的阶段。

十、最后记住三个关键词

如果把 Strata 压缩成三个关键词,我会选:

第一,整机协同。
不再把所有压力都压在显卡上,而是让 GPU、CPU、RAM、SSD 一起承担。

第二,专家调度。
利用 MoE 的稀疏特性,把真正高频使用的专家优先留在显存里。

第三,开箱可用。
不仅要把模型跑起来,还要尽量把安装、量化选择和本地 API 一并处理掉。

所以 Strata 真正值得关注的,不只是“12G 显卡能跑 125B”这个标题本身。

更重要的是,它证明了一件事:

超大 MoE 模型不一定非得按照“整模型全部塞进显存”的老办法来运行。只要调度足够细,缓存足够聪明,普通 PC 也能把原本看起来离自己很远的大模型,拉回到本地。

如果你本来就在折腾本地大模型、Coding Agent,或者手上正好有一张 12G 以上显卡,这个项目确实值得实际装起来看看。