Strata 0.2.7.1 发布:12GB 及以下显存加速,RTX 3060 生成代码快了 37%|支持 NVIDIA DGX Spark

Strata · 追踪报道(共 7 篇)
  1. Strata 0.2.7.1 发布:12GB 及以下显存加速,RTX 3060 生成代码快了 37%|支持 NVIDIA DGX Spark (当前文章)
  2. Strata 0.2.4 更新:12GB 显卡运行 DeepSeek V4.1-Flash
  3. Strata 0.2.3 更新:聊天太长?现在会自动压缩了
  4. Strata 0.2.2 发布:新增多显卡自由分工,Gyro 推理提速最高 30%
  5. Strata 0.2 测试版发布:性能升级,门槛再降低|低配电脑运行本地大模型
  6. Strata 现已支持 macOS,还能运行更轻量的 Qwen3.6-35B-A3B 大模型了
  7. 8GB显存就够,Strata 让普通电脑也能运行千亿参数大模型
  1. Strata 0.2.7.1 发布:12GB 及以下显存加速,RTX 3060 生成代码快了 37%|支持 NVIDIA DGX Spark (当前文章)
  2. Strata 0.2.4 更新:12GB 显卡运行 DeepSeek V4.1-Flash

再次更新
Strata 0.2.7.1 支持在 NVIDIA DGX Spark(Linux ARM64)上运行,DeepSeek-V4.1-Flash 则支持在 Apple 芯片 Mac 上运行

就在刚刚,开发者直接修改了 v0.2.7 发布页面,新增 0.2.7.1 更新说明:

Apple Silicon Mac 终于能跑 DeepSeek V4.1-Flash

在拥有 128GB 统一内存的 M5 Max 上(还需要250GB以上磁盘空间),运行 DeepSeek V4.1-Flash:

  1. DeepSeek 2.00 bpw,短文本生成速度:15–16 tok/s
  2. DeepSeek 2.25 bpw,短文本生成速度:13–15 tok/s

暂时只能通过命令行运行。

NVIDIA DGX Spark 正式获得支持

Strata 现在可以运行在 NVIDIA DGX Spark 之上了,支持 Qwen3.8-Flash-Next 和 DeepSeek V4.1-Flash,提示词处理速度提升约 20%~24%,但文本生成速度基本没有变化。

  • Qwen3.8 IQ3_S:约 46 tok/s
  • Qwen3.8 NVFP4:约 40–43 tok/s
  • DeepSeek V4.1-Flash 2.00:约 13–18 tok/s

以下内容针对 Strata 0.2.7:

Strata 优化了只有 12GB 显存的显卡性能,让 RTX 3060 生成代码的速度快了 37%。@Appinn

Strata 0.2.7.1 发布:12GB 及以下显存加速,RTX 3060 生成代码快了 37%|支持 NVIDIA DGX Spark 1

本周一,青小蛙还在吐槽上个版本:Strata 请不要抛弃老用户:

Strata 0.2.7.1 发布:12GB 及以下显存加速,RTX 3060 生成代码快了 37%|支持 NVIDIA DGX Spark 2

也就两天时间,Strata 0.2.7 发布了,对应引擎 0.1.52 版本,重点优化了低显存 NVIDIA 显卡的推理性能。

根据开发者的测试,一张 RTX 3060 12GB 显卡,在运行 Qwen3.8-Flash-Next IQ3_XXS 模型时:

  • 普通文本速度从 46.2 提升至 53.1 tokens/s,提升约 15%
  • 代码生成速度从 45.7 提升至 62.5 tokens/s,提升约 37%

Strata 0.2.7 如何为小显存加速的?

Strata 的主要用途,是让显存有限、但拥有较多系统内存的普通电脑运行大型 AI 模型(甚至在内存不够的情况下,用 SSD)。Strata 会将部分模型数据放在系统内存中,需要时再传输到显卡参与计算。

问题是:显卡需要的专家模型数据,如果不在显存里,就得从内存中调入。

频繁传输自然会拖慢推理速度。

0.2.7 引入了一项新的优化:让模型在选择专家时,优先考虑已经驻留在显存中的专家。

加速代价

由于专家选择可能发生变化,生成结果也可能与原来不同。

开发者在 RTX 3060 12GB 上进行了 80 项测试,未发现文案或代码错误。

但 Agent 自动化任务的测试结果略有下降:开启优化后,10 项任务平均通过 4.5 项,关闭优化时平均通过 5.6 项。

开发者还尝试过更激进的加速设置,结果出现了文本和代码错误。因此,正式版采用了相对保守的默认参数。

哪些显卡可以享受加速?

这项功能针对 显存不超过 13GiB 的独立 NVIDIA 显卡,默认开启,例如常见的 RTX 3060 12GB、RTX 4060 8GB 等显卡都属于适用范围。

其他显卡不会默认启用这项优化。

还有哪些更新?

除了低显存显卡加速,Strata 0.2.7 还带来了几项值得关注的功能:

  • DeepSeek-V4.1-Flash 的提示词处理速度优化,在 RTX 5070 测试中,4K 提示词提升约 47%
  • DeepSeek 新增 512K、1M 上下文配置选项,但超长输入尚未完成实际验证
  • DeepSeek 默认支持图片理解
  • Windows 上的 Ryzen AI Max 设备现在可以运行 DeepSeek-V4.1-Flash
  • 网页聊天界面增加历史记录、搜索、编辑消息、对话分支,以及 HTML/SVG 预览

获取


原文:https://www.appinn.com/strata-0-2-7/

这篇文章对你有帮助吗?

Enable Notifications OK No thanks