Strata 0.2.4 更新：12GB 显卡运行 DeepSeek V4.1-Flash

在普通电脑上运行一个动辄需要数百 GB 内存的 DeepSeek V4.1-Flash 大模型，听起来有点天方夜谭。但刚刚发布的 Strata 0.2.4 做到了。

只需要一张 RTX 3060 12GB 显卡，搭配 46GB 内存，就能在本地运行 DeepSeek V4.1-Flash 的完整架构量化模型。

甚至还能达到 每秒 8～10 个 token 的生成速度。

当然，代价是需要至少 239GB 的硬盘空间，以及一块足够快的 SSD。

Strata 0.2.4 是怎么做到的？

DeepSeek V4.1-Flash 的模型体积非常庞大，即便经过极限量化，最小版本也需要 239GB 存储空间。

Strata 0.2.4 使用了一套「热门专家缓存」机制。

简单来说，DeepSeek 采用了 MoE（混合专家）架构，每次生成文字时，只需要调用其中一部分专家模块。

Strata 会把最常用的专家保留在内存中，其余部分存放在 SSD 上，需要时再读取。

这样一来，就不必把整个模型塞进显存或内存里了。

当然，这也意味着 SSD 的读取速度非常重要，硬盘太慢会直接影响生成速度。

硬件门槛有多低？

官方给出的最低配置是：

• 显卡： 12GB 显存起，例如 RTX 3060
• 内存： 46GB 已经实测可用，推荐 64GB
• 硬盘： 至少 239GB，推荐高速 NVMe SSD

目前支持三个量化版本：

压缩这么狠，模型会变笨吗？

会有一定损失，但可能比想象中小。Strata 提供的三个版本分别是 1.75-bit、2.00-bit 和 2.25-bit。

根据模型量化团队 ISTA-DASLab 的测试，即使是压缩最狠的 1.75-bit 版本，在数学、知识问答和编程三项基准测试中的平均表现，仍达到原版的 98.7%。

不过，这并不意味着所有任务都能保持这样的水平。极低比特量化仍可能影响语言表达、稳定性和复杂任务表现。

（大白话是测试成绩归测试成绩，实际使用是实际使用）

如果硬盘空间足够，更推荐 274GB 的 IQ2_XS 版本，它的量化误差更小，更适合编程和 AI Agent 任务。

实际运行速度怎么样？

开发者公布了几组实测数据，都是 IQ2_XXS 版本的成绩：

有趣的是，RTX 3060 的成绩甚至超过了 RTX 5070。这是因为模型运行时还需要大量依赖 CPU 和 SSD，显卡性能已经不是唯一决定因素。

Strata 还加入了 CPU 指令优化、长提示词加速，以及 DSpark 推测解码等技术，进一步改善运行速度。

每秒 8～10 个 token，拿来聊天、测试模型还算可以，但干其它的就太慢了。青小蛙觉得，至少 要有 40 t/s 才能达到可用的地步。

不过，先解决有没有，比快不快更重要。

如何使用？

需要特别注意：这次 DeepSeek 支持仅限 Strata 终端版。

桌面 GUI 仍然是 0.2.3，DeepSeek 支持会在后续版本加入。

首次安装：

Windows 用户打开 PowerShell，下载官方安装脚本：

Invoke-WebRequest https://github.com/Niko1221/Strata/releases/download/v0.2.4/install.ps1 -OutFile install.ps1

检查脚本内容后执行：

.\install.ps1

Linux 用户可下载并运行官方 install.sh，具体安装说明见项目发布页面。

升级：

已经安装 Strata 终端版的用户，执行：

strata update

然后：

strata launch

选择 DeepSeek V4.1-Flash，程序就会自动下载对应的推理引擎，并引导下载模型。

DeepSeek 使用独立的 strata-dsv41 引擎，不会替换此前运行 Qwen 模型的引擎。

另外，开发者已经发布了 Terminal 0.2.4.1，修复了 DeepSeek 安装过程中卡在「Preparing your model」的问题，旧版用户执行 strata update 即可修复。

目前 Windows 和 Linux 支持符合要求的 NVIDIA 显卡，部分 AMD 显卡也已获得支持。macOS 和 AMD Strix Halo 暂时无法运行这个 DeepSeek 模型。

原文：https://www.appinn.com/strata-0-2-4-deepseek-v4-1-flashterminal-0-2-4-1/