--- title: BaseRT：专为 Apple Silicon 优化，让 Mac 本地大模型快 6.4 倍 date: 2026-07-21T07:13:12Z modified: 2026-07-21T07:13:40Z permalink: "https://www.appinn.com/basert/" type: post status: publish excerpt: "" categories: - AI tags: - AI - 本地大模型 featured_image: "https://www.appinn.com/wp-content/uploads/2026/07/Copy-of-appinn-homework-2026-07-21T150414.169.jpg" author: 青小蛙 timestamp: 2026-07-21T07:13:40Z --- **Apple Silicon 跑本地大模型，速度还能再提升多少？** **BaseRT** 给出了一个答案：在 M5 Pro 上，它的提示词处理速度最高达到 llama.cpp 的 6.4 倍，MLX 的 3.9 倍 ![](https://www.appinn.com/wp-content/uploads/2026/07/Copy-of-appinn-homework-2026-07-21T150414.169.jpg) BaseRT 是一款专为 Apple Silicon 优化的本地 AI 推理引擎，可以运行 Qwen、Llama、Gemma 等多种开源模型。 在对比测试中，BaseRT 的优势主要集中在 Prefill（提示词处理）阶段，在 Decode（生成速度）阶段也有一定提升： | 模型阶段 | 对比 llama.cpp | 对比 MLX | | --- | --- | --- | | Prefill（提示词处理速度） | 最高 6.4 倍 | 最高 3.9 倍 | | Decode（生成速度） | 最高 1.75 倍 | 最高 1.33 倍 | ## 如何使用 ### 安装 curl -LsSf https://basecompute.co/install.sh | sh ### 下载模型 basert pull Qwen/Qwen3-4B ### 运行对话 basert chat Qwen/Qwen3-4B 就可在终端中与本地模型对话了。 ### 启动 API basert serve Qwen/Qwen3-4B --port 8080 BaseRT 会提供 OpenAI 兼容接口： http://localhost:8080/v1 ## 为什么 BaseRT 可以跑得更快？ 大模型运行速度，不只取决于芯片性能，也取决于软件是否能够充分利用硬件。 与 llama.cpp、MLX 等已有本地推理方案相比，BaseRT 的优化重点是利用 Apple Silicon 的硬件特性。在 M5 Pro 测试中，它利用 M5 新增的 Tensor Core 架构，以及 Metal 4 Tensor API 提供的底层计算能力，获得了明显的性能提升。 BaseRT 在 Qwen3、Qwen3.5、Qwen3.6、Llama 3.2、Gemma 4 等多个模型上进行了测试，覆盖 0.6B 到 35B 参数规模。 使用的设备：Apple M5 Pro、48 GB 内存。 ### Prefill（提示词处理速度） | Model | BaseRT pp128 | llama.cpp pp128 | BaseRT pp256 | llama.cpp pp256 | BaseRT pp512 | llama.cpp pp512 | BaseRT pp1024 | llama.cpp pp1024 | BaseRT pp2048 | llama.cpp pp2048 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | Qwen3-0.6B | 11873 | 10559 | 17578 | 14093 | 24525 | 17350 | 29062 | 18973 | 31183 | 19232 | | Llama-3.2-1B | 8936 | 6859 | 13491 | 9267 | 19539 | 11922 | 23952 | 13742 | 27443 | 14358 | | Qwen3.5-2B | 4594 | 3908 | 6994 | 5224 | 10662 | 6888 | 14137 | 8121 | 16291 | 8500 | | Llama-3.2-3B | 3663 | 2831 | 5658 | 3845 | 8428 | 5115 | 11206 | 6132 | 13315 | 6577 | | Gemma-4-E2B | 4991 | 1992 | 7825 | 2524 | 12380 | 2631 | 14661 | 2600 | 16264 | 2547 | | Gemma-4-26B-A4B | 2246 | 1185 | 3448 | 1488 | 5246 | 1897 | 6718 | 2208 | 7857 | 2419 | | Qwen3-30B-A3B | 2478 | 1280 | 3767 | 1592 | 5663 | 2043 | 7357 | 2324 | 8644 | 2586 | | Qwen3.5-35B-A3B | 1501 | 1065 | 2259 | 1356 | 3525 | 1652 | 4577 | 1894 | 5304 | 2094 | | Qwen3.6-35B-A3B | 1361 | 1042 | 2053 | 1331 | 3198 | 1614 | 4202 | 1847 | 4860 | 2051 | | Qwen3.6-27B | 440 | 358 | 664 | 453 | 1021 | 560 | 1416 | 662 | 1706 | 747 | ### Decode（生成速度） | 模型 | BaseRT | llama.cpp | 提升 | MLX | 提升 | | --- | --- | --- | --- | --- | --- | | Qwen3-0.6B | 530.8 tok/s | 386.1 tok/s | 1.37× | 398.1 tok/s | 1.33× | | Llama 3.2-1B | 342.1 tok/s | 267.1 tok/s | 1.28× | 298.0 tok/s | 1.15× | | Qwen3.5-2B | 219.6 tok/s | 147.1 tok/s | 1.49× | 208.7 tok/s | 1.05× | | Llama 3.2-3B | 137.0 tok/s | 120.0 tok/s | 1.14× | 131.0 tok/s | 1.05× | | Gemma 4-26B-A4B | 85.0 tok/s | 83.3 tok/s | 1.02× | 87.0 tok/s | 0.98× | | Qwen3-30B-A3B | 105.1 tok/s | 96.7 tok/s | 1.09× | 97.7 tok/s | 1.08× | | Qwen3.5-35B-A3B | 110.6 tok/s | 72.5 tok/s | 1.53× | 104.8 tok/s | 1.06× | | Qwen3.6-35B-A3B | 110.7 tok/s | 63.1 tok/s | 1.75× | 101.9 tok/s | 1.09× | ## 获取 - [官网](https://www.basecompute.co/) ## Topics **分类目录:** [AI](https://www.appinn.com/category/ai/?output_format=md) **标签:** [本地大模型](https://www.appinn.com/tag/%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b/?output_format=md)