---
title: colibri – 在 25GB 内存电脑上运行 GLM-5.2 (744B MoE)
date: 2026-07-14T06:10:51Z
modified: 2026-07-14T06:15:02Z
permalink: "https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/"
type: post
status: publish
excerpt: ""
categories:
  - AI
featured_image: "https://www.appinn.com/wp-content/uploads/2026/07/Copy-of-appinn-homework-2026-07-14T125922.212.jpg"
author: 青小蛙
timestamp: 2026-07-14T06:15:02Z
tags:
  - AI
---

**colibri** 是一个非常实用的开源项目，它能让普通电脑也能运行超大语言模型（GLM-5.2（744B），并且可以在**无显卡**的情况下，仅使用 CPU，但需要至少25G 内存。@[Appinn](https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram.md)

![](https://www.appinn.com/wp-content/uploads/2026/07/Copy-of-appinn-homework-2026-07-14T125922.212.jpg)

## 普通电脑跑 GLM-5.2（744B）模型

colibri 使用纯 C 语言，零依赖。可以按需从硬盘加载 Expert（专家）参数，只需要 25GB 内存的家用电脑，就可以运行 GLM-5.2（744B 参数 MoE）。

没有 BLAS 依赖，，不用 Python，不需要 GPU（但支持 CUDA 加速）。

它不一次性把模型全部放到内存中，而是把不常用的模型参数存放在硬盘里，需要时再读取，因此只需约 25GB 内存，就能运行原本需要数百 GB 显存的 GLM-5.2（744B）模型。

## GLM-5.2（744B）

而 GLM-5.2（744B）是智谱（Z.ai）于 2026 年发布的旗舰开源模型，也是目前最强的开源模型之一。就是那个曾经万亿市值大模型公司。

它的几个关键参数：

- 总参数：744B（7440 亿）
- MoE（混合专家）架构：总参数 744B，但每次推理只激活约 40B 参数。
- 上下文长度：100 万 Token
- MIT 开源协议，可商用、可本地部署。
- 官方提供权重，可在 vLLM、llama.cpp 等框架中运行。

根据业界评论，GLM-5.2 是目前最接近 GPT、Claude 等闭源旗舰模型的开源大模型之一。

## 但是，它需要 370GB 硬盘

因为 **GLM-5.2** 真的很强，很大，光模型文件本身（GLM-5.2-INT4），就需要370GB硬盘。

![](https://www.appinn.com/wp-content/uploads/2026/07/CleanShot-2026-07-13-at-18.04.25-2x.avif)

所以，像青小蛙这种电脑里只有 260GB的用户来说，虽然有25GB内存，但是没有370GB硬盘啊 😭

支持的系统：

- **Linux**（推荐，开发和测试主要平台）
- **macOS**（支持 Intel 和 Apple Silicon）
- **Windows 11 原生**（使用 MinGW-w64 编译，无需 WSL）
- **WSL2**（Windows 下也可以使用）

## 关于速度

开发者有一个预估的速度：



| 硬件配置 | 预计速度 |
| --- | --- |
| 25GB RAM + 约 1GB/s NVMe | **0.05–0.1 tok/s** |
| 32GB RAM + PCIe 4.0 NVMe（3–5GB/s） | **0.5–1 tok/s** |
| 64GB RAM + PCIe 5.0 / 双 NVMe RAID（8–12GB/s） | **2–4 tok/s** |
| 128–256GB RAM（热点 Expert 已缓存） | **2–4 tok/s** |
| 128GB+ RAM + 24–32 核 CPU 或 AVX-512 | **5–15 tok/s**（可交互） |

还有一个实测的速度：



| 平台 | 速度 |
| --- | --- |
| Intel Ultra 7 + 24GB RAM | **0.07 tok/s** |
| Intel Ultra 7（`--topp 0.7`） | **0.11 tok/s** |
| Apple M5 Max（CPU） | **1.06 tok/s** |
| Apple M5 Max（Metal） | **1.83 tok/s** |
| Apple M5 Max（优化后） | **2.06 tok/s**（目前最快） |
| Mac mini M4 Pro 48GB（Metal） | **0.30 tok/s**（CPU-only 为 0.18） |
| Ryzen 9950X + PCIe5 SSD | **0.28 tok/s** |
| Ryzen AI Max+ 395（缓存预热后） | **0.40 tok/s** |
| Ryzen 9800X3D + RTX 5090 | **0.41 tok/s**（开启 `--topp 0.7` 后 **0.52 tok/s**） |
| EPYC 7443 + 430GB RAM | **1.00 tok/s** |

虽然惨不忍睹，但是，这是 744B 大模型啊。这种级别的模型，往常至少需要 370GB 显存啊，如果是更高精度（FP16）的模型，可能需要1.5TB显存。

所以在只有25GB内存的家用电脑上，让 744B 跑起来，已经很神奇了。

最后，作者明确表示：”This is not fast.”（它并不快。），这不快。 这是一个 744B 前沿级模型，能在一台成本低于一个 H100 风扇的机器上正确响应。

---

原文：https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/

先解决能不能用，对吧。

## Topics

**分类目录:** [AI](https://www.appinn.com/category/ai/?output_format=md)