colibri 是一个非常实用的开源项目，它能让普通电脑也能运行超大语言模型（GLM-5.2（744B），并且可以在无显卡的情况下，仅使用 CPU，但需要至少25G 内存。@Appinn
普通电脑跑 GLM-5.2（744B）模型
colibri 使用纯 C 语言，零依赖。可以按需从硬盘加载 Expert（专家）参数，只需要 25GB 内存的家用电脑，就可以运行 GLM-5.2（744B 参数 MoE）。
没有 BLAS 依赖，，不用 Python，不需要 GPU（但支持 CUDA 加速）。
它不一次性把模型全部放到内存中，而是把不常用的模型参数存放在硬盘里，需要时再读取，因此只需约 25GB 内存，就能运行原本需要数百 GB 显存的 GLM-5.2（744B）模型。
GLM-5.2（744B）
而 GLM-5.2（744B）是智谱（Z.ai）于 2026 年发布的旗舰开源模型，也是目前最强的开源模型之一。就是那个曾经万亿市值大模型公司。
它的几个关键参数：
- 总参数：744B（7440 亿）
- MoE（混合专家）架构：总参数 744B，但每次推理只激活约 40B 参数。
- 上下文长度：100 万 Token
- MIT 开源协议，可商用、可本地部署。
- 官方提供权重，可在 vLLM、llama.cpp 等框架中运行。
根据业界评论，GLM-5.2 是目前最接近 GPT、Claude 等闭源旗舰模型的开源大模型之一。
但是，它需要 370GB 硬盘
因为 GLM-5.2 真的很强，很大，光模型文件本身（GLM-5.2-INT4），就需要370GB硬盘。
所以，像青小蛙这种电脑里只有 260GB的用户来说，虽然有25GB内存，但是没有370GB硬盘啊 😭
支持的系统：
- Linux（推荐，开发和测试主要平台）
- macOS（支持 Intel 和 Apple Silicon）
- Windows 11 原生（使用 MinGW-w64 编译，无需 WSL）
- WSL2（Windows 下也可以使用）
关于速度
开发者有一个预估的速度：
| 硬件配置 | 预计速度 |
|---|---|
| 25GB RAM + 约 1GB/s NVMe | 0.05–0.1 tok/s |
| 32GB RAM + PCIe 4.0 NVMe（3–5GB/s） | 0.5–1 tok/s |
| 64GB RAM + PCIe 5.0 / 双 NVMe RAID（8–12GB/s） | 2–4 tok/s |
| 128–256GB RAM（热点 Expert 已缓存） | 2–4 tok/s |
| 128GB+ RAM + 24–32 核 CPU 或 AVX-512 | 5–15 tok/s（可交互） |
还有一个实测的速度：
| 平台 | 速度 |
|---|---|
| Intel Ultra 7 + 24GB RAM | 0.07 tok/s |
Intel Ultra 7（--topp 0.7） | 0.11 tok/s |
| Apple M5 Max（CPU） | 1.06 tok/s |
| Apple M5 Max（Metal） | 1.83 tok/s |
| Apple M5 Max（优化后） | 2.06 tok/s（目前最快） |
| Mac mini M4 Pro 48GB（Metal） | 0.30 tok/s（CPU-only 为 0.18） |
| Ryzen 9950X + PCIe5 SSD | 0.28 tok/s |
| Ryzen AI Max+ 395（缓存预热后） | 0.40 tok/s |
| Ryzen 9800X3D + RTX 5090 | 0.41 tok/s（开启 --topp 0.7 后 0.52 tok/s） |
| EPYC 7443 + 430GB RAM | 1.00 tok/s |
虽然惨不忍睹，但是，这是 744B 大模型啊。这种级别的模型，往常至少需要 370GB 显存啊，如果是更高精度（FP16）的模型，可能需要1.5TB显存。
所以在只有25GB内存的家用电脑上，让 744B 跑起来，已经很神奇了。
最后，作者明确表示：”This is not fast.”（它并不快。），这不快。 这是一个 744B 前沿级模型，能在一台成本低于一个 H100 风扇的机器上正确响应。
原文：https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/
先解决能不能用，对吧。
