先把本文的范围划清楚，免得和站内几篇旧文混在一起。本地部署要算多大显存、几张卡才够，那是 显存测算 SOP 的活；各家 API 每百万 token 报价怎么比，归 API 价格横评那篇；cua computer-use 开源篇 讲的是另一个让模型操作电脑的项目；Hy4 preview 的自部署 SOP 走的是 vLLM、SGLang 那条服务端路线。这几篇碰的都不是同一个对象，本文不碰显存测算、不碰价格横评、也不碰服务端部署，只做一个 GitHub 单体项目的拆解：它是什么、怎么装、分层原理、许可、支持哪些模型、边界在哪。
这个项目就是 JustVugg/colibri，一个用纯 C 编写的 MoE 分层推理引擎。主页在 colibri 仓库，下载或克隆时认准这一个地址：https://github.com/JustVugg/colibri。按 2026 年 11 月 4 日抓取的 GitHub 数据，JustVugg/colibri 默认分支为 main、主语言为 C、star 数 47,567、许可证 Apache-2.0，仓库创建于 2026 年 7 月 1 日，最近一次 push 就在 2026 年 11 月 4 日。它先被 2026 年 11 月 2 日的每日 AI 研究简报以当日约 655 星收进榜单，次日又进了 2026 年 11 月 3 日的 GitHub 热榜，热度还在往上走。
一个几百 B 参数的模型，凭什么能在一台没独立显卡、内存只有两位数 GB 的机器上跑起来？这正是 colibri 想回答的问题。它的标语只有一句 Tiny engine, immense model.，仓库自述则把它定位成面向前沿 MoE 模型的分层推理引擎。下面按项目是什么、三层怎么分层、13 个引擎覆盖谁、三步怎么装、演示与许可怎么读、时效热度这条线拆开。
它是什么：小引擎配大模型的取舍
先说结论：colibri 是纯 C 编写、每个模型家族一个文件、无 GPU 要求的本地推理引擎。这三句每个字都有讲究，后面安装一节还会回来校准「零依赖」这个说法。
它成立的前提是 MoE 模型本身的稀疏性。一个混合专家模型在磁盘上很大，但每个 token 真正用到的只是它的一小部分参数。README 拿 GLM-5.2 举例：744B 参数，每个 token 大约用到 40B，而逐 token 之间会变化的只有约 11 GB 的路由专家。于是稠密部分，也就是注意力、共享专家、词嵌入，常驻在内存里；路由专家留在磁盘上，路由器点到谁再读谁，中间隔一层会学习你工作习惯的专家缓存。模型不必整体塞进高速内存，而是要被摆放好。权重放在哪一层只决定答案来得多快，不决定用哪些权重，也不改路由器的选择。
那为什么非要这么设计？README 给了三个理由：让这种量级的模型跑在人们已经拥有的硬件上；让过程可见，仪表盘能显示每个专家何时被触发；让引擎小到任何人都能测量它、改快它。它同时把自己当成一个开放研究平台：一项优化要靠可复现的端到端实测才能留下来，默认策略绝不悄悄改动模型精度或路由语义。内存少可以慢，但不能偷偷把模型换成一个不太一样的模型。
三层分层：热、温、冷专家各归其位
仓库自述把这套机制压缩成一句话：热专家放在 GPU（CUDA、Vulkan）上，温专家放在 RAM 里，冷专家从 NVMe 流式加载。这是理解 colibri 的主轴。
热的一层是显卡显存。有 GPU 时，最常被点到的专家和稠密层留在这里，NVIDIA 卡走 CUDA，任意支持 Vulkan 1.2 的 GPU 走 Vulkan；独显、核显、AMD、Intel、NVIDIA 都在 Vulkan 的覆盖范围内。温的一层是内存，放下常驻的稠密部分和一批近期用过的专家。冷的一层是磁盘，尤其是 NVMe，路由器要的专家不在上面两层时，就从这里按需流式读进来，一块快的 NVMe 对大模型速度影响最大。README 特意写明：一个专家从显存、内存还是磁盘被读到，答案是一样的，变的只有速度。
每一层每个 token 都走同样的五步：路由、取并集、摆放、重叠、学习。摆放靠实测出来的路由热度决定谁升到显存、谁留在内存、谁回磁盘，做法是一层一个 LRU 缓存，外加从你自己的对话里学出来的固定热集，写在 .coli_usage 里、每轮更新。路由是有可测结构的，所以 colibri 越用越顺手。预取也围绕这件事做：一个专家的三个矩阵一次 pread 读完，加载线程在常驻专家计算的同时把缺的读进来，还有路由前瞻线程提前取下一层。同一份磁盘读两次是要极力避免的。
13 个引擎与它支持的模型
README 写明目前运行着 13 个引擎，源码目录里也正好是 13 个 .c 文件，一个模型家族一个，共享一组头文件。清单分三块。
十个语言模型引擎：GLM-5.2 与 GLM-5.3 共用一个，这个引擎也跑 Mistral-Large-4；此外是 GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash、DeepSeek V4.1 Flash、MiMo-V2.6 Flash 与 Pro、Qwen3.8-Flash-Next、Qwen3.6（这个引擎还跑 Qwen3-Coder、稠密的 Qwen3.8-27B、Flint、Muse Spark Open 和 LFM3-VL）、以及 OLMoE。一个画图引擎：Qwen-Image-2.1。两个决策引擎：Laya 与 GLiNER2.5-Decide，另有第三个决策模型 Clef 跑在 Qwen3.6 引擎上，不单独占一个文件。同一架构只是换了名字的检查点，比如跑在 Qwen3.6 引擎上的 KAT-Coder v2.5，不用改就能用。
模型文件方面，colibri 直接读已发布的 GGUF。./coli import 接住一个 GGUF 的第一个分片、在旁边写出模型目录，不重新转换、不重新量化，块按文件原样从 IQ1_S 到 Q8_0、F16、BF16、MXFP4 都能跑，每个聊天引擎也都认 GGUF。跑的位置很灵活：纯 CPU 可以，任意 GPU 走 Vulkan，NVIDIA 卡走 CUDA。对不想自己转换模型的人来说，这一条省掉了最麻烦的一步。
这里要把一个容易串线的地方说清楚：这 13 个引擎是一份面向同量级 MoE 大模型的通用本地引擎清单，名单里并没有本批热点里那款大模型。本批热点聊的是模型本身，colibri 聊的是承载这一类模型的引擎，两者之间不存在支持关系，别把通用引擎读成针对某款具体模型的本地部署方案。想跑哪个具体模型，先回 README 的引擎清单和选型表里对名字，对不上就说明暂时不支持。至于演示里那个 744B，下一节单独讲。
从下载到对话：三步安装与那个向导
先给门槛。README 的起步要求是：整机至少 8 GB 内存，16 GB 或以上更好；最小模型要留出 22 GB 空余磁盘；需要联网；显卡是可选的，不是必需。注意这只是能装起来的底线，具体某个大模型要多少内存，README 的选型表按机型分档另列。
安装被刻意压成三步。Windows 上，在仓库页点 Code、选 Download ZIP，解压后双击 START-HERE.bat，缺 Python 时脚本会提示安装。Linux 以 Ubuntu、Debian 为例，是四条命令连成一条链，其他发行版把包名换成自己的即可：
sudo apt install git python3 build-essential
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.shmacOS 走 Homebrew：先 xcode-select --install，再 brew install libomp git python，然后 clone 仓库、执行 ./start-here.sh。三个平台最后都落在同一个入口脚本上，Windows 是 START-HERE.bat，Linux 与 macOS 是 start-here.sh。
向导主要做三件事。第一，看机器：读内存、可用磁盘、CPU 和 GPU。第二，推荐装得下的模型：常驻部分加一份最小专家缓存要塞得进内存，下载文件要塞得进磁盘，两个条件都满足才会被推荐。第三，取引擎：机器上有编译器就本机构建，没有就下预编译二进制；Linux 上只有装了 CUDA toolkit 的 NVIDIA 卡才构建 CUDA 版，否则退到 Vulkan 或纯 CPU。核显因为和 CPU 共用内存，只在少数测得更快的模型上才开 Vulkan。这三步之后，脚本还会带进度和断点续传地下载模型、启动服务、在浏览器打开仪表盘，并打印 OpenAI 与 Anthropic 兼容接口的本地地址；下次再运行同一个脚本就直接启动，不再下载也不再构建。
「纯 C 零依赖」是媒体简报给的口径，不是 README 的技术结论，这里必须校准。README 写得很明白：引擎是每个模型家族一个 C 文件、运行时不带 BLAS、不带 Python，但 Python 承担的是安装、启动器、转换器和 API 网关；Linux 要 git、python3、build-essential，macOS 要 libomp、git、python，仓库也直接提供预编译二进制。所以准确的说法是纯 C 编写、无 GPU 要求，把零依赖当成引擎运行时的技术承诺就会和 README 对不上。
README 演示与许可边界
README 顶部放了一段终端演示：执行 ./coli chat 之后，屏幕显示一行 colibri v2.1.0、GLM-5.2、744B MoE、int4、streaming CPU，并显示 ready in 32s、resident 9.9 GB，随后是一句意大利语的问候和回答。请把它当成 README 示例输出来读：其中 GLM-5.2 · 744B MoE 是 colibri 自带的参考模型，和本批热点不是一回事，别对号入座；32s 与 9.9 GB 是那台机器、那份 int4 配置的一次示例读数，不是性能承诺，更不是拿来横向比较的 benchmark。演示行里原本有个勾形符号，正文改用「显示 ready in 32s」这样的文字描述。README 另有按机型分档的实测表和详细的测量协议，本文不把那些数字转述成一个统一速度结论。
许可这一层更要精确。仓库根目录 LICENSE 原文是 Apache License, Version 2.0，Copyright 2026 Vincenzo Fornaro，也就是 Apache-2.0，仓库也没有给引擎另设商用门槛的说法。但要把引擎和模型分开看：引擎本身是 Apache-2.0，各个模型权重保留原作者给的许可，README 举例 GLM-5.2 权重由 Z.ai 以 MIT 发布、Qwen-Image-2.1 仅限非商用。这是模型各自的许可，不是 colibri 引擎的许可，混为一谈就会得出错误结论。仓库里还配了 NOTICE 与 THIRD_PARTY_NOTICES.md 供核对第三方代码。
时效与热度：为什么现在写它
把时间点摆齐。CSDN DevPress 的每日 AI 研究简报在 2026 年 11 月 2 日把 JustVugg/colibri 记为当日约 655 星，描述是纯 C 零依赖运行前沿 MoE 模型、专家流式从磁盘加载，其中零依赖按上一节的校准来读。今日头条 2026 年 11 月 3 日的 GitHub 热榜同样收录了它。GitHub 上 pushed_at 为 2026 年 11 月 4 日，实抓 47,567 星，另一时刻抓到 47,569，可写成约 4.76 万。一个 2026 年 7 月 1 日才创建的仓库，四个月攒到这个量级，靠的正是几百 B 的大模型能不能在老机器上跑起来这个足够大众的痛点。它和本批其他栏目聊的是同一波关注，但落点始终是这个引擎本身。
常见问题
Q1：colibri 是纯 C 零依赖吗，装它到底要不要 Python 和编译器？ A1：引擎本体是纯 C 编写、每个模型家族一个 C 文件，运行时不带 BLAS、不带 Python；但安装和启动链不是零依赖。README 明确 start-here 脚本由 Python 跑，Linux 要 git、python3、build-essential，macOS 要 libomp、git、python，仓库也提供预编译二进制。准确口径是纯 C 编写、无 GPU 要求，零依赖是媒体简报的说法，别当成技术结论。
Q2：没有独立显卡能跑吗，8 GB、16 GB、22 GB 这几个数怎么理解？ A2：能。README 写无需 GPU，每个引擎都能只在 CPU 上跑，GPU 只是更快地放权重的地方。8 GB 内存是整机最低门槛，16 GB 或以上更好，22 GB 是最小模型要留的空余磁盘，另外需要联网下载、显卡可选。但这只是能启动的底线，具体到某个大模型要多少内存，README 的选型表按机型分档另列，744B 那一档的要求远高于 8 GB，别把最低门槛当成所有模型的通用配置。
Q3：它支持哪些模型，和本批聊到的大模型热点是什么关系？ A3：13 个引擎覆盖 GLM、Kimi、DeepSeek、Qwen、MiMo、Inkling、Mistral-Large-4、OLMoE、LFM3-VL 等家族，加画图 Qwen-Image-2.1 和决策模型 Laya、GLiNER2.5-Decide、Clef。它是一份面向同量级 MoE 大模型的通用本地引擎清单，名单里没有本批热点那款大模型，两者不存在支持关系，不能读成针对某款具体模型的本地部署方案。想跑某个具体模型，先去 README 的引擎清单和选型表里对名字。
Q4：README 演示里的 744B、32s、9.9 GB 是什么意思？ A4：那是 README 示例输出：终端执行 ./coli chat 后显示 colibri v2.1.0、GLM-5.2、744B MoE、int4、streaming CPU 一行，并显示 ready in 32s、resident 9.9 GB。其中 GLM-5.2 · 744B MoE 是 colibri 自带的参考模型，和本批热点不是一回事；32s 和 9.9 GB 是那次示例配置的读数，不是性能承诺，更不是拿来横向比较的 benchmark。README 另有按机型分档的实测表，本文不转述成统一速度数字。
Q5：Apache-2.0 能商用吗，模型权重算什么许可？ A5：LICENSE 原文是 Apache License, Version 2.0，Copyright 2026 Vincenzo Fornaro，也就是 Apache-2.0，仓库没有给引擎另设商用门槛。但要把两层分开：引擎是 Apache-2.0，模型权重各随原作者许可，README 举例 GLM-5.2 权重由 Z.ai 以 MIT 发布、Qwen-Image-2.1 仅限非商用。用某个模型之前，除了读引擎许可，还要读那个模型自己的许可原文。
延伸阅读
- API 价格横评：不想自己折腾硬件时，调用云端的成本怎么算。
- Hy4 官方发布热点：本批热点线，读的是模型发布本身，与本地引擎不是一回事。
- 视觉输入横评：多模态输入能力对照，可顺带看 Qwen-Image-2.1 这类画图模型处在什么位置。