2026 年 10 月 15 日，昆仑万维旗下的 SkyworkAI 把 Matrix-Game 4.0 推上了 GitHub。这个系列仓早在 2025 年 5 月 6 日就建好了，4.0 被放进子目录 Matrix-Game-4/ 里发布；项目主页是 matrix-game-v4-0.github.io，模型权重与游戏素材托管在 Hugging Face 的 Skywork/Matrix-Game-4.0，包含 Medieval Castle、Ancient Egypt、City Racing 三套权重和各自的素材包。
项目入口：SkyworkAI/Matrix-Game，仓库地址：github.com/SkyworkAI/Matrix-Game。截至 GitHub API 2026-10-16 快照，这个系列仓累计 2,488 星、272 fork。要提醒一句：这是「系列仓」的合计数，4.0 只是其中一次推送，星标会把 1.0 到 3.0 的积累一起算进来，不能当成「4.0 发布三天涨了两千多星」来读。
README 对它的自我定位是 "Streaming neural rendering for executable low-poly games"，也就是为可执行的低多边形（low-poly）游戏做流式神经渲染。翻译成大白话：游戏引擎照常负责玩法、物理和输入，但它先只画一版粗糙的低模「代理画面」，再交给一个因果视频模型，把这版粗画面流式地渲染成最终看到的画面。本篇只做单项目拆解——讲清它是什么、架构凭什么、许可怎么算、性能口径怎么读；选型横评和装机教程都不在这篇里。站内 2026-09-14 那篇开源生成模型横评算的是许可、硬件、数据、开放度四本账，本篇不重复；同批另有一篇单卡部署 SOP，讲装、跑、验，本篇一条命令都不写。
引擎出骨架，模型上画面
要理解这个项目，先得把「谁画了什么」这件事掰开。传统游戏里，引擎既管状态也管渲染：它在每一帧算出物体位置，然后按材质、光照、贴图把这一帧画出来。Matrix-Game 4.0 走的是另一条路——引擎负责的第一帧仍然是低多边形（low-poly）的粗画面，特点是几何简单、颜色平铺、几乎没有光影细节；真正出现在你眼前的精细画面，是由视频模型「补」出来的。
这就是它和普通视频生成模型最大的区别。普通文生视频是「给一段文字，凭空生成一段视频」，和玩家操作没有关系；Matrix-Game 4.0 的低模画面天然带着引擎的物理与输入信息，模型要做的不是从零想象，而是把一版已经确定了物理与运镜的骨架，渲染成视觉上完整的一帧。引擎是「剧本 + 骨架」，模型是「皮肤 + 光影」。
一句原文可以坐实这个分工：README 明写 "The game engine owns gameplay, physics and input. A causal video model renders the clean low-poly RGB stream; HUD and sound remain frame-aligned presentation layers outside the model."（游戏引擎持有玩法、物理与输入；一个因果视频模型渲染出干净的低多边形 RGB 流；HUD 和声音是模型之外、与帧对齐的表现层。）注意最后半句的分量：抬头显示（HUD）、准星、血条和声音都不是模型生成的，而是独立于模型、按帧对齐叠加的表现层——这是工程上很关键的一刀，把「必须精确、不能糊」的 UI 从生成模型里摘了出去。
三层架构：状态、渲染、指令各管一段
README 与官网把系统拆成三层，从下往上读：
第一层是游戏引擎。它持有游戏状态、物理演算和用户输入，输出低多边形代理画面。这一层的意义在于「确定性」：碰撞、命中、AI 行为、赛车路线都由传统代码决定，不依赖模型随机性，所以玩法本身是可复现、可调的。
第二层是 Coding Agent（编码智能体）。这是这套设计里最有想象力的一环：用户用自然语言下指令，Coding Agent 把它写成新规则、直接改写引擎的行为，同时检索引擎当前状态，生成给视频模型的「动态 prompt」。换句话说，改地形、改 NPC 行为、改游戏规则，都能通过改代码 + 改条件文本这两条路落地，而不需要重新训练模型。
第三层是因果 DiT 视频模型。它做的是流式神经渲染：模型被蒸馏到 1 到 2 步去噪，每生成一个 latent 就等于产出 4 帧画面，画面连续向前滚动，形成「流」。这里的「因果」是关键——模型只看过去、不看未来，才能边玩边生成，而不是等整段视频算完再播。
三层各司其职，也解释了它为什么叫「为可执行游戏做神经渲染」而不是「AI 生成一个游戏」：游戏是现成可执行的，模型只是贴在上面的一层渲染器。
版本线：从 1.0 到 4.0 的三次转向
README 的 News 段落把系列路径记得很清楚，四代各有一次明显转向：
- 1.0，2025-05-12：系列起点，先把「可交互的生成式游戏画面」这条路跑通。
- 2.0，2025-08-12：三个月一迭代的节奏延续。
- 3.0，2026-03-27：转向实时流式交互，并把「长时记忆」作为核心卖点——画面能记住更早发生的事，不轻易「遗忘」场景。
- 4.0，2026-10-15：本文这一代。相对 3.0 的间隔最长（约七个半月），落地形态也从「研究演示」走向「有离线渲染 + 浏览器 demo + 本地可玩游戏的完整工具链」，并首次给出 RTX 5090 消费级单卡的专用推理预设。
值得对照的是仓库本身的年龄：系列仓 2025 年 5 月建库，到今天一年半，四代版本、两千多星、两百多 fork——从更新节奏看，这不是一次性的发布会项目，而是一条持续投入的产品线。
许可链：一本账要拆成三层读
开源项目最容易被一句「开源了」带偏的地方就是许可。Matrix-Game 4.0 这一支的许可不是一个名字能说清的，必须按目录拆开读，全部以 LICENSE 原文为准：
第一层，根仓库 LICENSE = MIT。 版权声明是 "Copyright 2025 SkyworkAI and contributors"。这是系列从 1.0 起就在用的老许可，主要覆盖早期代码。
第二层，v4 目录 Matrix-Game-4/LICENSE = Apache-2.0。 这是 11,357 字符的 Apache-2.0 全文，也就是 4.0 这一代新代码的主许可。
第三层，v4 内附组件目录 licenses/，各带各的原文。 MG4CF 对应的是 Apache-2.0 文本；TAEHV 对应的是 MIT（版权声明 "Copyright (c) 2025 Ollin Boer Bohan"）。组件沿用自己原有的许可，不因为放进这个仓库就统一改许可。
README 的「Security and License」一节对此有原文表述："Project code is Apache-2.0; vendored components retain their original licenses. Model and asset distributions carry their own accompanying license statements."（项目代码是 Apache-2.0；内嵌组件保留各自原有许可；模型与素材分发附带各自的许可声明。）这句话把边界画得很清楚：代码一层、组件一层、权重与素材再一层。
权重与素材这一层，本文不猜。 Hugging Face 上 Skywork/Matrix-Game-4.0 模型卡的许可字段，本站本次未能取到（检索被网络环境阻断），因此只能照 README 的话写「权重与素材另附许可声明，以 Hugging Face 模型卡为准」。任何替它写死具体许可名的说法，都是臆测，这里不采用。
实用结论：如果你只是拿 4.0 的代码做二次开发，适用的是 v4 目录的 Apache-2.0；如果要用它的权重或游戏素材，务必先去 HF 模型卡读那份单独声明。
性能口径：三个数字，三本账
这是本篇最需要「带脑子读」的一段。同一个项目，市面上流传着三套性能数字，来源、口径、可信度都不一样，必须并写，不能只挑大的那个：
口径一，官方发布口径。 昆仑万维的发布稿与媒体转引给出的数字是：单张 RTX 5090 显卡，480p 分辨率、60FPS，端到端延迟小于 150 毫秒，单步去噪稳态 83 FPS，显存峰值 18.5 GiB。这是官方口径，未经独立复测，请按「厂商宣称」理解，而不要当成第三方实测。
口径二，官网性能面板当前仍是占位符。 截至本站 2026-10-16 实访，项目官网的性能面板显示的是 0FPS / 0ms / 0p / 0GPU，页脚自述 "project page preview · content will be updated at release"（项目页预览，内容将在正式发布时更新）。也就是说，上面那组漂亮的官方数字，官网自己还没有把数据落上去。这条不是黑它，而是提醒：现阶段核对官方性能，最靠谱的入口是仓库 README，而不是官网面板。
口径三，仓库 README 自测口径（三者中最硬）。 README 给出的是单卡 NVIDIA A100-SXM4-80GB、864×480 分辨率，在一步去噪 + TAEHV 编解码 + SDPA + ring/fused DiT + CUDA graphs 的组合下、排除启动与预热的测量结果：
| 场景 | prompt 模式 | 实测 FPS | 测量含义 |
|---|---|---|---|
| Castle / Ancient Egypt | 固定 | 约 38-39 | 在线会话内的模型处理吞吐 |
| Racing | 固定 | 约 38.5 | 服务端在线管线吞吐 |
| Racing | 动态 | 约 28.9 | 服务端在线管线吞吐 |
README 自己写明了读数边界，这几点必须一起带上：第一，--fps 40 是采集节奏目标，不是吞吐或延迟保证；第二，上表的数字不是浏览器呈现帧率，也不是「动作到光子」的端到端延迟；第三，赛车两行来自同架构、同推理配置的早期 checkpoint，只作性能参考。
怎么读这三本账？ 核心是分清「实时」这个词的三层含义——模型处理吞吐（A100 约 38-39 FPS）、服务端管线吞吐（含等待游戏帧）、以及玩家真正感知的呈现帧率与延迟。官方说的 480p 60FPS 属于哪一层，需要对照发布口径看；README 的 38-39 FPS 是模型侧吞吐，不等于屏幕上就跑 38 帧。跨硬件、跨口径直接比大小，是这类项目最常见的误读。
RTX 5090 预设：消费级单卡是怎么塞进去的
4.0 在 2026-10-15 同步放出的一个重点，就是面向消费级旗舰卡的优化：--preset rtx5090（走 PyTorch SDPA）与 --preset rtx5090-sage（走 SageAttention）两个预设，让单张 RTX 5090 也能跑这套管线。
省从哪来？README 说明了两处：一是 DiT 块的线性权重在加载时转成 FP8、推理时对激活做量化，而 Embedding 和输出头仍保持 BF16——把最吃算力的矩阵乘压到 8 位，同时把对精度敏感的两端留在高精度；二是融合核（fused kernels）配合 CUDA graphs，减少算子启动与调度开销。两个 5090 预设共用同一套场景 checkpoint 和共享资源，不需要额外的量化权重文件。
如果你手里是 RTX 5080 或 5070，官方在 README 里明确说，支持这两张卡的版本「下周发布」，现在还没有。
生态与边界：单用户 demo，不是云游戏服务
生态方面，4.0 给得比较完整：浏览器 demo 走单用户 WebRTC（MediaMTX + serve.sh，默认监听 127.0.0.1:8025）；本地可玩/录制版面向 macOS 与 Linux，需要 CMake、C++20、SDL2 和 FFmpeg；权重与素材托管在 Hugging Face 的 Skywork/Matrix-Game-4.0。
边界同样写得很直白，几条必须知道：
- Windows 只是「保留入口」，未验证功能等价。 README 原文说 "The legacy Windows entry is retained but has not been validated for feature parity"，老 Windows 入口还在，但没人保证它和 macOS/Linux 版本功能一致。
- 单进程只支持一个活动会话 + 一个场景模型。 想做多用户、多场景并发，这套 demo 架构给不了。
- 网络默认只绑本机回环（loopback）。 安全声明原文是 "This is a trusted single-user demo, not an authenticated public cloud-gaming service"（这是一个可信的单用户 demo，不是带鉴权的公网云游戏服务）；HTTP、RTSP、WebRTC 默认绑在回环地址，官方明确要求不要直接暴露到公网。
换句话说，它是一个「可信环境下的单人体验 / 研究工具」，而不是能直接当产品上线的云游戏后端。把它当 demo 玩、当研究底座改，没问题；想直接对外提供服务，安全和并发这两关都得自己补。
延伸阅读
FAQ
Q1： Matrix-Game 4.0 到底是什么？
A1： 它是昆仑万维旗下 SkyworkAI 于 2026-10-15 开源的一个系统，做法是让游戏引擎先渲染低多边形（low-poly）「代理画面」，再由一个因果 DiT 视频模型做流式神经渲染，输出最终画面。游戏玩法、物理和输入仍由引擎负责，HUD 和声音是模型之外的帧对齐表现层。它自带 Medieval Castle、Ancient Egypt、City Racing 三个场景，配套离线渲染、浏览器 demo 和可本地游玩的游戏。
Q2： 代码和权重分别是什么许可，能商用吗？
A2： 分三层看，全部以 LICENSE 原文为准：根仓库 LICENSE 是 MIT；v4 目录 Matrix-Game-4/LICENSE 是 Apache-2.0；v4 内附组件目录里，MG4CF 沿用 Apache-2.0、TAEHV 沿用 MIT。这两者都是允许商用、修改、再分发的宽松许可。但权重与游戏素材另附许可声明，其 HF 模型卡许可字段本站本次未取到，所以这篇只写到「以 Hugging Face 模型卡为准」，不替它猜许可名。要用权重商用，先去 HF 读那份原始声明。
Q3： 官方说 480p 60FPS，为什么 README 写的是 38-39 FPS？
A3： 因为两者口径不同，不能直接比。官方数字（单张 RTX 5090、480p、60FPS、延迟 <150ms、稳态 83 FPS、显存峰值 18.5 GiB）是发布口径，未经独立复测；README 的约 38-39 FPS 是单卡 A100-SXM4-80GB、864×480下的模型处理吞吐，且 README 亲口说明这不是浏览器呈现帧率、也不是端到端延迟，赛车那些数字还来自早期 checkpoint。硬件不同、口径不同、测的东西也不同，跨口径比大小没有意义。
Q4： 消费级单卡能跑吗？需要什么硬件？
A4： 4.0 专门放了 RTX 5090 预设（--preset rtx5090 与走 SageAttention 的 --preset rtx5090-sage），用 FP8 权重加载量化 + 融合核 + CUDA graphs 把管线压进单张消费级卡。RTX 5080 / 5070 的版本官方称「下周发布」，目前还没有。README 里最硬的参考数据则来自 A100-SXM4-80GB，所以「能不能在你手上这张卡跑、跑到多少帧」仍需自己实测。
Q5： 它和站内那篇开源横评是什么关系？
A5： 站内 2026-09-14 已有一篇开源生成模型的横评，算的是许可、硬件、数据、开放度四本账，偏选型；本篇不重算那本账，只做单项目拆解——是什么、架构凭什么、许可怎么算、性能口径怎么读。同批还有一篇单卡部署 SOP，负责装、跑、验的命令细节，两篇分工不重叠。
写在最后
把引擎的低模骨架交给视频模型去渲染——这个思路的价值不在于「AI 能不能画画」，而在于它把生成模型塞进了一个确定性可控的循环里：玩法由传统代码保证，画面由神经渲染补足。Matrix-Game 4.0 真正值得记下的，一是三层架构里那个「Coding Agent 改引擎 + 生成动态 prompt」的闭环，二是它诚实地在 README 里区分了模型吞吐、管线吞吐和呈现帧率这三种「实时」，三是许可链要把根仓 MIT、v4 目录 Apache-2.0、组件许可、HF 权重声明分成四摊来读。至于官方那句 480p 60FPS 到底成色如何，官网面板眼下还写着 0，最实在的做法是自己跑一遍看。想动手装，见同批的部署 SOP 篇。