开源项目
开源项目

一张4090跑世界模型:腾讯混元Hy-Nomas开源深评

腾讯混元开源交互式视频世界生成模型 Hy-Nomas(代码 10-21 先行、权重 10-23 上线,约 8B,Apache 2.0 附第三方声明):文本+镜头轨迹多轮控制、persistent KV cache 跨段记忆,54 块双流 MMDiT 加 Qwen2.5-VL-7B 文本编码器;输出 704×1280@24FPS(播放帧率非生成速度),4/6/8 步蒸馏三口径并存;Hy-Nomas-Bench 280 用例系官方自报、发布时无第三方横比。单卡 RTX 4090 依托 INT8 权重+FP8 解码器+CPU offload 可跑(最小下载约 22.5GB),折损如实写明:INT8 不可挂 LoRA、滑窗牺牲长程记忆、FP8 内核仅编 SM89(3090 不行)。冷水:KV cache 不保证 3D 场景图稳定、无确定性刚体物理、官方零显存与延迟数字。

发布于 2026年10月27日9 分钟阅读
<!-- hy-nomas-interactive-world-opensource-resource | open-source | 一张4090跑世界模型:腾讯混元Hy-Nomas开源深评 -->

一、单卡 4090 能跑的世界模型,这次能玩

「世界模型」这个词过去一年被用得很滥:要么闭源只放 demo,要么权重开放但门槛直指八卡服务器,多数人只能看个热闹。10 月 21 日,腾讯混元把交互式世界生成模型 Hy-Nomas 的代码仓先行推上 GitHub(Tencent-Hunyuan/Hy-Nomas);10 月 23 日 11:18 UTC,196.4GB、共 46 个文件的权重在 Hugging Face 一次提交落盘【二手,来源为第三方核对仓库 commit 数据】;官方 X 账号同日官宣【官方】。README 第一句就把门槛钉在消费级:采用低显存推理配置,可在单张 RTX 4090 上运行【官方】。仓库地址:github.com/Tencent-Hunyuan/Hy-Nomas。

先把分工说清楚:站内 10 月 16 日的实时可玩世界模型横评与另一篇世界模型横评旧文管「多家横评比选」,本篇只做 Hy-Nomas 单体深评——架构、许可证、交互粒度与消费级部署门槛,四件事拆到底,不与横评比选重复劳动。

截至 2026-10-27 的 GitHub API 实测【官方】,仓库 241 stars、28 forks,创建于 10 月 21 日,Python 编写,尚无 release。对一个上线刚满一周的世界模型仓库,这个热度只能算起步:社区集成(ComfyUI、WanGP 等路线)正在落地,第三方实测数据还很少,本文所有数字都会标明出处。

二、可交互,到底交互什么

官网 hy-nomas.hy.tencent.com 的定位是 Interactive World Modeling,列了五大能力板块:多轮提示控制、文本与相机交错控制、长世界生成、一致世界记忆、多视角多风格,并排展示了 83 个真实生成的世界【官方自报】。落到机制上,Hy-Nomas 的交互靠三件事撑起来。

第一件是分段自回归生成。世界被切成一个一个 segment 逐段推进,每一段都可以由新的文字提示或相机控制信号驱动,理论上可以一直续下去,官网口径最长 60 秒、360K token 上下文【官方】。第二件是 persistent KV cache:上一段生成的文本与视频键值被缓存下来带入下一段,构成跨段记忆,这是「世界」而不是「一段段孤立视频」的关键。第三件是相机条件:相机外参矩阵以逐块 cross-attention 的方式注入视频流,你可以调度镜头推拉摇移,也可以像切换机位一样换视角。

一句话概括体验差异:从「抽卡」到「导航」。传统视频生成是一次性抽签,抽歪了只能重摇;分段加跨段记忆意味着你可以改天气、换时间、调度镜头,在同一个世界里多轮编辑下去。对比闭源阵营的 Genie 3——不开放权重、限 60 秒、订阅门槛——Hy-Nomas 把权重、代码、评测集全部放出,这个对照点就够了,细节横比留给站内旧文。

在线 demo 需注册账号【二手】,并依赖 Nomas-PE 提示增强服务把口语指令转成结构化提示【官方】;注意这个提示增强模型本身就有 55.6GB、18 个分片【二手】,Web demo 走的是另一条多卡路线,与后文的单卡离线推理不是一回事。官网还展示了 60 秒长生成的玩法:用五轮文本提示,每轮续写约 12 秒,拼出一条完整的一分钟世界漫游【二手】。这个例子的价值不在炫技,而在它验证了「分段生成加跨段记忆」这套机制真的能把上下文串起来——至于串得稳不稳,第五节还有话要说。

三、架构与口径:数字先对齐

参数量写「约 8B」【官方,官网口径】;坊间流传的 8.6B 在官网与可核材料中均未出现,不采。骨干是 54 个双流 MMDiT 块,没有单流块,隐藏维度 2048、16 头注意力【转引】;文本编码器取 Qwen2.5-VL-7B-Instruct,其隐层经两层 token refiner 精炼后接入主干【转引】;视频解码器为 PixelUMM,单步解码【转引】;潜空间由 DCAE-V 承担,32 通道、32 倍空间压缩、4 倍时间压缩【转引】。

相机条件值得单独一句:外参矩阵加内参矩阵逐块以 cross-attention 注入视频流【转引】,这不是「给个运镜方向词」的粗颗粒控制,而是把相机姿态当成逐帧几何条件喂进去,所以镜头推拉摇移的精度上限比多数「运镜提示词」方案高。顺带交代血统:这是腾讯混元世界模型线的又一作,此前开源的 HY-World 2.0 产出 3D mesh 与高斯泼溅,可编辑成网格资产;Hy-Nomas 输出的是流式视频,没有可下载的 3D 网格,两者是不同项目,别混为一谈【转引】。

分辨率与帧率要掰开说。官网口径写 720p【官方】,但代码与 Diffusers 示例的实际输出是 704×1280@24FPS——704 不等于 720,720p 是约称,本篇统一用 704×1280 口径。更要紧的是,24FPS 是播放帧率,不是生成速度,实测吞吐取决于硬件、分辨率、段长与历史长度【官方原话】。

蒸馏步数的口径也是并存的:蒸馏权重支持 4、6、8 步快速去噪,交互 demo 默认 8 步,Diffusers 示例用 4 步【官方】。三个数字都对,只是出处不同,选型时按自己的路线对号入座即可。

四、4090 部署实录:四件套与它们的代价

部署路径官方给得完整:推荐 Docker 镜像;手动安装需要 Linux、Python 3.12+、uv、CUDA 13.0 Toolkit 与 C++ 编译器,依赖里含 PyTorch 2.10.0 与 FlashAttention、MagiAttention【官方】。4090 单卡走的是仓库里的低显存配置,核心命令摘要如下:

bash
# 下载权重(必须保持仓库目录结构,官方用 hf 命令)
export Hy_Nomas_Model_Path=/path/to/Hy-Nomas
hf download tencent/Hy-Nomas --local-dir "${Hy_Nomas_Model_Path}"

# 4090 单卡低显存推理:INT8 DiT + FP8 解码器
bash scripts/inference/inference_from_config.sh configs/experiment/single_gpu_low_mem_inference.yaml \
  dit_weight="${Hy_Nomas_Model_Path}/DiT/distilled_int8/diffusion_pytorch_model_ema_0_995_int8.safetensors" \
  model.vae.checkpoint="${Hy_Nomas_Model_Path}/VAE/PixelUMM_FT_FP8/diffusion_pytorch_model_fp8.safetensors" \
  inference.prompt=/path/to/prompts.json \
  inference.save_path=./outputs/single_gpu

先算权重账本【二手】:INT8 DiT 约 9.06GB,FP8 版 PixelUMM 解码器约 9.13GB,加上 DCAE-V 约 4.28GB 等组件,4090 路线最小下载约 22.5GB,不必拉全量 196.4GB。这是「一张 4090 跑世界模型」在存储侧的真实含义。

显存侧靠四件套压进 24GB,而四件套各有代价,逐条说清【官方 README 与码级细节转引】:

其一,INT8 权重与 INT8 KV cache:线性层与注意力的计算仍保持 BF16,量化的只是存储。代价是 INT8 推理加载器不支持同时挂载单独 LoRA——想在 4090 上玩自己微调的风格,此路不通。其二,CPU offload:文本编码器、DiT、VAE 在各自处理阶段进 GPU、用完回 CPU。代价是搬运开销,且系统内存要装得下全部模型,外加随会话增长、从 GPU 归档下来的 KV 历史——官方原话明言 CPU offload 需要足够系统内存并增加传输开销。其三,滑动窗口历史:GPU 上只保留 18 个历史帧(past_frames=18),更早的上下文归档到 CPU。代价是长程记忆被截断,跑远了模型可能忘了你最初建的世界。其四,FP8 解码内核走 CUTLASS,仅支持 Ada 架构 SM89——24GB 显存的卡里只有 4090 能走官方路径,3090 是 Ampere SM86,不行。这个坑 README 没写,是从源码编译参数里挖出来的【二手】。

还有一个官方没说的空白:任何档位都没有给出显存峰值、系统内存需求或延迟数字,只说「峰值显存取决于分辨率与片段长度」【官方】。想预判自己的机器行不行,目前只能靠社区实测。也要把对照面摆出来:4090 低显存模式是特殊优化路线,标准推理配置走的是八卡序列并行、FP32 权重加全历史 KV cache 常驻显存【官方】,两条路线的性能与一致性表现不可混谈;实时交互版 Reactor 的参考配置甚至是八张 B200【二手】。官方说「单卡能跑」没有说错,只是没把代价写在标题里。

速度参照有一条二手数据:ComfyUI 社区路线(nynxz/Hy-Nomas)已经跑通,RTX 5090 实测 3 秒的段约 21 秒生成、每个窗口约 4 秒解码【二手】。比 5090 更弱的 4090 只会更慢——「能跑」与「实时交互」之间隔着明显的距离,这句冷水后面还要再泼一次。

微调这条路也交代一下。LoRA 微调必须从未蒸馏的 base_ar 检查点起步,训完再合并回蒸馏权重【官方】;官方给的参考配置是 LoRA rank 与 alpha 均为 256、Muon 优化器、恒定学习率 1e-4、2000 步,参考训练规模是 128 张 GPU【官方】——个人复现微调的门槛,读一遍这行配置就该有数了。官方放了两枚适配器权重可以直接取用:Cinematic LoRA 用电影感数据提升视觉质量,Robotics LoRA 基于真实机械臂数据集 RealSource-World 训练,指向机器人仿真方向【官方】。想走 4090 路线的注意前文的折损其一:INT8 推理模式挂不了 LoRA,要玩微调就得回到标准权重路线。

五、冷水与 Bench:哪些话不能替官方说

第一盆冷水:persistent KV cache 带来的一致性不等于稳定的 3D 场景图。一致性靠注意力缓存维持,官方从未承诺场景的 3D 结构稳定;复杂运镜或长编辑之后,物体变形、消失都有可能。它也不是带物理引擎的游戏世界,没有确定性刚体物理,碰撞与重力不可靠,别拿游戏引擎的预期去套。

第二盆冷水是评测。Hy-Nomas-Bench 覆盖 4 套测试集共 280 用例、含 220 条参考相机轨迹,维度覆盖多轮文本指令、相机导航、文本与相机混合控制、空间记忆【官方自报】。但必须点破:发布时 Bench 不含任何分数,既没有 Hy-Nomas 自己的成绩,也没有任何第三方横比。把它理解为一份可被第三方复检的开源考卷,比当成成绩单诚实得多。

第三件事与许可证有关。README 与 badge 均称 Apache 2.0,LICENSE 文件实为 Apache 2.0 全文加腾讯版权声明与第三方清单的合并文件,因此 GitHub 的许可证检测显示 NOASSERTION【官方】。另有一处要留意:PixelUMM 解码器系腾讯对 NVIDIA 版本的微调,有第三方称其衍生权重或受 NVIDIA 非商用许可约束——此说待官方模型卡复核,商用前请自行确认【二手,待核】。

技术报告的状态也有矛盾:官网挂着 Tech Report (Coming Soon),仓库 README 则称技术报告 PDF 已更新【官方口径冲突,如实并列】。Diffusers 支持目前依赖第三方 fork 仓库,尚未进 diffusers 主线【官方】。这些不是要否定这个项目——架构交代、部署文档、评测集在开源世界模型里都算给得足——而是提醒:这是一份上线一周的早期开源,社区还在踩坑,成绩单还没发。

常见问题

Q1: 我只有一张 4090,真的能本地跑吗?

A1:能,走仓库的 single_gpu_low_mem_inference.yaml 低显存配置,最小下载约 22.5GB【二手】。但有三件事要备好:系统内存要装得下全部模型与 KV 归档、CUDA 13.0 环境、以及接受 INT8 量化与 18 帧滑窗的折损。3090 及其他 24GB 卡走不了官方 FP8 解码路径。

Q2: 4090 模式下能挂 LoRA 吗?

A2:不能。INT8 推理加载器不支持同时挂载单独 LoRA【转引】。要玩官方提供的 Cinematic 或 Robotics LoRA,需走标准 BF16 权重路线,显存要求随之抬高。微调本身更重:LoRA 训练参考配置是 128 张 GPU,个人复现门槛极高【官方】。

Q3: 24FPS 是生成速度吗?

A3:不是。24FPS 是输出视频的播放帧率,生成速度取决于硬件、分辨率、段长与历史长度,官方未公布任何吞吐数字【官方】。目前可参考的只有 ComfyUI 社区在 5090 上的二手实测:3 秒段约 21 秒生成加约 4 秒解码【二手】,离实时有明显距离。

Q4: 可以商用吗?

A4:主体许可是 Apache 2.0(附第三方声明文件,GitHub 检测显示 NOASSERTION)【官方】。但 PixelUMM 解码器系腾讯微调自 NVIDIA 版本,有第三方称其衍生权重或受 NVIDIA 非商用许可约束,此点待官方模型卡复核,商用部署前建议先过一遍许可条款【二手,待核】。

Q5: Hy-Nomas-Bench 有成绩单吗?

A5:没有。发布时 Bench 只有 4 套 280 用例与 220 条参考轨迹,不含任何模型分数,也无第三方横比【官方自报】。它是一份开放评测集,第三方可以拿它复检 Hy-Nomas 或测竞品;在成绩出现之前,任何「SOTA」式说法都没有依据。

参考来源

延伸阅读

本文基于公开仓库与官方页面整理(截至 2026-10-27),所有数字均标注出处,以官方页面为准。

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-10-27

常见问题

我只有一张 4090,真的能本地跑吗?
A1:能,走仓库的 single_gpu_low_mem_inference.yaml 低显存配置,最小下载约 22.5GB【二手】。但有三件事要备好:系统内存要装得下全部模型与 KV 归档、CUDA 13.0 环境、以及接受 INT8 量化与 18 帧滑窗的折损。3090 及其他 24GB 卡走不了官方 FP8 解码路径。
4090 模式下能挂 LoRA 吗?
A2:不能。INT8 推理加载器不支持同时挂载单独 LoRA【转引】。要玩官方提供的 Cinematic 或 Robotics LoRA,需走标准 BF16 权重路线,显存要求随之抬高。微调本身更重:LoRA 训练参考配置是 128 张 GPU,个人复现门槛极高【官方】。
24FPS 是生成速度吗?
A3:不是。24FPS 是输出视频的播放帧率,生成速度取决于硬件、分辨率、段长与历史长度,官方未公布任何吞吐数字【官方】。目前可参考的只有 ComfyUI 社区在 5090 上的二手实测:3 秒段约 21 秒生成加约 4 秒解码【二手】,离实时有明显距离。
可以商用吗?
A4:主体许可是 Apache 2.0(附第三方声明文件,GitHub 检测显示 NOASSERTION)【官方】。但 PixelUMM 解码器系腾讯微调自 NVIDIA 版本,有第三方称其衍生权重或受 NVIDIA 非商用许可约束,此点待官方模型卡复核,商用部署前建议先过一遍许可条款【二手,待核】。
Hy-Nomas-Bench 有成绩单吗?
A5:没有。发布时 Bench 只有 4 套 280 用例与 220 条参考轨迹,不含任何模型分数,也无第三方横比【官方自报】。它是一份开放评测集,第三方可以拿它复检 Hy-Nomas 或测竞品;在成绩出现之前,任何「SOTA」式说法都没有依据。 **参考来源** - GitHub 仓库 Tencent-Hunyuan/Hy-Nomas(README、README_CN、LICENSE 与低显存推理配置):https://github.com/Tencent-Hunyuan/Hy-Nomas - 官网 hy-nomas.hy.tencent.com(8B/720p/60s/360K token 规格与五大能力板块,均为官方自报口径):https://hy-nomas.hy.tencent.com/ - Hugging Face 权重仓 tencent/Hy-Nomas(196.4GB、46 文件,2026-10-23 上架):https://huggingface.co/tencent/Hy-Nomas - 官方 X 账号 @TencentHunyuan 官宣帖(2026-10-23):https://x.com/TencentHunyuan - GitHub API 实测快照(2026-10-27,241 stars/28 forks):https://api.github.com/repos/Tencent-Hunyuan/Hy-Nomas - dev.to/alanwest 单卡部署拆解(4090 配置字段与 22.5GB 下载口径):https://dev.to/alanwest/how-to-run-tencent-hy-nomas-locally-on-an-rtx-4090-live-demo-needs-8-gpus-15a3

相关文章

开源项目

AI 记忆框架开源第一:腾讯 3B 干翻 Opus 5

腾讯混元 2026-10-16 把 Hy Memory 2.0 三层全开源:模型层 Hy-Memory-30B-A3B(总参数 30B、每 token 激活约 3B 的 MoE,HuggingFace tencent/Hy-Memory-30B-A3B,arXiv 2610.22196)、SDK 层 hy-memory(PyPI 当前 2.0.3)与工具层 MemHub(CLI v1.0.3,npm memhub-cli 引导安装)。许可证破案:GitHub API 报 NOASSERTION(非标准文本),raw LICENSE 原文为 Apache-2.0 且带 Tencent 前言、无附加限制条目——本文以 LICENSE 原文为准。官方文档模型名混用「Hy-Memory-30A3B」与「Hy-Memory-30B-A3B」两种写法,以 HF 仓库实名为准。官方基准(厂商口径):四套记忆系统对比 55.49 分第一,超过 Opus 5(54.62)与 DeepSeek-Flash(53.64),Qwen3-30B-A3B 仅 44.37;MemoryArena 55.31% 领先第二名 EverOS 10.2 个百分点;CodeMemoryBench 64.2%/35.6%;SWE-ContextBench 28.3%;LoCoMo 72.6% 且记忆 token 从 1159 降到 703(-39.3%)。内部业务验证(厂商口径):自选股多跳召回 50% 提到 90%、iWiki 相对提升 48.6%。定位是「记忆写入工位替身」(智囊团解读,二手):模型专门负责记忆写入与更新,理论上可挂在 Mem0、MemOS 等既有记忆系统下面干活。MemHub 工具数两口径并写:README 列 5 种,官方公众号稿称 10 种,以实际 CLI 输出为准。局限五条如实写:跑分为厂商口径第三方未复现、preview 阶段 API 可能变、MemHub 仅 Linux/macOS、模型 30B 级本地部署有门槛、英文文档尚薄。仓库地址:github.com/Tencent-Hunyuan/Hy-Memory(实测可达)。与站内分工:ai-agent-long-term-memory-sop(2026-08-08)讲 mem0/Letta 自建方案,本篇讲腾讯现成开箱方案。

2026年10月20日10 分钟阅读
开源项目

LTX-2开源:22B权重66GB,画面声音一个模型全包

LTX-2 开源深拆(2026-10-02 GitHub 实核):Lightricks/LTX-2 9,569 星、Python、推送停在 10 月 2 日;官方定位首个 DiT 架构的音视频一体基础模型,画面与同步音频一次生成。LTX-2.5 组成:22B 蒸馏 transformer(bf16)+ Gemma 4 12B 定制文本编码器(与 Google 原版不通用)+ 视频/音频双 VAE + 空间与时间上采样器,全套约 66GiB;DistilledPipeline 仅 8 个预设 sigma(阶段 1 八步 + 阶段 2 四步)最快出片,FP8 量化与 CPU/磁盘 offload 降显存,4K 为 3840x2176(README 特别注明非 2160);12 条管线含 DFR 生产级、DubIt 保口型换词配音、Retake 局部重生成、SDR 转 HDR(BT.2020/HLG + ACEScct EXR);ltx-trainer 支持 LoRA/全量微调/IC-LoRA,ComfyUI 有官方插件。许可证核真:GitHub License 栏 NOASSERTION,实为自定义 LTX Community License(2026-08-11 起 LTX-2.5 适用),非 OSI 开源——个人非商业免费,年收入 1000 万美元及以上实体任何商用须购买 Commercial Use Agreement,衍生品定义含蒸馏,分发须随附完整协议。自部署唯一解的价值:数据不出内网、批量边际成本趋近电费、LoRA 风格资产独占。

2026年10月3日10 分钟阅读
开源项目

8GB 跑 7.5 万个 agent:AWS 开源挂起运行时 Infinity

AWS 开源挂起式 agent 运行时 Infinity:代码在 hydro-project 组织(aws/ 与 aws/hydro 均 404),Apache-2.0、Rust 实现,Hydro 项目出自 AWS 与 UC Berkeley 合作。官方基准 80,000 个 agent、每个 20 轮共 320 万次 completions,单线程 EPYC 9R14 上每 agent 内存约 100KB,据此推算 8GB 内存约容纳 75,000 个(推算值,树莓派 5 仅为内存类比)。本文拆 serverless 四件套设计、模拟模型基准限定词、社区批评清单(持久化 I/O、竞态转移、25 stars 未受市场检验)与上手路径。

2026年10月26日9 分钟阅读