开源项目
开源项目

LLaDA-Image:蚂蚁全开源的 6B 统一生图编辑模型

蚂蚁 InclusionAI 开源 6B 统一图像生成与编辑模型 LLaDA-Image(GitHub 2026-09-09 快照 208 星 / Python / 创建 2026-08-31)。单一权重同时做文生图与指令编辑,backbone 与 DiT 都是扩散模型的统一框架,图像-only 预训练建视觉先验,Turbo 版用 Twin-DMD 蒸馏把 50 步压到 4 步;Qwen-Image-Bench 英文 53.53、中文 53.38 双料 SOTA;HF 与 ModelScope 提供 Base/Turbo 各含 FP8 四档权重,9-07 起有社区 ComfyUI。最重要避坑:仓库 license 字段为 null、无 LICENSE 文件,商用前须向官方确认,不可臆测为 Apache/MIT。

发布于 2026年9月9日10 分钟阅读
<!-- llada-image-resource | open-source | LLaDA-Image:蚂蚁全开源的 6B 统一生图编辑模型 -->

2026 年 8 月底,蚂蚁集团 InclusionAI 把一整套图像生成与编辑的训练配方推到了台前:不是只放一个 demo 或几张样图,而是连模型权重、推理代码和训练方法论一起开源。这个项目叫 LLaDA-Image,一个 6B 参数的统一图像生成与编辑模型家族,官宣即在 Qwen-Image-Bench 上拿下英文 53.53、中文 53.38 的双料第一。

GitHub API 实测(2026-09-09):208 星 / 10 fork,Python 主语言,创建于 2026-08-31,最近一次 push 为 2026-09-07。这个体量说明项目还很早期,但技术叙事相当完整。本文基于仓库 README 全文、GitHub API 数据与公开报道做逐字拆解,重点讲清它到底解决了什么、技术路线怎么走,以及——对工程落地最关键的那条避坑信息。

先说边界:星数与仓库状态为 API 快照(2026-09-09);本文属代表性拆解,非商业合作;所有技术细节与权重名均取自仓库 README,确保逐字准确。

一、项目是什么:把训练配方全开源的野心

LLaDA-Image 是蚂蚁 InclusionAI 推出的开源统一图像生成与编辑模型家族,核心定位是“竞争级 6B 参数、开源、统一架构”。它包含两条主线:

  • LLaDA-Image(Base):50 步采样的高保真文生图与指令式编辑基座模型。
  • LLaDA-Image-Turbo:经蒸馏的 4 步快速生成与编辑模型。

两者都由单一权重支撑,同时覆盖文生图、VQ 条件生成、参考图编辑,以及中英文文字渲染,无需额外的编辑专用 backbone。这一点是它和许多“生成一套、编辑另一套”方案的根本区别。

开源的诚意体现在权重与代码的双重开放。模型权重在 HuggingFace 与 ModelScope 同步放出四个同名版本:

权重说明采样步数HuggingFaceModelScope
LLaDA-ImageBase,高保真文生图与指令编辑50inclusionAI/LLaDA-Image(BF16)、LLaDA-Image-FP8同名四个版本
LLaDA-Image-Turbo蒸馏版,快速生成与编辑4inclusionAI/LLaDA-Image-Turbo(BF16)、LLaDA-Image-Turbo-FP8同名四个版本

值得注意的是,除了 BF16 权重,官方还提供了 FP8 版本(LLaDA-Image-FP8、LLaDA-Image-Turbo-FP8),这直接对应显存吃紧场景下的部署需求——FP8 能把显存占用显著压低,对本地部署是实打实的友好。推理代码基于 Diffusers,配套 arXiv 报告 2609.03796。

但“全开源”也有边界。仓库的 Open-source Plan 明确写着:推理代码与模型权重已开放(已勾选),训练代码标注为 coming soon(未勾选)。也就是说,你能拿到配方思路、能跑通推理、能下载权重微调思路,但复现训练的完整代码还要等。这在当下开源图像模型里属于常见节奏,但务必如实记在账上。

把训练配方开源,背后的战略意图其实很清晰:蚂蚁想用“可复现、可审计、可本地化”的开放姿态,在图像生成这条闭源强势的赛道里卡住一个开源支点。对国内企业尤其敏感——数据不出域、模型能私有部署,是许多金融、政企场景的硬门槛,而闭源 API 天然过不了这道关。LLaDA-Image 把权重和代码同时放出,等于把这条路线的入门成本直接打到了零,也让“我能不能自己掌控一条生图链路”从一个技术问题变成了单纯的人力投入问题。

二、技术拆解:统一生成与编辑为什么难,统一扩散框架怎么解

统一生成+编辑为何是难题

传统图像模型里,文生图和图像编辑往往是两条独立的技术栈:文生图从噪声出图,编辑则在原图上做局部改写,二者对数据、损失、结构的要求都不同。要把“从零生成”和“保参考图改细节”塞进同一个权重,难点在于模型既要学会“无中生有”的分布,又要学会“在约束下精准改动”——前者鼓励创意发散,后者要求内容保真,二者在训练目标上天然拉扯。

LLaDA-Image 的解法是“统一扩散框架”:它的 backbone 与 DiT(Diffusion Transformer)都是扩散模型,并在同一个框架内训练。生成与编辑因此共用一套扩散动力学,区别只在于输入条件——编辑模式下送入参考图作为约束,生成模式下只给文本。统一框架的好处是参数不浪费、能力可迁移,编辑时也不需要再挂一个独立的编辑网络。

统一框架还带来一个常被忽视的工程红利:维护成本。生成与编辑共用同一套权重后,版本管理、量化、缓存、服务封装都只需要做一遍。对要同时上线“文生图”和“商品图编辑”两条业务线的团队,这意味着减半的运维向量,而不是两套并行系统各养一套。换句话说,统一架构省下的不只是显存,更是长期的人力与迭代摩擦。

图像-only 预训练建立的视觉先验

README 里最值得玩味的一条训练路线,是“先图像、后语言”的阶段性预训练。报告先通过 image-only 预训练(pre-training)与 mid-training 建立视觉先验(visual prior),也就是让模型先纯粹理解“图该怎么长”,再引入 paired language supervision(图文配对监督),最后做 joint generation-editing training(生成-编辑联合训练)。

这个顺序很关键:很多多模态模型一上来就啃图文对,结果语言信号过早主导,视觉细节反而塌掉。LLaDA-Image 先把视觉地基打牢,再让语言来“指挥”生成,本质上是在解决“模型会不会画”与“模型听不听话”的先后矛盾。

Twin-DMD 蒸馏:50 步压到 4 步意味着什么

Base 模型需要 50 步采样才能出高质量图,这在实际应用中太慢。Turbo 版用 Twin-DMD 蒸馏把采样压到 2–4 步,推理速度量级提升,而质量尽量不掉。

这里有一处新闻口径分歧,必须如实标注:蚂蚁开源公众号(2026-09-08)在报道中把蒸馏技术称为「TwinFlow,50 步压缩至 2–4 步」,而 GitHub README 原文写的是「Twin-DMD distillation,2–4 sampling steps」。两者命名不一致。本文以仓库 README 为准,记为 Twin-DMD 蒸馏;若你看到「TwinFlow」的说法,指的是同一技术路径,但官方仓库并未使用该命名,引用时建议以 README 的 Twin-DMD 为准。

工程上,Turbo 推理还藏了一个小技巧:可在 scheduler/scheduler_config.json 中将 stochastic_sampling 设为 false,部分场景能得到更锐利的细节。

三种生成模式与尺寸约束

两个 checkpoint 都支持三类模式:

  • text(文生图):直接给 prompt 出图。
  • vq(VQ 条件生成):用 LLaDA2 模型从 prompt 产生 image VQ tokens,经 SigVQ 嵌入后再走扩散;VQ 模式下不要传输入图。
  • editing(参考图编辑):必须给一张参考图,模型按指令改写。

尺寸上有硬约束:text 与 vq 模式要求高、宽能被 16 整除;editing 模式要求能被 32 整除。官方常用 1024×1024。环境方面已验证组合为 Python 3.11、PyTorch 2.8、Transformers 4.57.6、Diffusers 0.39.0。

三、Qwen-Image-Bench 双料第一怎么读

LLaDA-Image 的最大招牌,是在 Qwen-Image-Bench 上拿下英文 53.53、中文 53.38 的双料 SOTA 总分。怎么读这个分数,决定了你对它实力的判断。

第一,看口径。53.53 与 53.38 是 overall(综合)分数,不是单维度。图像评测通常横跨质感、指令遵循、文字渲染、结构合理性等多个子项,综合第一说明它在“全方位不偏科”上做到了当前开源模型的顶端,而非靠某一单项刷分。

第二,看相对位置。据 ai-bot 等媒体转述,LLaDA-Image 的总分大致介于 GPT Image 1 与 Imagen 4.0 Ultra 之间(来源:ai-bot 公开转述,属二手口径,非官方基准文档,引用请注明)。也就是说,它已经摸到闭源第一梯队的门槛,但和最新闭源旗舰仍有距离——这个“介于两者之间”的定位,比单纯喊“开源第一”更有参考价值。

第三,看双语。中文 53.38 与英文 53.53 几乎持平,说明其中英文文字渲染与语义理解没有明显短腿。对中文技术从业者而言,这点比英文榜的单项第一更实用:做中文海报、中文 UI 截图、中文文案图时,它不会像部分海外模型那样在汉字上翻车。

需要提醒的是,Qwen-Image-Bench 是模型方自报的基准,评测集与权重由同一团队关联发布,横向对比闭源时以第三方独立复现为准更稳妥。同日 OpenAI 推出 ChatGPT Images 2.5(参见本站热点解读),闭源与开源在同周正面交锋,正是观察这条赛道分化的最好窗口。

四、冷思考:避坑与边界

热闹之外,有几条必须冷静记下的边界,尤其第一条,是本文最重要的避坑点。

其一,许可证未标注,是商用最大不确定性。 GitHub API 实测该仓库 license 字段为 null,仓库内也未见 LICENSE 文件。这意味着:你不能默认它是 Apache-2.0 或 MIT,更不能把它当“已授权开源”直接商用。正确做法是——在商用、二次分发、产品化之前,主动向 InclusionAI 官方确认许可条款。任何“应该能商用吧”的猜测,都是法律风险的来源。本站同批的开源 vs 闭源图像模型横评里也把“许可证透明度”列为选型的第一道闸门,LLaDA-Image 在这一项目前是扣分项。

其二,208 星说明它仍然非常早期。 对比同站收录的成熟开源项目(如 awesome-gpt-image-2 的 2 万星量级),LLaDA-Image 的社区体量还很小,文档、样例、踩坑帖都远未丰富。早期意味着机会,也意味着你要做好自己啃代码、自己排错的心理准备。

其三,生态目前只有社区 ComfyUI 支持。 2026-09-07 起,社区开发者 realrebelai 已提供 LLaDA-Image 与 LLaDA-Image-Turbo(含 FP8 版)的 ComfyUI 节点,这是目前最便捷的可视化入口。但官方主推仍是 Diffusers 推理代码,生产级 SDK、API 封装、企业集成都还在路上。

其四,训练代码未开源。 如第一节所述,你拿到的是推理与权重,复现训练还要等。对想“从数据到模型”全链路可控的团队,这是硬约束。

想本地跑起来的人,本站同批提供了本地部署 SOP,覆盖环境、依赖与四种权重的拉取;做图像模型横向选型的,可回到推理式图像模型横评与 GPT-Image 2 资源包做交叉对照。

一句话收尾:LLaDA-Image 用“统一扩散框架 + 图像先验 + Twin-DMD 蒸馏”把开源图像模型推到了闭源门槛前,但许可证的留白,是它在你把它写进生产系统之前必须堵上的那道缝。


常见问题

Q1:LLaDA-Image 和 LLaDA-Image-Turbo 有什么区别?

A1:Base 是 50 步采样的高保真基座,适合对画质要求高的场景;Turbo 经 Twin-DMD 蒸馏压到 2–4 步,速度量级提升,适合实时或批量出图。两者都是 6B 单一权重,能力覆盖一致,差别在采样步数与出图速度。

Q2:它支持哪些生成与编辑模式?

A2:两个 checkpoint 都支持 text(文生图)、vq(VQ 条件生成,由 LLaDA2 产出 image VQ tokens 经 SigVQ 嵌入后扩散,不传输入图)、editing(参考图编辑,必须给参考图)。尺寸上 text/vq 要求高宽整除 16,editing 要求整除 32,常用 1024×1024。

Q3:许可证是什么,能直接商用吗?

A3:GitHub API 实测该仓库 license 字段为 null,且未见 LICENSE 文件。因此不能默认其为 Apache-2.0 或 MIT,商用、二次分发、产品化之前须主动向 InclusionAI 官方确认许可条款,切忌凭猜测使用。这是本文最重要的避坑点。

Q4:模型权重在哪下载,有 FP8 版本吗?

A4:HuggingFace 与 ModelScope 各同步四个同名权重:LLaDA-Image(BF16)、LLaDA-Image-FP8、LLaDA-Image-Turbo(BF16)、LLaDA-Image-Turbo-FP8。FP8 版本用于降低显存占用,适合本地与显存受限部署。

Q5:和闭源模型比如何,与 ChatGPT Images 2.5 怎么选?

A5:据 ai-bot 转述,LLaDA-Image 总分介于 GPT Image 1 与 Imagen 4.0 Ultra 之间,已摸到闭源第一梯队门槛但仍有差距;中文榜 53.38 与英文 53.53 近乎持平,中文场景实用性强。若你要可审计、可本地部署、可定制的开源方案,它值得试;若追求极致画质与零运维,同周发布的 ChatGPT Images 2.5 仍是闭源优选。


参考来源

  • inclusionAI/LLaDA-Image(GitHub API 实测 2026-09-09):208 星 / 10 fork,Python,创建 2026-08-31,push 2026-09-07,license 字段为 null
  • 仓库 README 全文:6B 统一生成+编辑家族、Base/Turbo、统一扩散框架、image-only 预训练视觉先验、Twin-DMD 蒸馏 2–4 步、Qwen-Image-Bench 英文 53.53 / 中文 53.38、四权重清单、Diffusers 推理、Open-source Plan(训练代码 coming soon)
  • arXiv 2609.03796:LLaDA-Image 技术报告
  • 蚂蚁开源公众号(2026-09-08):蒸馏技术称「TwinFlow,50 步压缩至 2–4 步」(与 README 的 Twin-DMD 命名分歧,已标注)
  • 社区动态(2026-09-07):realrebelai 提供 LLaDA-Image 与 LLaDA-Image-Turbo(含 FP8)ComfyUI 节点
  • 关联阅读:本站 本地部署 SOP(同批)、ChatGPT Images 2.5 热点(同批)、开源 vs 闭源图像模型横评(同批)、推理式图像模型横评、GPT-Image 2 资源包

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-09-09

常见问题

LLaDA-Image 和 LLaDA-Image-Turbo 有什么区别?
Base 是 50 步采样的高保真基座,适合对画质要求高的场景;Turbo 经 Twin-DMD 蒸馏压到 2–4 步,速度量级提升,适合实时或批量出图。两者都是 6B 单一权重,能力覆盖一致,差别在采样步数与出图速度。
它支持哪些生成与编辑模式?
两个 checkpoint 都支持 text(文生图)、vq(VQ 条件生成,由 LLaDA2 产出 image VQ tokens 经 SigVQ 嵌入后扩散,不传输入图)、editing(参考图编辑,必须给参考图)。尺寸上 text/vq 要求高宽整除 16,editing 要求整除 32,常用 1024×1024。
许可证是什么,能直接商用吗?
GitHub API 实测该仓库 `license` 字段为 null,且未见 LICENSE 文件。因此不能默认其为 Apache-2.0 或 MIT,**商用、二次分发、产品化之前须主动向 InclusionAI 官方确认许可条款**,切忌凭猜测使用。这是本文最重要的避坑点。
模型权重在哪下载,有 FP8 版本吗?
HuggingFace 与 ModelScope 各同步四个同名权重:LLaDA-Image(BF16)、LLaDA-Image-FP8、LLaDA-Image-Turbo(BF16)、LLaDA-Image-Turbo-FP8。FP8 版本用于降低显存占用,适合本地与显存受限部署。
和闭源模型比如何,与 ChatGPT Images 2.5 怎么选?
据 ai-bot 转述,LLaDA-Image 总分介于 GPT Image 1 与 Imagen 4.0 Ultra 之间,已摸到闭源第一梯队门槛但仍有差距;中文榜 53.38 与英文 53.53 近乎持平,中文场景实用性强。若你要可审计、可本地部署、可定制的开源方案,它值得试;若追求极致画质与零运维,同周发布的 ChatGPT Images 2.5 仍是闭源优选。

相关文章

开源项目

DeepInfer 开源:155 万亿 Token/天,引擎还是工厂?

DeepSeek 于 2026 年 10 月 20 日宣布全面开源生产级推理框架 DeepInfer,这是第一次能拿到官方生产级引擎而不是对着论文自己拼:仓库 deepseek-ai/DeepInfer 采用 Apache-2.0,开放当日实测 17,902 stars、1,836 fork、188 个 open issue,同步放出的 Token 编解码组件 deepseek-recipe 则是 MIT 协议,两个仓库许可不同。官方自报性能数字全部需要标注为自报口径、目前无第三方复现:单集群服务吞吐 155 万亿 token/天(按谷价折算每卡每小时 38 美元)、首字延迟 400 毫秒、生成速度 230 tokens/s、96% 输入命中前缀缓存、Prefill 每卡吞吐由不计缓存的 6 万提升到 150 万 tokens/s;SWA Bounded Replay 把缓存未命中的重算量固定为最后 128 个 token,使 Prefill 总计算量近乎减半且成本与上下文长度无关;DSpark 推测解码最多 draft 5 个 token,线上吞吐再提升 6%,每卡每秒生成 14K token;MoE 专家副本每 10000 步动态重排,线上最忙的卡仅高出平均负载 9%。硬件覆盖英伟达 SM100 与华为昇腾 950 NPU 双栈,部署路径为 Python 3.12 虚拟环境加 DEEPINFER_ACCELERATOR 环境变量后从源码构建,默认拉取 DeepSeek-V4.1-Flash-1017 权重。但要讲清边界:官方明确 Prefill 与 Decode 分离、数据并行负载均衡以及 KVCache 管理层因与内部基础设施耦合过深尚未完整开源,拿到的是引擎而不是整座工厂;官方也未提供与 vLLM、SGLang、TensorRT-LLM 的横向基准。线上形态是 8 卡服务器承担 Prefill、64 至 128 卡超节点承担 Decode,KVCache 保留 72 小时以上以减少重复计算。

2026年10月22日10 分钟阅读
开源项目

大模型记忆长进身体里:288B 记忆原生模型开源

上海记忆张量(MemTensor)2026-10-20 发布业内首个记忆原生基座模型 MemT 1.0(据团队称)并开放权重:MemT-1.0-Flash(288B 总参/17B 激活/336M 动态记忆)与 MemT-1.0-Nano(36B 总参/3B 激活/10M 动态记忆),业内最大的开源参数化记忆模型。许可证破案(臣核 LICENSE 原文):GitHub API 报 NOASSERTION,LICENSE 原文为 PolyForm Noncommercial 1.0.0——权重公开可下载但为非商业许可,商用需向团队另行授权,另附 LICENSE-PAPER 文件;多家媒体报道写「开源」,正文以 LICENSE 原文为准。记忆原生与传统三类记忆的区别:激活记忆(上下文+KV Cache,会话结束即消失)、参数记忆(微调才更新不可逐条编辑)、外部知识库(靠检索)——MemT 把历史编码为持续存在、可更新的内部状态,在选定 Transformer 层让注意力与参数化记忆并联,记忆成为前向传播的一部分;Gated DeltaNet-2 逐 token 稳定更新(擦除/写入/遗忘/输出四门控)、MoS 混合存储扩容(记忆专家稠密路由、容量独立扩张);训练用 KL 蒸馏(教师读完整上下文、学生只看记忆状态、只优化记忆参数),训练语料 340 亿 token(网易口径)。基准(厂商口径):11 项记忆基准 Flash 50.6 / Nano 47.0 列参数化记忆方法第一、第二,最强参数化基线 Temp-LoRA 38.1(高 12.5/8.9 分);落后于自家 MemOS 文本记忆系统(保真度损失换可学习可扩展,如实并写)。SWE-bench Verified 500 题:66.07% 提升至 69.33%(执行前注入经验)/69.73%(执行中触发),三次全成功率 54.00% 提升至 61.6%/62.8%;Multilingual 60.00% 提升至 62.89%/63.56%。长历史效率(双 GPU 单并发固定 128 token):128K 端到端提速 1.86 倍、持久存储约 1/66;256K 提速 3.99 倍、TTFT 104-112ms vs 传统 445ms;每会话记忆状态约 40MiB 较传统 5.06GiB 缩约 130 倍(1/66 对 KV cache、1/130 对传统完整方案,两口径并写)。长对话召回案例:65K token 对话 4K 精确召回、16K 正确答「我不知道」、64K 区分已确认与仅提议变更。部署时记忆状态与用户/任务轨迹绑定、序列化跨会话延续,原始文本不保留。方向:记忆驱动递归自我改进 RSI;与 MemOS 3.0 组合明文+参数化完整链路。仓库:github.com/MemTensor/MemT-1.0(实测 194 stars)+ HF/ModelScope 集合。与站内分工:hy-memory-2-0-opensource-resource(批 57)是外挂记忆框架(记忆在模型外),本篇是记忆原生模型(记忆长在模型里)——两条路线各开源了一个代表。

2026年10月21日10 分钟阅读
开源项目

AI 记忆框架开源第一:腾讯 3B 干翻 Opus 5

腾讯混元 2026-10-16 把 Hy Memory 2.0 三层全开源:模型层 Hy-Memory-30B-A3B(总参数 30B、每 token 激活约 3B 的 MoE,HuggingFace tencent/Hy-Memory-30B-A3B,arXiv 2610.22196)、SDK 层 hy-memory(PyPI 当前 2.0.3)与工具层 MemHub(CLI v1.0.3,npm memhub-cli 引导安装)。许可证破案:GitHub API 报 NOASSERTION(非标准文本),raw LICENSE 原文为 Apache-2.0 且带 Tencent 前言、无附加限制条目——本文以 LICENSE 原文为准。官方文档模型名混用「Hy-Memory-30A3B」与「Hy-Memory-30B-A3B」两种写法,以 HF 仓库实名为准。官方基准(厂商口径):四套记忆系统对比 55.49 分第一,超过 Opus 5(54.62)与 DeepSeek-Flash(53.64),Qwen3-30B-A3B 仅 44.37;MemoryArena 55.31% 领先第二名 EverOS 10.2 个百分点;CodeMemoryBench 64.2%/35.6%;SWE-ContextBench 28.3%;LoCoMo 72.6% 且记忆 token 从 1159 降到 703(-39.3%)。内部业务验证(厂商口径):自选股多跳召回 50% 提到 90%、iWiki 相对提升 48.6%。定位是「记忆写入工位替身」(智囊团解读,二手):模型专门负责记忆写入与更新,理论上可挂在 Mem0、MemOS 等既有记忆系统下面干活。MemHub 工具数两口径并写:README 列 5 种,官方公众号稿称 10 种,以实际 CLI 输出为准。局限五条如实写:跑分为厂商口径第三方未复现、preview 阶段 API 可能变、MemHub 仅 Linux/macOS、模型 30B 级本地部署有门槛、英文文档尚薄。仓库地址:github.com/Tencent-Hunyuan/Hy-Memory(实测可达)。与站内分工:ai-agent-long-term-memory-sop(2026-08-08)讲 mem0/Letta 自建方案,本篇讲腾讯现成开箱方案。

2026年10月20日10 分钟阅读