先把分工说清楚。站内 2026 年 11 月 2 日那篇 Hydrogen-1.0 资源篇讲的是 753B 参数、面向化学与材料与生命科学的通用科学大模型;本篇讲的完全不是同一类东西,它是一个只吃 RNA 序列、专门用来读 RNA 结构的 RNA 序列专用基础模型。同一批里还有讲事件与许可边界的热点、讲怎么把权重跑起来的 SOP、讲那张自测表怎么读的横评,本篇不重复那些角度,只做一件事:把 heqin-zhu/structRFM 这个仓库究竟开放了什么、怎么上手、哪些结论目前只是团队自述,逐项摆到台面上。
仓库的明文地址是 https://github.com/heqin-zhu/structRFM,许可为 MIT,主语言 Python。截至 2026 年 11 月 6 日通过 GitHub API 抓取,它累计 62 星、6 个 fork、开放问题 0 个,创建于 2025 年 2 月 24 日,最后一次 push 是 2026 年 8 月 29 日。让它真正进入更广视野的,是 2026 年 11 月 5 日发表于《自然》(Nature)的论文,DOI 为 10.1038/s41586-026-11210-2。这里必须先立一条时点边界:这不是一个 11 月才出现的仓库,它比论文早了一年多,README 顶部至今仍指向 2025 年 8 月 6 日的 bioRxiv 预印本。据科技日报与中国科大新闻网的报道口径,团队表示完整的序列与二级结构配对数据、模型权重与源代码均已开放。换句话说,正确的读法是"论文在 11 月 5 日登上顶刊,而仓库与数据此前就已开放";把登刊日当成开放日,与 2025 年 2 月的建仓时间和 62 星的现状都对不上。
于是反差就摆在这里:一个只有 62 星的仓库,README 甚至还没把链接从预印本换成正式论文,却把 2100 万条结构数据、预训练权重、微调 checkpoint 和一整套特征抽取工具都摊开了。
一篇《自然》论文,和一个早了一年多的仓库
先把论文与仓库的关系理顺。据科技日报与中国科大新闻网,这项成果出自中国科学技术大学 MIRACLE 实验室周少华教授、熊鹏特任研究员团队,第一作者为朱河勤博士,论文于 2026 年 11 月 5 日发表在《自然》,DOI 是 10.1038/s41586-026-11210-2。团队在报道中明确表示,完整的配对数据、模型权重与源代码已经对研究社区开放。
但仓库自己的状态是另一条线。GitHub 元数据显示,heqin-zhu/structRFM 创建于 2025 年 2 月 24 日;README 顶部的几个链接中,bioRxiv 与 PDF 指向的是 2025 年 8 月 6 日的预印本 2025.08.06.668731,末尾引用条目也仍是预印本形式的《A fully-open structure-guided RNA foundation model for robust structural and functional inference》,DOI 为 10.1101/2025.08.06.668731。仓库最后一次 push 停在 2026 年 8 月 29 日。
这条边界值得反复讲,因为论文登刊与仓库开放很容易被混成同一件事,而材料指向二者并不在同一时点。若只按登刊日来叙述,与 GitHub API 在 2026 年 11 月 6 日抓到的 62 星及 2025 年 2 月的建仓时间明显不符。真正值得写的,是论文登刊与资源早已开放之间的时间差。
只给序列,怎么读出结构
structRFM 的核心主张可以压成一句话:推理时只给 RNA 序列,就能抽出序列级、核苷酸级、核苷酸对级三个层次的特征,且不要求预先提供已知二级结构。结构标签往往要靠实验或计算预测才能得到,模型把这一步内化进了预训练。
支撑它的是两个设计。一个是 SgMLM,全称 Structure-guided Masked Language Modeling,即结构引导的掩码语言建模。README 称它在序列级与结构级掩码之间动态平衡,在无任务偏置的前提下捕捉碱基配对相互作用。普通掩码语言建模随机遮字母补全,SgMLM 遮的时候参考结构信息,迫使模型学习哪两个位置倾向于配对,这正是二级结构最本质的约束。
另一个是 MUSES,全称 Multi-source ensemble of secondary structures,即多源结构集成,把热力学类、概率类、深度学习类三类二级结构预测器整合起来。RNA 二级结构标签本身并不干净,不同预测器各有系统误差,多源集成相当于给标签做一次交叉校准,缓解单一来源的注释偏差。
预训练数据是 2100 万条(21 million 条)序列与二级结构配对数据,由 RNAcentral 与 BPfold 构造,长度限制在 512 以内。README 自述这套数据配合 SgMLM 与 MUSES,让模型在一系列 RNA 结构与功能推断任务上达到它自己所说的国际前沿水平。按简报口径补一句限定:这类"达到国际前沿"是团队与 README 的自述口径,不是第三方独立复现后的结论。
输出侧对应三个粒度,分别是 cls_feat、seq_feat 与 mat_feat,覆盖整条序列分类、逐位点标注、成对关系预测三类下游任务。
数据、权重与许可:到底开放了什么
"全给了"要落到可下载的东西上才算数。按 README 与仓库根目录,开放清单大致四类:预训练配对数据集、预训练模型权重、各任务的微调 checkpoint、以及源代码。
数据集托管在 Zenodo,DOI 为 10.5281/zenodo.16754363,预训练配对数据约 4.5 GB。README 同时提到 Hugging Face 上的 heqin-zhu/structRFM-dataset 标注为 under construction,仍在建设,所以稳妥路径还是走 Zenodo,别指望一行 load_dataset 拉全量。微调环节另需下载 3.7 GB 的任务数据与任务专用 checkpoint,按各任务目录结构放好。预训练权重本体是约 300 MB 的 structRFM_checkpoint.tar.gz,从 GitHub releases 下载解压后,用环境变量 structRFM_checkpoint 指过去即可。
源代码侧,根目录有 README.md、LICENSE、demo.py、main.py、pyproject.toml、structRFM_environment.yaml,以及 src、tasks、scripts、images 几个目录;PyPI 上还有 structRFM 包。依赖标注见 README 徽章:Python 3.8 以上、PyTorch 2.0.1。README 并未给出显卡或显存方面的硬件要求,简报也不允许补写这类未公布数字,所以本文只列依赖版本。
许可用的是 MIT,LICENSE 原文 1066 字节,版权声明为 Copyright (c) 2025 Heqin Zhu。按原文,许可允许免费使用、复制、修改、合并、发布、分发、再许可乃至销售软件副本,条件只有一条:保留版权声明与许可声明;软件按"现状"提供,不附带任何明示或默示担保。这里只做原文陈述,不构成法律意见,商用前请自行核对 LICENSE 原文。但"权重是 MIT"不意味着训练数据、微调数据与全部训练配方打包在同一入口,评估开放程度时这点容易被忽略。数据、权重、代码分散在 GitHub releases、Zenodo、PyPI 与 Hugging Face 几处,所谓"已开放"是把这些拼起来之后才成立的完整清单。
两条上手路径:从 AutoModel 到 structRFM_infer
README 给的上手方式有轻重两条,按你需要什么来选。
轻的一条只要 transformers。装好之后用 AutoModel 与 AutoTokenizer 直接从 heqin-zhu/structRFM 加载,喂一条序列就能拿到隐状态。README 的单序列示例是 GUCCCAACUCUUGCGGGGAGGGAU,共 24 个碱基,输出 last_hidden_state 形状为 [1, 24, 768],pooler_output 为 [1, 768];batch 模式设 max_length=512、padding 到最大长度时,三条序列输出 [3, 512, 768]。768 就是模型隐层维度,后面所有特征都围绕它展开。这条路适合只想要一个现成序列表征、再接自己的分类头或探针的场景。
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained('heqin-zhu/structRFM')
tokenizer = AutoTokenizer.from_pretrained('heqin-zhu/structRFM')
seq = 'GUCCCAACUCUUGCGGGGAGGGAU'
outputs = model(**tokenizer(seq, return_tensors='pt'))
print(outputs.last_hidden_state.shape)重的一条走 structRFM 自己的包装。先 pip install transformers structRFM BPfold,下载并解压约 300 MB 的 checkpoint,设好环境变量,再用 structRFM_infer 构造模型。README 给的参数是 max_length=514、dim=768、layer=12、num_attention_heads=12,也就是 12 层、12 个注意力头、隐层 768。调用 extract_feature 后一次拿到三样东西:cls_feat 形状 [768],对应整条序列的分类级特征;seq_feat 形状 [L, 768],对应逐核苷酸特征;mat_feat 形状 [L, L],对应核苷酸对矩阵。示例序列 AGUACGUAGUA 长 11,于是 seq_feat 是 [11, 768]、mat_feat 是 [11, 11]。
import os
from structRFM.infer import structRFM_infer
model = structRFM_infer(
from_pretrained=os.getenv('structRFM_checkpoint'),
max_length=514, dim=768, layer=12, num_attention_heads=12,
)
feat = model.extract_feature('AGUACGUAGUA')不想用包装检查点也可以自己搭:get_structRFM(dim=768, layer=12, num_attention_heads=12, ..., max_length=514) 配 get_mlm_tokenizer(max_length=514)。两个数字容易看混:512 是构造数据集时过滤序列的长度上限,514 是模型侧 max_length,多出两位留给特殊标记。README 还自述用重叠滑动窗口分段策略,把长非编码 RNA 分类扩展到约 3000 个核苷酸,这是针对 512 限制的工程折中,而非原生支持任意长度。想继续做微调的读者,可对照 大模型微调 SOP:那篇讲通用流程,本篇 tasks 目录才是这套模型具体应用的地方。
能做哪些任务,哪些还只是自述
tasks 目录把能力分得很清楚:tasks/zeroshot 放零样本推理,tasks/seqcls_ssp 放二级结构预测与非编码 RNA 分类,tasks/Zfold 放三级结构预测,tasks/splice_site_prediction 放剪接位点预测。二级结构预测还能直接下载微调好的 structRFM_SSP_bpRNA1m.pt 或 structRFM_SSP_RNAStrAlign.pt 作为检查点。
按 README 与官方新闻口径,能力大致铺在几条线上:功能推断支持剪接位点预测、IRES(内部核糖体进入位点)识别、非编码 RNA 分类;结构侧提升二级结构预测,把特征接入三级结构预测模型后可改善 3D 结构与对应二级结构;在新发布的 RNA 家族上仍保持二级结构表现,分段策略把长非编码 RNA 分类也纳入进来;零样本同源性分类在 Rfam 与 ArchiveII 上排名前 4;消融实验验证了结构信息与掩码策略各自的作用。应用前景上,官方措辞是有望助力药物发现与生物学机制理解,注意这只是"有望助力",不涉及任何临床方案,也不宣称有药物投入使用。
这里必须把话挑明:上面那串成绩都是团队与 README 的自述口径,简报明确标注未见第三方独立复现,只适合作为筛选线索,不宜当作已被外部验证的结论引用,更别跨榜横向对齐。
边界与局限
优点讲完,也得把不好用的地方列清楚。
第一,长度。数据集构造时序列限制在 512,模型侧 max_length=514,长序列靠重叠滑动窗口分段,不是原生支持任意长度。第二,入口不统一。Zenodo 的 4.5 GB 预训练数据、另下的 3.7 GB 微调数据与任务 checkpoint、约 300 MB 的预训练权重分在三处,Hugging Face 上的 heqin-zhu/structRFM-dataset 仍是 under construction。第三,社区规模小。62 星、6 个 fork、开放问题 0 个,遇到环境或版本问题大概率要自己读源码和 README。第四,README 还留着几处拼写错误,例如个别词把 achieves、pretraining 拼错,引用时按正确拼法理解即可,不必照抄。第五,成绩口径:自述与第三方复现要分开看。
第六,也是最容易越界的一条:本文只列 README 给出的依赖版本,不补写任何显卡、显存或训练耗时数字,因为材料里没有,简报也不允许编;应用层面只保留有望助力药物发现与生物学机制理解这一原文措辞,不往临床应用方向延伸。守住这几条边界,这份开放清单才是可核对的,而不是被夸大的宣传稿。
常见问题
Q1:论文 2026 年 11 月 5 日登刊,仓库是那时开放的吗? A1:不是。heqin-zhu/structRFM 创建于 2025 年 2 月 24 日,最后 push 是 2026 年 8 月 29 日,README 顶部至今仍指向 2025 年 8 月 6 日的 bioRxiv 预印本。2026 年 11 月 5 日是论文登上《自然》的日子(DOI 10.1038/s41586-026-11210-2),团队表示完整配对数据、模型权重与源代码已开放。截至 2026 年 11 月 6 日 GitHub API 抓取只有 62 星,仓库与预印本都早于论文。
Q2:MIT 许可是不是意味着可以随便商用? A2:MIT 是最宽松的许可证之一。按 LICENSE 原文,允许使用、复制、修改、合并、发布、分发、再许可与销售,条件只是保留版权与许可声明,软件按"现状"提供、无担保。本文只做原文陈述,不构成法律意见,商用前请自行核对 LICENSE 原文;另需注意数据并不随权重打包在单一入口。
Q3:只给序列真的能读出结构吗,长度上有什么限制? A3:按 README 自述,模型靠 SgMLM 结构引导掩码与 MUSES 多源结构集成,在 2100 万条由 RNAcentral 与 BPfold 构造的配对数据上预训练,推理时只给序列即可输出 cls_feat [768]、seq_feat [L, 768]、mat_feat [L, L] 三类特征。长度上数据集过滤到 512,模型 max_length 为 514,长序列靠重叠滑动窗口分段,README 自述可把长非编码 RNA 分类扩展到约 3000 个核苷酸。
Q4:零样本排名前 4、达到国际前沿这些说法能当结论吗? A4:要打折读。这些是团队与 README 的自述口径,简报明确标注未见第三方独立复现,包括零样本同源性分类在 Rfam 与 ArchiveII 上排名前 4、二级与三级结构改善、以及消融实验结论。把它们当作该优先试哪类任务的筛选线索更合适,关键任务请用自己的数据实测,不要跨榜横向对齐。
Q5:上手要装什么,数据总共多大? A5:轻量路径只要 pip install transformers,用 AutoModel 与 AutoTokenizer 加载,24 碱基示例输出 [1, 24, 768]。完整特征路径需 pip install transformers structRFM BPfold,下载约 300 MB 的预训练 checkpoint 并设环境变量,再用 structRFM_infer(max_length=514, dim=768, layer=12, num_attention_heads=12)。数据侧 Zenodo 的预训练集 4.5 GB(DOI 10.5281/zenodo.16754363),微调任务数据另 3.7 GB。依赖见 README 徽章:Python 3.8 以上、PyTorch 2.0.1。
延伸阅读
- Hydrogen-1.0 科学大模型资源篇:753B 通用科学大模型,与本篇的 RNA 序列专用基础模型正好构成"通用对专用"的对照。
- ERNIE 5.5 Flash Base 上手 SOP:同批的装机步骤文,看另一类权重怎么真正跑起来。
- 基座模型评测横评:同批横评,讲那张自测表该怎么读,可与本篇"自述口径"的读法对照。
- Kimi K3.1 Pro 权重开放:权重开放事件的另一条线,用来区分"开放权重"与"完整开源资源"。
- 乌镇开源:中国 AI 开源成绩单:把国内开源发布潮的时间线拉长看,理解这类专业仓库所处的位置。