AI × BIOLOGY · 论文解读

学会蛋白质折叠,能让大语言模型变得更聪明吗?

Fold2Reason 把蛋白质结构变成可核验的训练题,带来了跨任务收益。但结构问答、三维监督与通用智能之间,还有几条必须划清的界线。

从蛋白质走向通用任务

1,000 个蛋白质,能给大模型补上一门推理课吗?9 月 30 日公开的预印本报告:Qwen3.5-9B 的十项评测均分,从 45.09% 升至 48.33%。但训练材料来自蛋白质,考题跨到了空间、图结构和科学问答。[1]

这项由上海交通大学、复旦大学等机构研究者提出的工作,叫 Fold2Reason。作者报告的平均增益为 3.23 个百分点,十项数据集的平均变化全部为正。但“分数更高”与“智能提升”之间,仍有距离:[1]

值得关注的是科学结构能否成为通用模型的训练材料。[1]
十项非蛋白质评测中的平均收益
十项非蛋白质评测中的平均收益,单位为百分点(图源:论文第 1 页,原图 1b)
45.09%
适配前 · 十项等权宏平均
48.33%
完整方案 · 三种子均值
+3.23 pp
作者报告增益 · 未舍入差值
论文 [1]
01
FOLD2REASON · 01

把一团蛋白质,变成一张能判分的试卷

蛋白质像一条折成团的珠链:远隔的两颗珠子,折好后可能挨着。但三维坐标能给出确定答案。是否接触、哪一对更近、两个片段朝向是否一致,都能由程序判分。这就是 FoldingCorpus 的出题依据。[1]

核心数据集包含 1,200 个蛋白质:1,000 个用于训练,开发集和冻结测试集各 100 个。每个蛋白质生成 12 道结构题,合计 14,400 条记录,其中训练记录为 12,000 条。但这里的“题库”来自已知结构,模型输入不会直接看到标准答案的坐标。[1]

从已知结构生成两路监督目标
已知结构生成结构问答与几何目标,真实坐标仅用于监督(图源:论文第 4 页,原图 2a)

题目还涉及局部方向、手性和多条件判断。九类是二选一,两类是三选一,另一类要从 32 个结构摘要中选出对应项。但模型只需输出短答案,训练没有要求它写出推理过程。[1]

同一份坐标,可以独立重算每道题的答案。科学数据成了可复核的出题器。但问题数量与独立信息量不能画等号;同一个蛋白质反复出题,能增加多少迁移能力,后面还要再测。[1]

十二类结构问题及其判分规则
十二类结构问题、定义阈值与采样规则(图源:论文第 17 页,原表 5)
02
FOLD2REASON · 02

训练时搭脚手架,考试时拆掉

像临时脚手架一样,共享工作区先汇集残基表征,再分两路检查。但检查目标不同:一路经原有语言接口回答结构题,另一路经冻结的几何解码器预测坐标和距离分布。两路共同约束模型表征。[1]

训练冻结基础权重,只更新 LoRA 外挂参数和共享工作区。主实验训练三轮、375 步,并独立运行三组随机种子。但通用评测移除蛋白质输入、工作区和几何解码器。[1]

迁移收益必须留在模型参数里。[1]
共享表征上的问答与几何监督
共享工作区连接结构问答与几何读出,通用评测移除专用组件(图源:论文第 4 页,原图 2c;评测设置见正文)
03
FOLD2REASON · 03

提升来自结构,还是只学会了答题格式?

GraphQA Hard 提升 6.83 个百分点,图像空间任务 SpatialViz 提升 6.10 个百分点。但收益并不均匀,Lab-Bench 只有 0.64 个百分点。十项宏平均给每个数据集相同权重;剔除作者自建的 FTB-Core 后,九项公开评测的平均收益仍为 3.14 个百分点。[1]

作者还设置了隐藏随机几何、复制答案编码、固定打乱标签三种对照。三者平均变化分别为 +0.92、−0.09、−0.27 个百分点,均低于完整方案的 +3.23。但这些对照采用不带工作区的 Pure-LoRA,不能单靠这张表,把差距全部归因于真实蛋白质几何。[1]

匹配训练对照与完整方案的结果
三种问答格式对照与完整方案的逐数据集结果;对照不含工作区与几何损失(图源:论文第 6 页,原表 1)

同一工作区下的组件消融更关键。去掉几何监督,结构问答仍带来 2.93 个百分点;完整方案为 3.23 个百分点。但额外几何监督只贡献约 0.30 个百分点。[1]

大部分跨任务收益,来自结构问答路径。[1]

几何监督给三项空间评测额外增加约 1.08 个百分点。但总体增量在三种子间有正有负,95% 区间跨零。广泛迁移优势尚不稳定。去掉问答的历史方案还保留检索辅助项,不能当作纯几何对照。[1]

结构问答与几何监督的组件消融
保留工作区的组件消融;w/o FoldingCorpus 为带历史检索辅助项的几何主导方案(图源:论文第 8 页,原表 2)
04
FOLD2REASON · 04

换一个模型,这门课还管用吗?

仅用结构问答做 Pure-LoRA 训练,Qwen3.5 的 2B、4B、9B 模型分别提升 5.41、4.84、3.22 个百分点。InternVL3.5-8B 也提升 1.53 个百分点。但这组跨模型实验没有完整方案的工作区与几何监督,不能说每个模型都受益于双重训练。[1]

Gemma-4-12B-IT 的平均变化只有 +0.07 个百分点,三次训练中还出现一次下降。这种近乎中性的结果,划出了模型家族依赖的边界。但各模型保留各自的评测接口约定,这些数字回答的是“相对自身起点是否进步”,不适合直接排成跨模型排行榜。[1]

结构问答在不同模型中的迁移差异
Pure-LoRA 结构问答训练的跨模型收益与逐任务差异,左侧空心圆点表示独立训练种子(图源:论文第 7 页,原图 3)
05
FOLD2REASON · 05

“会折叠”离可靠预测,还有多远?

那模型到底折得怎样?完整方案在 334 个蛋白质上的 TM-score 为 0.1688,lDDT-Cα 为 0.2532。但作者将其定位为结构信息的解码诊断;整体重建仍不可靠,不能用于生物学结构判断。[1]

像地图上的邻近街区更清楚了,整座城市的布局却未必更准。几何监督改善局部结构与接触读出,但整体拓扑指标 TM-score 略降。折叠质量与通用成绩没有同步变化,“折得更好所以更聪明”的因果链尚未闭合。[1]

真实与预测的接触图和距离图
三个蛋白质的真实与预测接触、距离图;问答方案为保留工作区的 w/o Geometry,距离显示截断于 20 Å(图源:论文第 8 页,原图 5)
06
FOLD2REASON · 06

题越多,模型就越聪明?

独立规模实验从 50 个蛋白质扩展到 4,000 个。平均收益在 2,000 个时为 3.70 个百分点,4,000 个时回落至 3.02。但各组均训练三轮,优化步骤随数据量增加,曲线不能解释为纯数据效应。[1]

这组实验另有评测约定,不能与主实验直接拼接。结构读出继续改善,通用收益却没有一路上升。但为何分离,实验无法确定;4,000 个蛋白质的样本池也改变了结构置信度构成,进一步限制了解释。[1]

蛋白质覆盖与训练步骤共同扩展的结果
独立规模实验中结构读出与通用收益的变化;固定轮次下数据覆盖与计算量共同增加(图源:论文第 7 页,原图 4)

更直接的测试固定了 1,000 个蛋白质和 375 个优化步骤,只改变每个蛋白质的问题数。3、6、12 道题对应的平均收益为 3.391、2.951、3.311 个百分点。但没有出现“题越多,提升越大”的趋势,也不能反过来断言问题密度完全无效。[1]

蛋白质结构衍生训练,在这些设定下改善了部分跨领域答题表现。但模型更可靠地调用已有能力、改变答题行为,都仍是需要区分的解释。[1]

实验支持行为迁移,尚未识别出背后的推理机制。[1]
固定数据与步骤后增加问题密度的结果
固定蛋白质覆盖和优化步骤时的问题密度实验;阴影为三个训练种子的均值±样本标准差(图源:论文第 34 页,原图 10)

结构评测尚未严格隔离远缘同源和新折叠类型,规模样本池也有已知重叠。这仍是范围有限的预印本研究。但问题值得继续检验:科学结构能否稳定训练出脱离原领域和特定答题格式的能力?[1]

下一步需要更多模型、严格隔离的数据,以及能分开答题行为与推理机制的实验。但最值得追问的,也许已经从“蛋白质有什么用”,转向了另一端:当科学数据成为老师,怎样才能知道大模型真正学会了什么?