训练生命科学大模型时，哪些 DNA 序列真正值得学习？

物种标签，为什么管不住训练价值？

想象给学生选教材：同属一本书的内容，可能一页帮他理解题目，另一页只是重复练习。按书名分配阅读时间，会把两页绑在一起。但训练数据也有类似问题：按物种、谱系或原始数据集设权重，同组序列只能一起被多读或少读。

因此，Tessera 把分组依据改为“读过之后，模型发生了什么变化”。序列的训练价值，要放进具体目标和已有语料里判断。但这里衡量的仍是代理模型在目标样例上的表现，不能把这个分数直接当成 DNA 的生物学重要性。

先让小模型试读，再给整个语料选座位

这套流程像先做一轮小规模试读。团队抽取数千份文档，分别让小型代理模型只在一份文档上继续训练。但它们并非从零起步：原文介绍的通用流程采用共享的、参数量低于一亿的预训练底座，随后观察各模型对目标样例的打分。

一份文档由此得到一串“读后反应”，团队再把主要差异压缩成坐标，称为行为空间。相近的坐标，代表相近的评测作用。但逐条试读全库仍然昂贵，所以第二步要学会预测这些坐标，把少量实测推广到未实测的序列。

到了 DNA，预测器使用短 DNA“词”的计数和序列长度等统计信息。这些简单特征用于估计评测行为，随后把序列聚成 160 个来源。但来源的边界不再沿着物种标签划定：来自不同原始子集的序列，也可能因作用相似被放在一起。

最后，再用 MixMin 等代理模型混合方法，为这些新来源分配权重。Tessera 改造的是“哪些序列应该归为一组”，混合优化接在后面。但集中读取小来源可能带来过度重复，原文的方法细节还给每个来源设置了最多读一遍的约束。

真核 DNA 获得更多份额，但大多数仍没被选中

联合六个目标时，获得非零权重的 41 个来源，包含约四分之一的数据池令牌。真核基因区域的份额，从原始池约 29% 升到图中所示的 41.2%。但宏基因组降至 3.7%，GTDB 原核来源降至 0.9%，病毒来源的份额则接近零。

更值得留意的是组内差异。原始池约 70% 的真核基因区域序列，落在零权重来源中。但这个事实并不与真核份额上升矛盾：一个数据集整体被增配，不等于其中每条序列都值得增配。粗粒度标签，恰好遮住了这层区别。

被重点增配的一个来源，主要包含鸟类和哺乳动物等脊椎动物 DNA。大量片段位于基因之间，带着古老重复元件；约四成文档包含基因及其外显子、内含子。但它们并没有被事先贴上“优质非编码区”的标签，注释是在分组之后才用于解释结果。

对照的降配来源，则多是土壤和水体细菌，序列几乎一路由编码区构成。同样是 DNA，一个来源保留了复杂的基因周边结构，另一个更为均一。但这只是一组案例对照，不能据此宣布所有非编码序列都比编码序列更适合训练。

团队给出的解释指向冗余：细菌编码序列在数据池里本来就很充足，再读类似片段，新增收益可能有限。18 个以原核或病毒序列为主的来源中，只有一个被增配。但“新增信息少”仍是团队对结果的解释，文章没有逐一证明这些序列为何失去权重。

这也改变了“值得学习”的问法。在固定训练预算下，零权重代表当前配方的取舍，不能推导成序列没有功能。但若把这份配方直接套到微生物研究或新物种任务上，恰好可能少读了最需要的数据；下调权重始终需要连同目标一起理解。

“四倍收益”，先别算到 DNA 头上

方法是否有效？原文更完整的训练对照来自语言模型。在四亿参数实验里，行为分组相对均匀采样的平均损失改善为 0.110 nats/token，主题分组为 0.026。但所谓“约四倍”，比较的是改善幅度，既不是模型能力翻四倍，也不是 DNA 模型成绩。

扩展到十亿参数，行为分组仍带来 0.079 nats/token 的改善，主题分组约为 0.001。这些对照支持了更精细的分组能帮助训练。但 DNA 章节主要展示数据池结构与权重解释，没有给出同等完整的最终模型性能对照，证据强度需要分开看。

还要看清考题。DNA 的五类序列目标，来自人类编码区、启动子、下游区、增强子与非编码 RNA 区域。但第六个孟德尔变异相关目标，拟合混合比例时使用的是变异周围的参考序列，不能仅凭“VEP”标签，就认定它在直接优化致病分类。

只选这个变异相关目标，官网图中的非零权重来源变为 21 个，配方也随之变化。优化参考序列的预测损失，与提高致病变异判别能力，之间还需要独立验证。但原文没有在 DNA 部分提供这种直接的分类提升证据，更不能由此推到临床应用。

先选要学会的能力，再谈最优配方

多个能力同时存在时，数据配方也会遇到“顾此失彼”。团队在语言实验中，为 70 个评测设置不同偏好，在三种代理规模下拟合了共 48,000 份配方。但这不意味着从头训练了 48,000 个大模型，展示的权衡地图来自代理模型预测。

这些配方描出一条能力间的权衡边界：想继续改善一个目标，可能需要让出另一个目标的表现，这叫帕累托前沿。目标偏好决定该选哪份配方。但这张图的具体结果来自语言实验；对生命科学的启发，是先说明模型要服务谁，再评判数据是否值得投入。

训练团队由此多了一种审视数据的方法：先抽样测作用，再预测全库行为，最后围绕明确目标选择配方。但这份 DNA 地图目前仍围绕人类相关考题，代理误差、目标覆盖和跨规模迁移也都需要继续检验。选择规则比一张固定名单更有价值。

如果未来要让模型理解一段陌生微生物的 DNA，就必须重新问：哪些考题能代表这项能力，现有语料又遗漏了什么？但当评测尚未覆盖未知生命时，一套漂亮的混合权重，也可能只是在告诉模型如何更擅长已知的考题。那些尚未被问到的序列，谁来决定它们值不值得学？