分子也有「世界模型」了

药物研发里有个尴尬的事实：过去十年，深度学习模型在分子性质预测上刷了无数榜，但多项独立基准研究反复发现，预训练模型经常打不过随机森林加传统分子指纹这种「老掉牙」的组合。

问题出在哪？勃林格殷格翰（Boehringer Ingelheim）联合图宾根大学、布朗大学、德州大学奥斯汀分校的研究者给出了一个诊断：自监督学习在分子数据上用的「数据增强」从根上就是错的。

主流做法是对分子图做扰动——遮掉几个原子、删几条键，然后让模型相信「这两个视图是同一个东西」。但化学家都知道「活性悬崖」（activity cliff）：改动一个甲基，药效可能天差地别。让模型对扰动前后的分子输出相同表示，等于强迫它学习一种化学上根本不成立的等效关系。

8 月 27 日挂在 arXiv 上的 Mol-JEPA（arXiv:2608.22642）换了一条路：不动分子一根化学键，改为遮蔽整个「模态」，让模型在潜空间里把被遮住的那一面预测回来。这套思路直接继承自 Yann LeCun 力推的联合嵌入预测架构（JEPA）——本文共同一作 Randall Balestriero 正是 LeCun 在 JEPA 路线上的长期合作者。

Mol-JEPA 的出发点是一个认知转变：分子的行为无法从结构本身推出来，它是在与蛋白网络、代谢过程、细胞状态的相互作用中涌现的。所以模型要学的对象，从「分子长什么样」转向「分子在各种生物化学环境里怎么表现」。

团队为每个分子准备了 14 个观测面，也就是 14 种模态：

• 结构类：分子图（可训练 GNN 编码）、原子坐标（对接 Meta 的原子级基础模型 UMA 的嵌入）、ECFP4 环形指纹、MOE 的 227 维分子描述符；
• 其他基础模型的「蒸馏」：化学语言模型 ChemGPT、细胞表型模型 CLOOME（细胞染色图像）、多模态表型模型 BioXMol 的嵌入；
• 结合亲和力：用 Boltz-2 对 Bowes-44 安全面板中的 9 个脱靶相关靶点（hERG、5-HT2A、多巴胺 D2 等）做共折叠和亲和力预测，把嵌入和预测值都作为模态——这一步在 8 张 RTX A6000 上跑了超过 10 万个分子；
• 量子化学：∇²DFT 数据集的 17 项 DFT 性质（ωB97X-D/def2-SVP 级别），加上 GFN2-xTB 半经验计算的 7 项描述符；
• 湿实验数据：ChEMBL 的 306 个生物活性实验、PubChem PCBA 的 1,328 个高通量筛选、TDC 的 672 个 ADMET 终点。

预训练语料合并了 ChEMBL、TDC、PCBA-1328、∇²DFT 和 Enamine REAL 五个来源，去重后共 469 万个独特化合物。

训练时，模型随机遮蔽其中一部分模态（保证至少留一个），用一个 Transformer 预测器从剩下的模态出发，在潜空间中重建被遮蔽模态的嵌入。关键区别在于：预测目标是「这个分子的细胞表型嵌入应该长什么样」这类问题，答案由真实数据或其他基础模型给出，全程绕开了对同一个分子做化学上无效扰动的老路。

联合嵌入架构的老大难是「表示坍塌」——模型偷懒，把所有输入映射到同一个点，预测误差归零但什么都没学到。

Mol-JEPA 采用 Balestriero 与 LeCun 2025 年提出的 LeJEPA 框架，用 SIGReg（Sketched Isotropic Gaussian Regularization）把嵌入分布约束到各向同性高斯分布：把一批嵌入投影到 1,024 个随机方向上，用 Epps-Pulley 统计量逐方向检验是否服从标准正态。这个设计不需要负样本、不需要学生-教师网络、不需要梯度交替这些对比学习和蒸馏方法里常见的「技巧包」。

最终模型只有约 5,000 万参数，在 12 张 RTX 6000 Ada 上训练 3 天、约 150 个 epoch 收敛。

评估刻意避开了被批评「与真实药物发现脱节」的传统基准，全部选用近期盲测竞赛和工业界数据：OpenADMET ExpansionRx 的 9 个 ADMET 终点（全新化合物）、ASAP-Polaris 的 7 个数据集（含两个新冠靶点效力预测）、PXR 受体活性盲测、Biogen 的 6 个同条件体外 ADME 终点，共 23 个任务。数据划分用 Taylor-Butina 聚类（ECFP4、Tanimoto 阈值 0.65）做骨架分离，防止相似分子泄漏进测试集。

对手包括：随机森林/LightGBM 加传统描述符、表格基础模型 TabICLv2、描述符基础模型 CheMeleon、GNN 模型 Chemprop、对比学习分子模型 CLAMP。

结果：

• 平均 MAE 0.402，全场最低；最好的基线 TabICLv2+AlvaDesc 为 0.453，CLAMP 0.576。23 个终点中 Mol-JEPA 在 15 个上拿到最低误差；
• 小数据集优势最明显：在 ASAP-Polaris 和 Biogen ADME 这类几百到几千样本的基准上优势最大——这正中药企痛点，高质量标注数据永远稀缺；
• 分布外泛化更强：按测试分子与训练集的 Tanimoto 相似度分箱，相似度越低，Mol-JEPA 相对基线的优势越稳；
• 统计检验上作者很诚实：逐样本 Wilcoxon 符号秩检验下，Mol-JEPA 显著胜率 38%，略低于 TabICLv2 的 47%——后者的优势主要来自 ExpansionRx 这种较大的数据集，而 Mol-JEPA 在小数据集上赢得更「显著」。

留一法（leave-one-modality-out）消融给出几个有意思的结论：

• 图模态贡献最大——它是 14 个模态中唯一带可训练骨干网络的，其余都是冻结嵌入或描述符；
• MOE 和 ECFP4 这两种「专家手工特征」重要性名列前茅，几十年计算化学积累的人类先验依然值钱；
• 结合亲和力（Boltz-2）和细胞表型（CLOOME、BioXMol）模态确实有贡献，证明「生物环境」信息确实派上了用场；
• 但也有反例：CLOOME 在某些配置下会拉低下游性能，作者承认「并非所有模态都适合 JEPA 式的联合预测」，模态选择仍是开放问题。

训练成本随模态数近似线性增长：10 万分子、单卡 300 epoch 的规模下，2 个模态约 9 小时，4 个约 13 小时，8 个约 27 小时。而性能随模态数持续提升——这个「加模态就涨点」的性质，正是「世界模型」叙事里最诱人的部分。

作者自己列了三条局限：重建目标没考虑模态间天然的信息不可恢复性；OOD 泛化仍是挑战；多数消融在 10 万分子子集上完成，结论能否外推到全量 469 万分子存疑。

还有几点值得冷静看待：其一，Wilcoxon 胜率输给 TabICLv2 说明这套方法尚未形成压倒性优势，「平均 MAE 最优」和「逐任务显著获胜」之间仍有距离；其二，Boltz-2 模态只覆盖了 10 万分子（9 个靶点），稀疏模态的训练信号偏弱，作者也观察到稀疏模态更难优化；其三，23 个终点全部集中在 ADMET 和小分子效力，对蛋白结合构象、选择性这些更「结构」的问题尚未涉及。

但方向本身的价值清晰：当大多数分子基础模型还在「结构即一切」的框架里打转，Mol-JEPA 把药物发现的多模态现实——实验读数、表型图像、量子化学、脱靶面板——统一进一个可扩展的潜空间预测框架，并且全部开源（代码、checkpoint 和 Hugging Face 集成都在 github.com/Boehringer-Ingelheim/mol-jepa）。

LeCun 说 JEPA 是通往世界模型的路。至少在分子这个尺度上，勃林格殷格翰把这条路修到了药物发现的门口。