从 CAMEO 一年存档中选 50 个新蛋白结构,把 Chai-1、Boltz-2、ESMCFold2、ESMCFold2-Fast 四个开源模型 HPC 服务放同一条起跑线上,比精度、速度、失败率、和最关键的 —— 置信度校准。
没有全能选手。综合表现、精度上限、速度、诚实度——四个维度分别属于不同的模型。
切换不同的评价指标看看:TM-score 上 Chai-1/Boltz-2 打平,但 lDDT / RMSD 上 Boltz-2 领先,成功率上 Chai-1 遥遥领先。
小型单体靶点四个模型都能搞定;一到多聚体,ESMCFold2 逐链独立折叠的策略立刻露馅——TM-score 掉到 0.36。
Chai-1 通过 MSA 服务器几乎不失败(6%);Boltz-2 和 ESMCFold2 因大蛋白 OOM 和 MSA 服务器超时,失败率都超 25%。
逐残基比对 pLDDT vs 实测 lDDT:完美校准的模型应该在对角线上。Chai-1 最贴对角线(ECE=0.026),ESMCFold2 偏差最大(ECE=0.091)。 但四个模型的虚张声势指数(mean pLDDT − mean lDDT)全为负——它们都在略微谦虚。
在 20 个复合物靶点上计算 DockQ(0–1,>0.23 = 可接受,>0.49 = 高质量): Boltz-2 和 Chai-1 打平在 0.30 附近,ESMCFold2 系列跌到 0.05——因为它逐链独立折叠,根本不建模界面。
横轴时间对数刻度:ESMCFold2-Fast 快得离谱(50s),但精度掉一档;Chai-1 是最佳平衡点,比 Boltz-2 快 20% 且成功率更高。
94% 成功率 + TM=0.770 + 最好的校准(ECE=0.026)。是唯一在"精度、成功率、校准"三项都排前两名的模型。
成功时 lDDT=0.909、RMSD=1.91 Å 都是最佳。但 26% 失败率把它拖出综合第一。
50 秒/靶,比 Chai-1 快 6 倍。但 >400aa/链就 OOM,且完全不建模复合物界面(DockQ<0.06)。
4 个模型 bluffing index 全为负(略微谦虚)。但 ESMCFold2 系列的 ECE 是 Chai-1 的 3 倍——"谦虚的方式"不精准。
同源多聚体 TM 普遍 <0.62。DockQ 上 ESMCFold2 <0.06,说明 MSA-free 单链模型天生不适合复合物。
AF2 jackhmmer MSA 步骤每靶需 5–40 分钟,30 个单体靶点在 HPC 平台 12 小时单 job 上限内跑不完。 两次尝试(全批和分批)都超时且无部分产出。要补齐 AF2 数据需要更长任务窗口或专门的 MSA 预算。
ESMCFold2 存在 Cutoff2025 变体,2025 年后的靶点可能存在训练数据重叠。本报告 50 个靶点跨越 2024.04–2025.04,后期靶点对 ESMCFold2 有潜在 contamination risk。
HPC 平台限制 1 个并发 GPU job,所有模型串行执行。ESMCFold2-Fast 的 19 个 OOM 靶点和 Boltz-2 的 8 个失败靶点未能补跑。
Chai-1 使用 --num-diffn-samples 1(为公平比速度),多采样可显著提升精度。
Boltz-2 使用默认 300 diffusion steps。