四个 AI 折同一批
蛋白,谁在虚张声势?

从 CAMEO 一年存档中选 50 个新蛋白结构,把 Chai-1Boltz-2ESMCFold2ESMCFold2-Fast 四个开源模型 HPC 服务放同一条起跑线上,比精度、速度、失败率、和最关键的 —— 置信度校准。

50 个 CAMEO 新靶点 2024.04 – 2025.04 4 个开源模型 200 次预测 DockQ · TM · lDDT · ECE
Chai-1 Boltz-2 ESMCFold2-Fast ESMCFold2
一眼看结论

四个维度,四个冠军

没有全能选手。综合表现、精度上限、速度、诚实度——四个维度分别属于不同的模型。

综合冠军
Chai-1
94% 成功率 · TM=0.770 · ECE=0.026
唯一同时精度和校准都好的模型
精度冠军
Boltz-2
lDDT=0.909 · RMSD=1.91 Å
成功时最准,但失败率 26%
速度冠军
ESMCFold2-Fast
50 秒/靶 · 比 Chai-1 快 6 倍
大蛋白 OOM 是硬伤
最"诚实"
谁都没虚张
4 个模型 bluffing index 全为负
但 ESMCFold2 系列谦虚得不够精准
为什么不是"五个 AI"? 原本计划包含 AlphaFold 2,但 HPC 平台 12 小时单 job 上限内 jackhmmer MSA 步骤无法完成 30 个单体靶点。两次尝试(一次全批 30 靶、一次分批 15 靶)都在超时后被强制终止,没有部分产出。因此本报告最终采用 4 模型对比。
总排行榜

换个指标,冠军就变

切换不同的评价指标看看:TM-score 上 Chai-1/Boltz-2 打平,但 lDDT / RMSD 上 Boltz-2 领先,成功率上 Chai-1 遥遥领先。

说明:TM-score/lDDT 越高越好,范围 0–1;RMSD 越低越好,单位 Å;成功率 = success / 50。 条形上的数字是均值 ± 标准差(RMSD 除外)。
分类别

多聚体是所有人的软肋

小型单体靶点四个模型都能搞定;一到多聚体,ESMCFold2 逐链独立折叠的策略立刻露馅——TM-score 掉到 0.36。

说明:5 类靶点 × 4 模型,条形高度 = 该类别成功预测的均值。灰条 = 失败率。
失败率

谁的成功率最高?

Chai-1 通过 MSA 服务器几乎不失败(6%);Boltz-2 和 ESMCFold2 因大蛋白 OOM 和 MSA 服务器超时,失败率都超 25%。

失败原因:ESMCFold2 系列 = GPU OOM (>400 aa/链);Boltz-2 = MSA 服务器超时 + 大蛋白 OOM;Chai-1 仅 3 个失败(8J4I_A 6 链同源多聚体、8QLH_A 1250aa、8SUF_A 1047aa 异源复合物)。
置信度校准

谁在虚张声势?没有。

逐残基比对 pLDDT vs 实测 lDDT:完美校准的模型应该在对角线上。Chai-1 最贴对角线(ECE=0.026),ESMCFold2 偏差最大(ECE=0.091)。 但四个模型的虚张声势指数(mean pLDDT − mean lDDT)全为负——它们都在略微谦虚。

可靠性图 · pLDDT vs 实际 lDDT

说明:把预测的 pLDDT 分 10 bins,横轴取每 bin 的平均 pLDDT,纵轴取实际 lDDT。虚线是完美校准的对角线。
圆圈大小 ∝ 该 bin 内的残基数。

ECE (校准误差)

越接近 0 越好。加权平均了每 bin 的 |pLDDT − lDDT|。

虚张声势指数

正 = 高估自己;负 = 谦虚。四个模型全为负。
复合物界面

ESMCFold2 完全不建模链间界面

在 20 个复合物靶点上计算 DockQ(0–1,>0.23 = 可接受,>0.49 = 高质量): Boltz-2 和 Chai-1 打平在 0.30 附近,ESMCFold2 系列跌到 0.05——因为它逐链独立折叠,根本不建模界面。

平均 DockQ · 同源多聚体 vs 异源复合物

说明:每个模型有 3 组条 —— 总体、同源、异源。括号内是有效预测数。

每个复合物靶点上的 DockQ 分数

亮点:Boltz-2 在 8JJA_A 达到 0.946(同源二聚体),Chai-1 在 8B8I_A 达到 0.875(异源复合物)。 共同盲点:所有模型在 8J71_A 上 DockQ=0(界面完全错),8HJP_A 和 8QLH_A 也几乎归零。
速度 vs 精度

没有免费的午餐

横轴时间对数刻度:ESMCFold2-Fast 快得离谱(50s),但精度掉一档;Chai-1 是最佳平衡点,比 Boltz-2 快 20% 且成功率更高。

说明:横轴 = 平均每靶点耗时(秒,对数刻度),纵轴 = TM-score 均值,气泡大小 ∝ 成功率。
五个关键发现

最后总结

① 综合冠军是 Chai-1

94% 成功率 + TM=0.770 + 最好的校准(ECE=0.026)。是唯一在"精度、成功率、校准"三项都排前两名的模型。

② Boltz-2 精度上限最高

成功时 lDDT=0.909、RMSD=1.91 Å 都是最佳。但 26% 失败率把它拖出综合第一。

③ ESMCFold2-Fast 快得离谱

50 秒/靶,比 Chai-1 快 6 倍。但 >400aa/链就 OOM,且完全不建模复合物界面(DockQ<0.06)。

④ 无人虚张声势

4 个模型 bluffing index 全为负(略微谦虚)。但 ESMCFold2 系列的 ECE 是 Chai-1 的 3 倍——"谦虚的方式"不精准。

⑤ 多聚体是共同软肋

同源多聚体 TM 普遍 <0.62。DockQ 上 ESMCFold2 <0.06,说明 MSA-free 单链模型天生不适合复合物。

局限性

诚实地说说做不到的事

AlphaFold 2 缺席

AF2 jackhmmer MSA 步骤每靶需 5–40 分钟,30 个单体靶点在 HPC 平台 12 小时单 job 上限内跑不完。 两次尝试(全批和分批)都超时且无部分产出。要补齐 AF2 数据需要更长任务窗口或专门的 MSA 预算。

ESMCFold2 训练数据风险

ESMCFold2 存在 Cutoff2025 变体,2025 年后的靶点可能存在训练数据重叠。本报告 50 个靶点跨越 2024.04–2025.04,后期靶点对 ESMCFold2 有潜在 contamination risk。

GPU 并发限制

HPC 平台限制 1 个并发 GPU job,所有模型串行执行。ESMCFold2-Fast 的 19 个 OOM 靶点和 Boltz-2 的 8 个失败靶点未能补跑。

单采样,非最佳精度

Chai-1 使用 --num-diffn-samples 1(为公平比速度),多采样可显著提升精度。 Boltz-2 使用默认 300 diffusion steps。