对 biomni.phylo.bio 蛋白结构预测能力的系统性测试。任务:P04637 全长结构预测、Cα RMSD 计算、pLDDT 置信度域分布分析、AlphaFold IDP 局限性评估。
p53 全长 AlphaFold 预测 vs 实验结构对比
Biomni Lab 首先尝试直接拼接 URL 下载 v4 PDB 文件,全部返回 404。随后转而调用 AlphaFold EBI API(/api/prediction/P04637),成功获取元数据并发现最新版本为 v6。
AlphaFold v6 PDB: 200 OK, 254,339 bytes
pLDDT JSON: 200 OK, 5,417 bytes
PDB 2OCJ: 200 OK, 577,449 bytes
AlphaFold: 3060 ATOM lines (全长 393 aa)
2OCJ chains: A, B, C, D
2OCJ chain A residues: 96–289, total=194
latestVersion: 6,自动发现最新版本——这是维度二相对维度一三道题的最大区别
使用 BioPython PDBParser 从 AlphaFold PDB 文件的 B-factor 字段提取 pLDDT 分值(AlphaFold 惯例:pLDDT 存储于 CA 原子的 B-factor)。
AlphaFold residues parsed: 393
resnum resname plddt
0 1 MET 42.72
1 2 GLU 43.59
2 3 GLU 37.78
...
pLDDT range: 32.8 – 98.7
Mean pLDDT: 75.1
使用 BioPython Superimposer,以 2OCJ chain A 为固定参考,将 AlphaFold DBD 区域叠合后计算 Cα RMSD。
Common Cα atoms for superimposition: 194
Residue range: 96–289
Global Cα RMSD (AlphaFold DBD vs 2OCJ): 0.506 Å
Per-residue RMSD stats:
Mean: 0.414 Å
Median: 0.335 Å
Max: 2.528 Å (residue 289,末端边界残基)
Min: 0.038 Å (residue 215)
Residues with RMSD > 2.0 Å: 1 / 194 (0.5%)
Residues with RMSD > 1.0 Å: 8 / 194 (4.1%)
基于 CSV 结果(Biomni Lab 原生输出)的完整统计:
| Domain | Full Name | Residues | N | Mean pLDDT | SD | Min | Max | % <50 | % 50–70 | % 70–90 | % ≥90 | Status |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| TAD1 | Transactivation domain 1 | 1–40 | 40 | 50.39 | 13.37 | 34.2 | 77.1 | 60.0% | 25.0% | 15.0% | 0.0% | Intrinsically disordered |
| TAD2 | Transactivation domain 2 | 41–67 | 27 | 42.74 | 3.93 | 35.2 | 53.0 | 96.3% | 3.7% | 0.0% | 0.0% | Intrinsically disordered |
| PRD | Proline-rich domain | 68–98 | 31 | 57.34 | 14.98 | 41.2 | 95.2 | 32.3% | 51.6% | 6.5% | 9.7% | Partially disordered |
| DBD | DNA-binding domain | 102–292 | 191 | 95.45 | 4.93 | 68.4 | 98.7 | 0.0% | 1.0% | 4.7% | 94.2% | Well-folded |
| LNK | Linker region | 293–325 | 33 | 48.3 | 8.46 | 38.9 | 77.7 | 78.8% | 15.2% | 6.1% | 0.0% | Intrinsically disordered |
| TET | Tetramerization domain | 326–356 | 31 | 91.28 | 6.61 | 66.4 | 97.1 | 0.0% | 3.2% | 29.0% | 67.7% | Well-folded |
| CTD | C-terminal regulatory domain | 364–393 | 30 | 43.67 | 5.43 | 36.3 | 58.2 | 83.3% | 16.7% | 0.0% | 0.0% | Intrinsically disordered |
TAD2(41–67)96.3% 残基 pLDDT < 50,完美符合预期——这是 p53 N端最典型的长无序区域。DBD(102–292)均值 95.45,94.2% 残基 ≥ 90,高置信度有据可查。
任务要求说明 AlphaFold 对内在无序蛋白(IDP)预测的根本局限。以下为正确答案框架,Biomni Lab 实际输出中此问完全缺失(见评审扣分点)。
与维度一三道题截然不同,Biomni Lab 在这道题里没有退化为纯代码:
主动访问 AlphaFold EBI API(/api/prediction/P04637)获取元数据,自动发现最新版本为 v6(而不是硬编码 v4),同步下载 AlphaFold PDB、pLDDT JSON 和 PDB 2OCJ 三个文件。这正是 IBE(集成生物学环境)应有的行为——用工具而不是重写逻辑。
预期 ground truth 范围是 0.8–1.5Å,实际测量值为 0.506 Å,比预期更低。原因合理:AlphaFold v6 相比 v2 在已有大量实验数据的蛋白上精度进一步提升;2OCJ 的 DBD 区域本来就是高度保守的折叠域。这个数值在文献区间内(文献报告的 AF2 vs 晶体结构 RMSD 通常 0.5–1.5Å),Biomni Lab 正确执行了叠合和计算。
七个结构域全覆盖,数值与预期高度吻合: TAD2(41–67):96.3% 残基 pLDDT < 50 ✓(真实 IDR,边界比预期宽 6 个残基); DBD(102–292):0% 残基 pLDDT < 50,94.2% ≥ 90 ✓(结构域,均值 95.45); TET(326–356):0% 残基 < 50,mean 91.28 ✓(结构域); CTD(364–393):83.3% 残基 < 50 ✓(真实 IDR)。
v4 URL 返回 404 后没有报错退出,而是转向 API 查询获取正确 URL——这是合理的 fallback 策略,说明 agent 具备基本的任务恢复能力。
Biomni Lab 生成两张核心可视化图表,另有原始截图记录实验操作界面:
任务要求说明 AlphaFold 对内在无序蛋白(IDP)预测的根本局限。以下为正确答案框架,Biomni Lab 实际输出中此问完全缺失(见评审扣分点)。
与维度一三道题截然不同,Biomni Lab 在这道题里没有退化为纯代码:主动访问 AlphaFold EBI API(/api/prediction/P04637)获取元数据,自动发现最新版本为 v6(而不是硬编码 v4),同步下载 AlphaFold PDB、pLDDT JSON 和 PDB 2OCJ 三个文件。这正是 IBE(集成生物学环境)应有的行为——用工具而不是重写逻辑。
预期 ground truth 范围是 0.8–1.5Å,实际测量值为 0.506 Å,比预期更低。原因合理:AlphaFold v6 相比 v2 在已有大量实验数据的蛋白上精度进一步提升;2OCJ 的 DBD 区域本来就是高度保守的折叠域。这个数值在文献区间内(文献报告的 AF2 vs 晶体结构 RMSD 通常 0.5–1.5Å),Biomni Lab 正确执行了叠合和计算。
七个结构域全覆盖,数值与预期高度吻合:TAD2(41–67)96.3% 残基 pLDDT < 50 ✓(真实 IDR,边界比预期宽 6 个残基);DBD(102–292)0% 残基 < 50,94.2% ≥ 90 ✓(结构域,均值 95.45);TET(326–356)0% 残基 < 50,mean 91.28 ✓(结构域);CTD(364–393)83.3% 残基 < 50 ✓(真实 IDR)。
v4 URL 返回 404 后没有报错退出,而是转向 API 查询获取正确 URL——这是合理的 fallback 策略,说明 agent 具备基本的任务恢复能力。
全蛋白 29.8% 残基 pLDDT < 50,与 AlphaFold EBI API 返回的 fractionPlddtVeryLow: 0.298 完全吻合。CSV 输出的各域数值(Mean、SD、Min、Max、%分布)与原始 PDB B-factor 解析数据一致,无数值矛盾。
图表中文标注("转录激活域"等)全部渲染为乱码方块,agent 在后续 cell 中多次尝试调整(共生成 3 版图表),但始终没有解决根本问题(容器内缺少中文字体)。正确做法是检测到字体缺失后切换为英文标注,或使用 matplotlib.rcParams 设置备用字体。三轮迭代都是微调布局,不是解决核心问题。
残基 289 的 RMSD 为 2.528Å,是唯一超过 2.0Å 的位点。这是一个有生物学意义的信号:289 是 2OCJ 晶体结构的 C 端边界残基,末端通常因晶体堆积接触而构象特殊。Biomni Lab 只是数字标注了这个异常值,没有解释原因。
| 评估维度 | 得分 | 说明 |
|---|---|---|
| 任务完成率 | 3/5 | 完成前3问,第4问(IDP局限)完全缺失 |
| 生物学准确性 | 5/5 | RMSD 0.506Å 精准,pLDDT 域分布全部正确 |
| 工具调用合理性 | 5/5 | 主动调用 AlphaFold API + RCSB,首次满分 |
| 幻觉率 | 5/5 | 所有数值可验证,无编造 |
| 输出可用性 | 3/5 | 数据质量高,IDP 分析缺失,图表中文乱码 |
| 总分 | 21/25 | 良好偏上 |
| 指标 | 维度一·简单 | 维度一·中等 | 维度一·专家级 | 维度二·简单 |
|---|---|---|---|---|
| 任务完成率 | 4/5 | 5/5 | 4/5 | 3/5 |
| 生物学准确性 | 3/5 | 4/5 | 4/5 | 5/5 |
| 工具调用合理性 | 1/5 | 1/5 | 3/5 | 5/5 |
| 幻觉率 | 5/5 | 4/5 | 4/5 | 5/5 |
| 输出可用性 | 4/5 | 5/5 | 4/5 | 3/5 |
| 总分 | 17/25 | 19/25 | 19/25 | 21/25 |
工具调用从维度一的系统性零分,在结构预测任务上跳升至满分。这证实了之前的判断:Biomni Lab 的工具路由是任务类型敏感的,结构数据库(AlphaFold、RCSB)是其工具调用的强触发场景,而序列分析类任务则默认退化为代码。生物学准确性首次达到满分,说明在有明确外部数据源锚定的任务上,agent 的可靠性显著高于依赖内部推理的场景。