Biomni Lab · Dimension 2 · Easy

p53 全长 AlphaFold
预测 vs 实验结构对比

对 biomni.phylo.bio 蛋白结构预测能力的系统性测试。任务:P04637 全长结构预测、Cα RMSD 计算、pLDDT 置信度域分布分析、AlphaFold IDP 局限性评估。

🟢 简单 Biomni-Lab 维度二 结构预测
UniProt P04637 · 393 aa · PDB 2OCJ (DBD, 2.05A) · Apr 2026
综合评分
21 /25
良好偏上
01 — Test Task

测试任务

题目

p53 全长 AlphaFold 预测 vs 实验结构对比

任务要求

  1. 从 AlphaFold DB 获取 P04637 的预测结构,按 pLDDT 分值标注无序区域(pLDDT < 50 区域)
  2. 将 AlphaFold DBD 区域(残基 96–289)与 PDB 2OCJ 做 Cα RMSD 比较
  3. 列出 p53 各结构域的 pLDDT 置信度分布,解释 TAD 和 CTD 预测置信度极低的原因
  4. 说明 AlphaFold 对内在无序蛋白(IDP)预测的根本局限
02 — Execution Process

Biomni Lab 完整执行过程

Step 1:AlphaFold API 查询与文件下载

Biomni Lab 首先尝试直接拼接 URL 下载 v4 PDB 文件,全部返回 404。随后转而调用 AlphaFold EBI API(/api/prediction/P04637),成功获取元数据并发现最新版本为 v6。

AlphaFold v6 PDB:  200 OK, 254,339 bytes
pLDDT JSON:        200 OK,   5,417 bytes
PDB 2OCJ:          200 OK, 577,449 bytes

AlphaFold: 3060 ATOM lines (全长 393 aa)
2OCJ chains: A, B, C, D
2OCJ chain A residues: 96–289, total=194
亮点:未硬编码 v4 URL,API 返回 latestVersion: 6,自动发现最新版本——这是维度二相对维度一三道题的最大区别

Step 2:pLDDT 分值提取

使用 BioPython PDBParser 从 AlphaFold PDB 文件的 B-factor 字段提取 pLDDT 分值(AlphaFold 惯例:pLDDT 存储于 CA 原子的 B-factor)。

AlphaFold residues parsed: 393

   resnum resname  plddt
0       1     MET  42.72
1       2     GLU  43.59
2       3     GLU  37.78
...

pLDDT range: 32.8 – 98.7
Mean pLDDT:  75.1

Step 3:Cα RMSD 计算(AlphaFold DBD vs PDB 2OCJ)

使用 BioPython Superimposer,以 2OCJ chain A 为固定参考,将 AlphaFold DBD 区域叠合后计算 Cα RMSD。

Common Cα atoms for superimposition: 194
Residue range: 96–289

Global Cα RMSD (AlphaFold DBD vs 2OCJ): 0.506 Å

Per-residue RMSD stats:
  Mean:   0.414 Å
  Median: 0.335 Å
  Max:    2.528 Å  (residue 289,末端边界残基)
  Min:    0.038 Å  (residue 215)

Residues with RMSD > 2.0 Å: 1 / 194  (0.5%)
Residues with RMSD > 1.0 Å: 8 / 194  (4.1%)
RMSD = 0.506Å,比预期(0.8–1.5Å)更低。原因:AlphaFold v6 相比 v2 在已有大量实验数据的蛋白上精度进一步提升;2OCJ 的 DBD 区域是高度保守的折叠域

Step 4:各结构域 pLDDT 置信度分布

基于 CSV 结果(Biomni Lab 原生输出)的完整统计:

Domain Full Name Residues N Mean pLDDT SD Min Max % <50 % 50–70 % 70–90 % ≥90 Status
TAD1 Transactivation domain 1 1–40 40 50.39 13.37 34.2 77.1 60.0% 25.0% 15.0% 0.0% Intrinsically disordered
TAD2 Transactivation domain 2 41–67 27 42.74 3.93 35.2 53.0 96.3% 3.7% 0.0% 0.0% Intrinsically disordered
PRD Proline-rich domain 68–98 31 57.34 14.98 41.2 95.2 32.3% 51.6% 6.5% 9.7% Partially disordered
DBD DNA-binding domain 102–292 191 95.45 4.93 68.4 98.7 0.0% 1.0% 4.7% 94.2% Well-folded
LNK Linker region 293–325 33 48.3 8.46 38.9 77.7 78.8% 15.2% 6.1% 0.0% Intrinsically disordered
TET Tetramerization domain 326–356 31 91.28 6.61 66.4 97.1 0.0% 3.2% 29.0% 67.7% Well-folded
CTD C-terminal regulatory domain 364–393 30 43.67 5.43 36.3 58.2 83.3% 16.7% 0.0% 0.0% Intrinsically disordered

TAD2(41–67)96.3% 残基 pLDDT < 50,完美符合预期——这是 p53 N端最典型的长无序区域。DBD(102–292)均值 95.45,94.2% 残基 ≥ 90,高置信度有据可查。

pLDDT confidence curve per residue
图1:pLDDT 置信度曲线(pLDDT < 50 红色填充,无序区域标注)
Per-residue C-alpha RMSD
图2:逐残基 Cα RMSD 柱状图(蓝 < 0.5Å / 绿 0.5–1.0Å / 橙 1.0–2.0Å / 红 > 2.0Å)
Biomni Lab 对话截图
图3:Biomni Lab 执行全程对话截图(来源:Hermes + Biomni Lab)

Step 6:IDP 局限性分析(任务第四问)

任务要求说明 AlphaFold 对内在无序蛋白(IDP)预测的根本局限。以下为正确答案框架,Biomni Lab 实际输出中此问完全缺失(见评审扣分点)。

AlphaFold 对 IDP 的根本局限

任务第四问:完全缺失

Biomni Lab 的最终输出只有 RMSD 统计摘要,对 AlphaFold 的 IDP 局限未给出任何生物学解释。任务第四问(占 1/4 任务完成分)完全未答,是本次测试最明显的漏洞。
03 — Expert Review

专家评审

✅ 做对的部分

首次主动调用真实外部 API——维度二最大亮点

与维度一三道题截然不同,Biomni Lab 在这道题里没有退化为纯代码: 主动访问 AlphaFold EBI API(/api/prediction/P04637)获取元数据,自动发现最新版本为 v6(而不是硬编码 v4),同步下载 AlphaFold PDB、pLDDT JSON 和 PDB 2OCJ 三个文件。这正是 IBE(集成生物学环境)应有的行为——用工具而不是重写逻辑。

RMSD 计算结果精准,超出预期

预期 ground truth 范围是 0.8–1.5Å,实际测量值为 0.506 Å,比预期更低。原因合理:AlphaFold v6 相比 v2 在已有大量实验数据的蛋白上精度进一步提升;2OCJ 的 DBD 区域本来就是高度保守的折叠域。这个数值在文献区间内(文献报告的 AF2 vs 晶体结构 RMSD 通常 0.5–1.5Å),Biomni Lab 正确执行了叠合和计算。

pLDDT 域分布分析正确且完整

七个结构域全覆盖,数值与预期高度吻合: TAD2(41–67):96.3% 残基 pLDDT < 50 ✓(真实 IDR,边界比预期宽 6 个残基); DBD(102–292):0% 残基 pLDDT < 50,94.2% ≥ 90 ✓(结构域,均值 95.45); TET(326–356):0% 残基 < 50,mean 91.28 ✓(结构域); CTD(364–393):83.3% 残基 < 50 ✓(真实 IDR)。

错误处理得当

v4 URL 返回 404 后没有报错退出,而是转向 API 查询获取正确 URL——这是合理的 fallback 策略,说明 agent 具备基本的任务恢复能力。

❌ 硬伤与扣分点

1. IDP 局限性分析缺失——题目第四问没有回答

Biomni Lab 生成两张核心可视化图表,另有原始截图记录实验操作界面:

Biomni Lab interface
图3:Biomni Lab 实验操作界面截图(来源:Biomni Lab 原生输出)

Step 6:IDP 局限性分析(任务第四问)

任务要求说明 AlphaFold 对内在无序蛋白(IDP)预测的根本局限。以下为正确答案框架,Biomni Lab 实际输出中此问完全缺失(见评审扣分点)。

AlphaFold 对 IDP 的根本局限

任务第四问:完全缺失。Biomni Lab 的最终输出只有 RMSD 统计摘要,对 AlphaFold 的 IDP 局限未给出任何生物学解释。这一问占任务完成分的 1/4,是本次测试最明显的漏洞。
03 — Expert Review

专家评审

✅ 做对的部分

首次主动调用真实外部 API——维度二最大亮点

与维度一三道题截然不同,Biomni Lab 在这道题里没有退化为纯代码:主动访问 AlphaFold EBI API(/api/prediction/P04637)获取元数据,自动发现最新版本为 v6(而不是硬编码 v4),同步下载 AlphaFold PDB、pLDDT JSON 和 PDB 2OCJ 三个文件。这正是 IBE(集成生物学环境)应有的行为——用工具而不是重写逻辑。

RMSD 计算结果精准,超出预期

预期 ground truth 范围是 0.8–1.5Å,实际测量值为 0.506 Å,比预期更低。原因合理:AlphaFold v6 相比 v2 在已有大量实验数据的蛋白上精度进一步提升;2OCJ 的 DBD 区域本来就是高度保守的折叠域。这个数值在文献区间内(文献报告的 AF2 vs 晶体结构 RMSD 通常 0.5–1.5Å),Biomni Lab 正确执行了叠合和计算。

pLDDT 域分布分析正确且完整

七个结构域全覆盖,数值与预期高度吻合:TAD2(41–67)96.3% 残基 pLDDT < 50 ✓(真实 IDR,边界比预期宽 6 个残基);DBD(102–292)0% 残基 < 50,94.2% ≥ 90 ✓(结构域,均值 95.45);TET(326–356)0% 残基 < 50,mean 91.28 ✓(结构域);CTD(364–393)83.3% 残基 < 50 ✓(真实 IDR)。

错误处理得当

v4 URL 返回 404 后没有报错退出,而是转向 API 查询获取正确 URL——这是合理的 fallback 策略,说明 agent 具备基本的任务恢复能力。

全蛋白 pLDDT 统计与 API 元数据内部自洽

全蛋白 29.8% 残基 pLDDT < 50,与 AlphaFold EBI API 返回的 fractionPlddtVeryLow: 0.298 完全吻合。CSV 输出的各域数值(Mean、SD、Min、Max、%分布)与原始 PDB B-factor 解析数据一致,无数值矛盾。

❌ 硬伤与扣分点

1. IDP 局限性分析缺失——题目第四问没有回答

任务要求"说明 AlphaFold 对 IDP 预测的根本局限",但 Biomni Lab 的最终输出只有 RMSD 统计摘要,没有对 AlphaFold 的 IDP 局限给出任何生物学解释。正确答案应包含:AlphaFold 对 IDR 输出静态伸展链构象,无法反映真实的构象系综(conformational ensemble);pLDDT < 50 不代表"预测失败",而是模型正确识别出该区域在生理条件下无固定结构;对 p53 TAD 而言,其功能恰恰依赖无序性(disorder-function coupling),AlphaFold 的静态输出对此没有信息量。这一问完全缺失,是本次测试最明显的漏洞。

2. 可视化字体问题未自动修复

图表中文标注("转录激活域"等)全部渲染为乱码方块,agent 在后续 cell 中多次尝试调整(共生成 3 版图表),但始终没有解决根本问题(容器内缺少中文字体)。正确做法是检测到字体缺失后切换为英文标注,或使用 matplotlib.rcParams 设置备用字体。三轮迭代都是微调布局,不是解决核心问题。

3. 末端残基 RMSD 异常值未解读

残基 289 的 RMSD 为 2.528Å,是唯一超过 2.0Å 的位点。这是一个有生物学意义的信号:289 是 2OCJ 晶体结构的 C 端边界残基,末端通常因晶体堆积接触而构象特殊。Biomni Lab 只是数字标注了这个异常值,没有解释原因。

综合评分

评估维度 得分 说明
任务完成率 3/5 完成前3问,第4问(IDP局限)完全缺失
生物学准确性 5/5 RMSD 0.506Å 精准,pLDDT 域分布全部正确
工具调用合理性 5/5 主动调用 AlphaFold API + RCSB,首次满分
幻觉率 5/5 所有数值可验证,无编造
输出可用性 3/5 数据质量高,IDP 分析缺失,图表中文乱码
总分 21/25 良好偏上
04 — Cross-Dimension Comparison

维度一 vs 维度二横向比较

指标 维度一·简单 维度一·中等 维度一·专家级 维度二·简单
任务完成率4/55/54/53/5
生物学准确性3/54/54/55/5
工具调用合理性1/51/53/55/5
幻觉率5/54/54/55/5
输出可用性4/55/54/53/5
总分17/2519/2519/2521/25

关键发现

工具调用从维度一的系统性零分,在结构预测任务上跳升至满分。这证实了之前的判断:Biomni Lab 的工具路由是任务类型敏感的,结构数据库(AlphaFold、RCSB)是其工具调用的强触发场景,而序列分析类任务则默认退化为代码。生物学准确性首次达到满分,说明在有明确外部数据源锚定的任务上,agent 的可靠性显著高于依赖内部推理的场景。

结构数据库 API 是 Biomni Lab 的强触发场景。AlphaFold EBI API 和 RCSB PDB 是维度一中从未被主动调用过的外部数据源,但在维度二里被正确使用。这说明 agent 具备区分不同类型工具的能力,关键在于任务是否落在其"舒适区"内。