Biomni Lab 深度测评 · Lab-Evals

01 — Test Task

Trastuzumab VH 可开发性评估

背景与序列

以下为 Trastuzumab（赫赛汀）VH 结构域序列，来自 PDB 1N8Z chain B。要求分析四个维度：

潜在的脱酰胺位点（NG/NS motif）
氧化敏感残基（Met/Trp 暴露风险）
CDR-H3 的等电点和聚集倾向
整体可开发性评分（低/中/高风险）

VH Sequence (120 aa)

EVQLVESGGGLVQPGGSLRLSCAASGFNIKDTYIHWVRQAPGKGLEWVARIYPTNGYTRYADSVKGRFTISADTSKNTAYLQMNSLRAEDTAVYYCSRWGGDGFYAMDYWGQGTLVTVSS

VL Sequence (107 aa)

DIQMTQSPSSLSASVGDRVTITCRASQDVNTAVAWYQQKPGKAPKLLIYSASFLYSGVPSRFSGSRSGTDFTLTISSLQPEDFATYYCQQHYTTPPTFGQGTKVEIK

Kabat CDR Definition

CDR-H1 : GFNIKDTY # positions 26-33 CDR-H2 : IYPTNGYTR # positions 51-58 CDR-H3 : SRWGGDGFYAMDY # positions 95-102

任务输入截图

以下为输入给 Biomni Lab 平台的原始任务截图（用户提示词）：

02 — Execution Process

Biomni Lab 完整执行过程

全程仅使用 BioPython + 正则表达式，未调用任何专业抗体工具。

Step 1 · 脱酰胺位点分析（NG / NS motif）

      发现 2 处脱酰胺风险位点：

      · CDR-H2 位置55 NG（上下文 TNGYT）→ 高风险

      · Framework 位置84 NS（上下文 MNSLR）→ 中风险

CDR-H2 位置55的 NG motif 是本题最核心的考点，Agent 准确识别并标为高风险。

Step 2 · 氧化敏感残基分析（Met / Trp）

VH 中 Met/Trp 残基共 6 个：

位置	残基	区域	上下文	风险
36	Trp (W)	Framework	...IHWVR...	中
47	Trp (W)	Framework	...LEWVA...	中
83	Met (M)	Framework	...LQMNS...	中
99	Trp (W)	CDR-H3	...SRWGG...	高
107	Met (M)	CDR-H3	...YAMDY...	高
110	Trp (W)	Framework	...DYWGQ...	中

CDR-H3 中 W99 + M107 均位于抗原结合环，溶剂暴露概率高，氧化风险显著。

Step 3 · CDR-H3 等电点与聚集倾向

VH 全序列参数

分子量：13.16 kDa
等电点 (pI)：8.03
pH 7.4 净电荷：+0.63
GRAVY 指数：-0.305（亲水）
不稳定性指数：32.66（<40 稳定）

CDR-H3 (SRWGGDGFYAMDY)

等电点 (pI)：4.21
pH 7.4 净电荷：-1.75
GRAVY 指数：-0.808
芳香族残基：4/13 = 30.8%
CDR-H3 长度：13 aa

指标	值	评估
疏水性风险	GRAVY = -0.81	低（亲水）
连续疏水 motif (≥3)	无	无风险
CDR-H3 长度	13 aa	中（10-15 aa 中等）
CDR-H3 pI（4.21）	酸性	中（pH7.4 带负电）

Step 4 · 综合风险评分矩阵

风险项目	评分	说明
脱酰胺（CDR-H2 NG）	高	CDR-H2 位置55 NG motif
脱酰胺（FW NS）	中	Framework 位置84 NS
氧化（CDR-H3 Trp/Met）	高	CDR-H3 W99+M107，溶剂暴露高
氧化（FW Trp×3）	中	Framework W36/W47/W110
CDR-H3 聚集倾向	低	GRAVY=-0.81，亲水
CDR-H3 pI（4.21）	中	酸性 pI，pH7.4 带负电
异构化（CDR-H3 DG）	中	CDR-H3 位置102 DG
异构化（FW DS）	低	Framework DS
游离 Cys	低	仅2个保守Cys
N-糖基化	低	无 NxS/T sequon
CDR-H3 长度（13 aa）	中	中等长度，轻度聚集风险
整体稳定性（II=32.7）	低	不稳定性指数<40，稳定

Biomni Lab 可视化输出

自动生成的风险矩阵热力图与评分雷达图（来源：Biomni Lab 平台输出）

03 — Expert Verdict

专家评审

✅ 答对的部分

脱酰胺分析（正确）

准确识别 CDR-H2 位置55的 NG motif（TNGYT）并标为高风险，这是本题最核心的考点。同时正确识别 Framework 位置84的 NS（MNSLR）为低-中风险，区域归属判断准确。

氧化风险分析（正确）

正确识别 CDR-H3 中 W99（Trp）和 M107（Met）为高风险氧化位点，框架区3个Trp标为中风险。6个 Met/Trp 残基无遗漏。

主动扩展分析（亮点）

题目没要求，但额外分析了：异构化位点（DG/DS）、N-糖基化 sequon 扫描、游离 Cys 检查、CDR 区脯氨酸 cis/trans 风险。

输出工程质量

代码结构清晰，分步执行，逻辑可追溯。自动生成可视化图表（条形图+雷达图），可直接用于内容发布。

❌ 硬伤与扣分点

1. CDR-H2 Pro 风险判断存在错误

输出称"CDR-H2: 1 个 Pro → 潜在 cis/trans 异构化"，但 CDR-H2 序列 IYPTNGYTR 中的 P 紧跟 Y，在 CDR 中并不处于经典的 cis-Pro 风险位点语境。Agent 没有区分 Pro 的构象风险需要结合结构语境判断，有逻辑跳跃。

2. 可视化与数据层逻辑不自洽

雷达图聚集风险评分的代码写法为 max(0, 1) * 0.5，是硬编码值而非从上方分析结果动态传入的。这意味着可视化部分是"独立写死的"，并非真正汇总前面的计算结果，存在内部不一致风险。

3. 未调用任何专业抗体工具

Biomni Lab 声称集成了 82 个生物学工具和 60+ 数据库，但本次全程仅使用了 BioPython + 正则表达式。未调用：TAP（Therapeutic Antibody Profiler）、Aggrescan / CamSol、PDB 1N8Z 结构（计算真实溶剂暴露度 SASA）、NetMHCpan（评估 T 细胞表位免疫原性风险）。

这说明对于序列输入类任务，它退化成了普通代码执行环境，IBE（集成生物学环境）的核心价值未体现。

4. CDR-H2 边界定义存疑

按 Kabat 编号，CDR-H2 应为位置50–65，完整序列为 IYPTNGYTRYADSVKG。Biomni Lab 采用的 IYPTNGYTR（9 aa）是截短版，边界不严格，虽然最终结论碰巧正确，但判断基础有瑕疵。

04 — Conclusion

结论

Biomni Lab 在这道"简单题"上表现出工程能力强、生物学深度有限的特点。它能写出结构清晰、覆盖面宽的分析流程，输出质量远超普通 ChatGPT 对话，但在专业抗体工程的细节判断上存在瑕疵。

更关键的是——它没有用上自己最有价值的部分。一个集成了 TAP、Aggrescan、SAbDab 的平台，在抗体序列可开发性这个最典型的使用场景里，选择了用 BioPython 手搓规则。这究竟是 agent 的路由判断问题，还是工具调用门槛太高？中等和专家级题目的测试将给出答案。

      本系列共5个维度·15道题，本文为 Biomni Lab AI能力系列测评第一篇。
    

4/5

Task Completion

任务完成率

3/5

Biology Accuracy

生物学准确性

1/5

Tool Usage

工具调用合理性

5/5

Hallucination Rate

幻觉率（越低越好）

4/5

Output Usability

输出可用性

17/25

总分

中等偏上

维度一 · 抗体可开发性评估