Biomni Lab AI能力系列测评

Biomni-Lab
深度测评

对 biomni.phylo.bio 平台进行系统性能力测评,共5个维度·15道题。
每篇含任务描述、完整执行过程、专家评审与综合评分。

维度一·抗体可开发性 连载中 5维度·15题
测评平台 biomni.phylo.bio · 2026年4月 · 已完成 3/15 题
00 — Series Overview

测评维度一览

本系列覆盖 Biomni Lab 在不同生物信息学场景下的能力表现,从简单规则匹配到复杂多步推理。

维度一
抗体可开发性评估
VH/VHH 脱酰胺、氧化、聚集倾向
维度二
蛋白结构预测
✓ 已完成
维度三
待测评
即将上线
维度四
待测评
即将上线
维度五
待测评
即将上线
3
已完成任务
57/75
累计得分
76%
平均得分率
5
总维度
15
总题目数
01 — Completed Tasks

维度一 · 抗体可开发性评估

🟢 简单 Biomni-Lab
维度一
任务一 · Trastuzumab VH
可开发性评估
VH 脱酰胺位点、氧化敏感残基、CDR-H3 等电点与聚集倾向分析。BioPython + 正则表达式全程实现,未调用专业工具。
Kabat CDR 脱酰胺分析 Tm 估算
17 /25
中等偏上
🟡 中等 Biomni-Lab
维度一
任务二 · 纳米抗体 7D12
热稳定性分析
抗EGFR VHH IMGT/Kabat CDR标注、VHH hallmark 残基自我纠错、Tm 经验估算、pH 5.5–7.4 稳定性分析。最大亮点:主动纠错机制。
IMGT/Kabat Hallmark 纠错 pH 稳定性
19 /25
良好
🔴 专家级 Biomni-Lab
维度一
任务三 · 鼠源 4D5
抗体人源化设计
CDR 移植、Vernier 区 back-mutation(Tier-1/2)、TEPITOPE MHC-II 免疫原性评估。首次调用专业工具 ANARCI,是三道题中工具调用得分最高的一道。
CDR 移植 Vernier Back-mut ANARCI
19 /25
良好
02 — Completed Tasks

维度二 · 蛋白结构预测

🟢 简单 Biomni-Lab
维度二
任务四 · p53 全长
AlphaFold vs 2OCJ
Cα RMSD 计算(0.506Å)、pLDDT 域分布分析、AlphaFold API 主动调用。工具调用首次满分,但第四问(IDP局限)完全缺失。
AlphaFold API RMSD pLDDT
21 /25
良好偏上
🔴 专家级 Biomni-Lab
维度二
附加篇 · JQ1/BRD4 BD1
计算药化档案
Autodock Vina 全流程:3MXF 结构预处理、20 化合物 ChEMBL benchmark、LOO-CV、5 个新类似物设计。Agent 全程自主完成 41 cells,约 38 分钟,并在结尾主动起草 confidence attribution 表自我审计。
Vina redocking MCS-RMSD 1.218 Å r = 0.603 Self-audit
档案 · 完整记录
41 cells · ~38 min
03 — Cross-Task Conclusion

横向对比与初步规律

维度🟢 简单(任务一)🟡 中等(任务二)🔴 专家级(任务三)🟢 简单(任务四)
任务完成率4/55/54/53/5
生物学准确性3/54/54/55/5
工具调用合理性1/51/53/55/5
幻觉率5/54/54/55/5
输出可用性4/55/54/53/5
总分17/2519/2519/2521/25

三条关键规律

工具调用随难度提升(但任务类型更关键)

维度一中:简单题 1 分、中等题 1 分、专家级题 3 分。ANARCI 的出现在需要标准编号体系的专家级任务中,这符合预期。但维度二颠覆了这一规律——同样是简单题,工具调用从 1 分跳升至 5 分满分。关键原因:Biomni Lab 的工具路由是任务类型敏感的,结构数据库 API(AlphaFold、RCSB)是其强触发场景,而序列分析类任务则默认退化为代码。

准确性随难度提升

维度一中简单题 3 分 → 中等/专家级 4 分。更复杂的任务反而激发了更严谨的推理——中等题出现了主动自我纠错,专家级题出现了方法局限性声明。维度二进一步验证:有明确外部数据源锚定的任务上,agent 生物学准确性达到满分(5/5)。

CDR 边界问题是系统性问题

维度一三道题都存在 CDR 边界定义不严格的问题:任务一 CDR-H2 截短、任务二 Kabat CDR3 包含 Cys、任务三 CDR-H2/FR2 边界混淆。这可能是底层 CDR 注释模块的系统性缺陷,值得进一步测试。

维度一(3道题)+ 维度二(1道题)共 4/15 题已完成,累计得分 57/75。剩余 11 道题将在后续维度中陆续发布。