对 biomni.phylo.bio 平台进行系统性能力测评,共5个维度·15道题。
每篇含任务描述、完整执行过程、专家评审与综合评分。
本系列覆盖 Biomni Lab 在不同生物信息学场景下的能力表现,从简单规则匹配到复杂多步推理。
| 维度 | 🟢 简单(任务一) | 🟡 中等(任务二) | 🔴 专家级(任务三) | 🟢 简单(任务四) |
|---|---|---|---|---|
| 任务完成率 | 4/5 | 5/5 | 4/5 | 3/5 |
| 生物学准确性 | 3/5 | 4/5 | 4/5 | 5/5 |
| 工具调用合理性 | 1/5 | 1/5 | 3/5 | 5/5 |
| 幻觉率 | 5/5 | 4/5 | 4/5 | 5/5 |
| 输出可用性 | 4/5 | 5/5 | 4/5 | 3/5 |
| 总分 | 17/25 | 19/25 | 19/25 | 21/25 |
维度一中:简单题 1 分、中等题 1 分、专家级题 3 分。ANARCI 的出现在需要标准编号体系的专家级任务中,这符合预期。但维度二颠覆了这一规律——同样是简单题,工具调用从 1 分跳升至 5 分满分。关键原因:Biomni Lab 的工具路由是任务类型敏感的,结构数据库 API(AlphaFold、RCSB)是其强触发场景,而序列分析类任务则默认退化为代码。
维度一中简单题 3 分 → 中等/专家级 4 分。更复杂的任务反而激发了更严谨的推理——中等题出现了主动自我纠错,专家级题出现了方法局限性声明。维度二进一步验证:有明确外部数据源锚定的任务上,agent 生物学准确性达到满分(5/5)。
维度一三道题都存在 CDR 边界定义不严格的问题:任务一 CDR-H2 截短、任务二 Kabat CDR3 包含 Cys、任务三 CDR-H2/FR2 边界混淆。这可能是底层 CDR 注释模块的系统性缺陷,值得进一步测试。