全球首个！
AI 生物智能体迎来
真实生物医药
过程级大考
全球首个面向真实生物医药研究场景的过程级评估框架 BiomniBench 发布——100 道源自 Nature / Cell / Science 的真题、6 个评估维度、9 个前沿基础模型 × 4 个主流 Agent Harness 全员上场。
过去一年，AI 圈诞生了一位顶级"卷王"——AI Scientist。它从只会乖巧答题的大模型做题家，快速进化为自动化科研助手（Auto Research）：自己提假设、查文献、写代码、跑实验、分析结果，甚至连论文都帮你写好。但从 demo 到应用，AI Scientist 领域正陷入一场集体尴尬：AI 做科研的时代已来，但谁会为它的研究买单？
这一次，我们把这个问题放进最难的行业场景之一：生物医药。
Phylo、红杉中国 xbench、Humanlaya Data Lab 团队，联合斯坦福、哈佛、北大和头部药企的 100 位资深专家，耗时 1000 余小时，共同构建了全球首个面向真实生物医药研究场景的过程级评估框架——BiomniBench，并让 AI 从头到尾做一遍药企的真实数据分析（BiomniBench-DA）。
- 最强 AI Scientist 实习生拿到 73.34 分（满分 100），显著高于人类实习生 40–50 分的平均线。
- 除基础模型外，智能体框架（Agent Harness）对结果的影响也很大。同一个 GPT-5.4，放在 Codex CLI 里 68.69 分，放在 Terminus-2 里只有 55.19 分——差了 13.5 分。
- AI Scientist 更快更省，单个任务平均用时 4.9–25 分钟、花 $0.92–$4.58；人类完成同样任务通常需要数小时甚至数十小时。
- AI Scientist 也偏科，不同任务类型之间的表现差距显著。
PART 01AI Scientist 实习生到底被派去做什么？
在药企，搞研究可不是那么简单——
比如：给你一组免疫治疗患者的单细胞测序数据和临床信息，你要判断某个 biomarker（生物标志物）是否值得进入下一轮实验验证。这听起来并不复杂，但实际要面对的是：数据清洗、样本筛选、统计方法、多重检验校正、生物学解释……
每一步都可能出错。
在生物学里，一个看似正确的结论可能建立在完全错误的分析过程之上——而等你发现的时候，药已经做失败了。
这句来自药企一线科学家的提示，为我们指向了一个关键问题：评价一个 AI Scientist 是否能胜任药企的工作，不能只看结果，还需要关注整个过程。
真实情况：跑通了不等于做对了
过去一段时间，AI Scientist 领域出现了大量 Benchmark，他们试图帮助我们衡量模型是否知道某篇论文、某种方法、某个基因，以及能否在知识问答中给出正确答案。
但这些 benchmark 几乎都只在评答案对不对。
BiomniBench 旨在从根本上扭转当下 benchmark 的不足，不仅关注任务的结果，更关注测试是「模型会不会真的做研究」——从数据清洗、到方法选择、到统计检验、到生物学解释，每一步都测。达到了 Agent 测试的更深一步：process-level evaluation，过程级评测。
PART 02首个考核任务 —— 生物医药数据分析
首个落地模块 BiomniBench-DA 聚焦数据分析任务（Data Analysis）——这是当前 AI Agent 在生物医学研究中最常见、也最贴近真实研发流程的使用场景。
这套 Benchmark 共 100 道题目，结合 Nature、Cell、Science 等高影响力论文的公开数据，由原论文作者或拥有 5 年以上行业经验的专家联合出题，把真实工作中常见的干扰因素和决策逻辑融入每一道题中，全面覆盖生物医药研究的 5 大疾病领域，和 17 类核心分析任务。
在测试的过程中，AI 答题需要给出完整分析轨迹，包括：读了什么数据、做了哪些清洗、为什么选某个方法、统计结果怎么样、怎么解释。然后 LLM 裁判按专家写好的评分标准（Rubric），从六个维度打分——数据处理、方法选择、统计严谨性、生物学解释、科学推理、来源可靠性。
当然，评分标准允许多条合理路径。很多生物学问题没有唯一答案，关键在于论证清晰、有据可循。Agent 不会因选择了与示例分析路径不同、但同样正确的方法而被扣分。
PART 03AI Scientist 的药企实习结果
谁是最强 AI Scientist 实习生
最强配置是 Claude Code + Opus 4.7，73.34 分。排在后面的是 Claude Code + Opus 4.6，69.83 分。第三名 Codex CLI + GPT-5.4，68.69 分。前三名里两个是 Claude Code 的配置。
作为参照，我们邀请了几位人类实习生在限定时间内作答部分题目，其平均得分在 40–50 分之间。这意味着最强的 AI Scientist 实习生表现已经超越了人类实习生平均水平。
Agent Harness 对结果的影响，与基础模型一样重要
在药企数据分析这个场景下，Agent Harness 与模型能力对结果提升同等重要。在固定基础模型的情况下，更换 Agent Harness 会显著改变得分。最明显的案例是 GPT-5.4：
在 Codex CLI 下得分为 68.69；在 Terminus-2 下仅为 55.19。
这 13.5 分的差距完全归因于 Agent Harness——超过了换一代基础模型带来的差距（Opus 4.7 vs Opus 4.6 仅 3.8 分）。
AI Scientist 更快更省
AI Scientist 单个任务平均用时 4.9–25 分钟，花 $0.92 到 $4.58；而人类完成同样的任务通常需要数小时甚至数十小时。在速度和成本上，AI 展现出一贯的优势。
对药企来说，这个进步还是很有价值的：大量探索性分析可以前置、并行化，然后丢给 AI，早期试错成本大幅降低。
AI Scientist 也"偏科"
AI Scientist 在不同任务类型之间的表现差距显著。细胞组成分析最高分拿到 91 分、突变分析 88 分。边界清晰的任务是 AI 的专长。
而 GWAS-eQTL 分析只有 45 分，通路富集 64 分。需要判断统计方法、理解生物学上下文、和重科学推理的任务，AI 就稍显乏力了。
可见 AI 擅长计算，但对结果的生物学意义和科学深度理解还比较有限。短期内"AI 算 + 人类解释"可能是最安全的协作模式。
FINAL NOTE写在最后
BiomniBench 的真正意义，不在于给生物医药 AI Scientist 排一个名次，而希望回答一个更大的问题：当 AI Scientist 试图端到端地自动化科研流程时，我们该如何判断它是否在真的做研究？
过去的 benchmark 像一场考试，给题、给答案、判对错。而 Auto Research 需要的是上岗评测，给数据、给目标、看过程、看结果、看风险。问题的关键不再是"这个模型准不准"，而是"这条分析链条，科学家敢不敢信"。
AI Scientist 的进步，来自基础模型、Agent Harness、行业知识，以及 AI 研究者与领域专家共同构建的 Verification Loop。对 AI 研究者而言，我们希望为大家打开真实的药企场景视野，了解真实任务中的难点。对生物医药从业者来说，我们也希望提供一个更贴近真实部署、并能客观了解 AI 现阶段能力的视角。
当过程被看见、当推理被验证、当每一环都可追溯，AI 与科学家之间的信任，才真正开始建立。
所以，实习结束。
如果是这样一位 AI Scientist 实习生，你会让它转正吗？