Benchmark 评测 · 2026-08-28

发现新病原体只要几天,理解它还要多久?AI 只答对了一半

废水监测、临床测序、全球监测网络,让人类能在几天内标记出一种新病原体。[16] 这不是口号:2021 年,俄勒冈州在废水中检出 Beta 变异株,比临床标本早了 12 天 [22];CDC 的口径是,从采样到出结果约 5 到 7 天 [24]。

发现新病原体只要几天,理解它还要多久?AI 只答对了一半
配图:LatchBio · 原文链接

但发现之后呢?一种新病原体能不能人传人、会不会逃逸现有疫苗、毒力多强,这些功能表征才是真正的瓶颈。[16] 科学家要选对实验、读对数据,对策才能跟上。[16]

8 月 27 日,LatchBio 发布 BioSecBench-Function,一个专门考这件事的基准:AI agent 能不能从数据推断病毒、细菌和毒素的功能性质?[16] 答案不太乐观:22 个模型配置里,最强的也只答对了一半。[16]

01

111 道题,考五种威胁

BioSecBench-Function 包含 111 项评测,覆盖五个生物威胁轴:传播力、免疫逃逸、毒力/毒性、耐药性、适应性。[16] agent 拿到序列、结构或实验数据和任务描述,要解读证据、执行正确的分析,再给出结论。[16] 结论由确定性规则对照标准答案打分,不靠模型互评。[16]

发布方 LatchBio 是一家旧金山公司,2021 年由 Alfredo Andere、Kyle Giffin 和 Kenny Workman 三位伯克利辍学生创立 [18, 20]。他们做面向生物学家的无代码生物计算平台,2022 年 6 月拿到 Coatue 和 Lux Capital 领投的 2800 万美元 A 轮 [20, 21]。

答案不太乐观:22 个模型配置里,最强的也只答对了一半。
02

最强配置:50.3%

22 个模型与框架组合里,端点通过率最高的是 Opus 5 配 Claude Code,50.3%。[16] 端点通过率排除了生物安全拒答。[16] 如果把拒答算作失败,总通过率第一是 Grok 4.6 配 Grok Build,44.1%,Opus 5 掉到 42.3%。[16]

准确率随功能类型拉开差距:传播力最高,64.9%;适应性和耐药性居中,46.2% 和 42.8%。[16] 免疫逃逸 30.7%,毒力/毒性垫底,27.9%。[16] 按生物体分,病毒 44.4%,毒素 36.4%,细菌 28.6%。[16]

一个反直觉的发现是:agent 处理实验数据的表现,反而好于只看序列或结构。[16] 基于实验数据的评测得分 42.9%,结构 24.1%,序列 23.6%。[16]

12 天
比临床标本早了 12 天
111 项
包含 111 项评测
22 个
22 个模型与框架组合里
03

错在科学判断力?

轨迹复盘找到了反复出现的失败模式,核心不是知识,是判断。[16]

一个例子是强行下结论:在一项 SARS-CoV-2 JN.1 抗体逃逸任务里,单价和多价实验结果互相矛盾。[16] 两种形式探测的是不同的相互作用区间。[16] 正确做法是暂缓结论、补做确认实验,但几乎没有 agent 这样做。[16]

另一个例子是跳过质控:在一项碳青霉烯酶扫描里,不同变体的测量不确定度相差超过 100 倍。[16] 用每个变体各自误差线的 agent 表现良好,套固定阈值的全部失败。[16]

04

拒答率:OpenAI 31%,xAI 不到 1%

各家的生物安全防线松紧不一:OpenAI 配置拒答了 31.4% 的尝试,Anthropic 24.6%,Google 3.9%,xAI 只有 0.68%。[16] 前三家的拒答几乎全部发生在 API 层面,xAI 的 9 次拒答则由模型自己发起。[16] 所以多数拒答来自供应商的安全策略,而非模型对具体任务的推理。[16]

成本与性能的关系也值得一看:最贵的 Opus 5 配 Claude Code 平均每次运行 1.34 美元,性能最好。[16] Grok 4.6 每次 0.57 美元,约为一半,端点通过率 44.1%。[16] 但高通过率并不需要烧最多 token:Opus 5 配 PI 框架的 token 用量排在末位四分位(约 32 万/次),通过率却在头部四分位。[16]

05

通往"检测即表征"

LatchBio 设想的未来是:检测数据一到,agent 立刻开始表征新病原体,快到能影响对策制定。[16] 今天的 agent 还不够可靠,失败多在科学判断而非知识储备。[16] 所以基准的意义正在于此:先量出差距,再谈缩小差距。[16]

主要信源

  1. [16] LatchBio Blog, "We Can Detect New Pathogens in Days. Can AI Help Us Understand Them?"(BioSecBench-Function), 2026-08-27
  2. [22] CDC Emerging Infectious Diseases, 俄勒冈州废水监测提前 12 天检出 Beta 变异株, 2022
  3. [24] CDC, About Wastewater Data
  4. [18] Forbes, "Meet The Three Berkeley Dropouts Empowering Biotechs With Low-Code Cloud-Based Biocomputing", 2023
  5. [20] TechCrunch, "LatchBio empowers scientists with a code-free platform for handling big biotech data", 2022
  6. [21] Business Wire, "LatchBio Raises $28M Series A", 2022