BioTender · AI4Bio Frontier 2026.05 · Issue · Agents vs Humans
深度 · TREM2 Hackathon 复盘

人类一败涂地?AI Agent 杀穿湿实验,蛋白设计师饭碗不保

标题党。先把结论给你:没败。但故事比"AI 赢了"复杂得多。

Adaptyv × muni: Agents tied humans on TREM2

2 月 28 日,旧金山。一场只有一天的黑客松。9 支人类队伍,对阵 6 个全自主 LLM Agent——Claude Sonnet 4.6Qwen 3.5 PlusGrok 4.1 FastGemini 3.1 ProGLM 5GPT 5.2。任务:针对 TREM2 这个阿尔茨海默症相关的微胶质细胞受体,设计 de novo binder。

Hackathon venue in San Francisco
San Francisco · Feb 28, 2026 · 16 teams · one day

Agent 每个只收到一份 brief,然后被丢进 muni 的 sandbox。自己挑工具、自己跑 pipeline、自己排序、自己交 final 10。141 个设计交上来,top 100 进 Adaptyv 湿实验,最后 37 个真 binder

第一幕 / IAgent 追平了人类

Humans
38.5%
25 / 65 binders
Agents
34.3%
12 / 35 binders

Fisher's exact p = 0.83。pK_D 分布也几乎重叠(Mann-Whitney p = 0.75)。统计意义上没有任何差异

Top 5 leaderboard - 2 LLMs ranked top 5
排行榜前五 · 人类拿前三,Agent 占 4、5 名

排行榜前三都是人类——MRAZS 用 Mosaic 拿下第一(K_D 1.11 nM)和第二(1.3 nM),BraiNSEY 用 BindCraft 拿第三(1.9 nM)。Agent 的最好成绩是 GPT 5.2 用 PXDesign 做的,3.64 nM,排第四。最强人类比最强 Agent 紧 3 倍,但只是 3 倍

对比一下历史:Adaptyv 第一届 EGFR(2024)hit rate 2.5%,第二轮 13.2%,今年 1 月 Nipah 9.6%。这场 TREM2 37% 是 post-AlphaFold 时代 binder 设计的新高水位线——Adaptyv 原话,这是 binder hit rate 的"摩尔定律"。

Adaptyv EGFR Round 2 results
对比:Adaptyv EGFR Round 2 · 400 个 binder 大部分还在弱结合区

第二幕 / II但"打平"建立在一个不太准的评分上

141 个设计怎么筛出 top 100 的?用的是 Boltz-2 ipSAE_d0res。但 muni 团队湿实验做完回头一算……

ipSAE separates binders from non-binders at AUC 0.65
muni 团队的复盘原文 · "ok-but-not-great"

ipSAE 对"是不是 binder"的二分类 AUC 只有 0.65。比随机猜(0.5)强,但离 sharp classifier(0.85+)差得远。

Binders score higher on ipSAE but distributions overlap heavily
Binder 和非 binder 的 ipSAE 分布严重重叠

更微妙的是,这个不准的 filter 对 Agent 砍得更狠。原始提交是 81 人类对 60 Agent,top 100 变成 65 比 35。Agent 损失了 60 个里的 42%,人类只损失 81 个里的 20%

换句话说,在一个 AUC 0.65 的 noisy ranker 下,Agent 被砍掉了更多设计——剩下的依然能打 34.3%。这场"打平"的 bootstrap CI 是 [-14.7, +23.5],宽到能装下"Agent 其实更强"或"人类其实更强"两种结论。

如果真要押注,数据其实有点偏向 Agent——只是统计上不敢说而已。

第三幕 / III最让人后背一凉的:6 个 Agent,集体撞车同一个工具

这才是这场 hackathon 真正的信号。

muni 的工具菜单很长:PXDesignBindCraftRFDiffusionRFPeptidesBoltzGenAFHallucinationFoundry(RFdiffusion3)……

6 个 Agent 全部独立地选了 PXDesign

Six agents converged on one tool - PXDesign
Six agents converged on one tool · 六家公司的 LLM 做了同一个选择

PXDesign 占了 Agent 提交的 53%,Agent 的 top 10 binder 10 个全是 PXDesign。Claude、Qwen、Grok、Gemini、GLM、GPT——六家完全不同公司的 LLM,没有互相沟通,集体收敛到同一个工具

为什么是 PXDesign?它确实不错——8 月刚发的 preprint,marketing 做得漂亮,声称 17–82% 的 hit rate。

PXDesign SOTA hit rate banner
PXDesign 自己的宣传图 · 17–82% SOTA hit rate · "Now Open-Source!"

Agent 可能通过 knowledge cutoff 之后的知识、muni 的工具列表、或 web search 发现它。机制不重要,结果重要:它们都看到了同一个被 marketing 得很好的最新工具,然后都用了

序列层面也在收敛:Agent 内部 pairwise identity 中位数 28.1%,人类 22.4%p = 0.0002)——Agent 的设计长得更像彼此。

人类这边完全不一样。冠军 MRAZS 用的 Mosaic 甚至不在 muni 官方菜单里,是自己带进来的。

Tool-level hit rate breakdown
按工具拆分 · Mosaic 6 投 4 中,hit rate 66.7%

同一个 PXDesign,人类用得明显更准(72.7% vs 44.4%),但完全押宝的 Agent 反而撞出了最紧的 binder

PXDesign by cohort: agents vs humans
PXDesign · 同一个工具两种结局
Agent 是用蛮力撞出 3.64 nM,人类是用判断力造出 1.11 nM。

尾声 / Coda那"蛋白设计师饭碗不保"吗?

短期不保的不是设计师,是只会跑单一 pipeline 的设计师

这场 hackathon 真正的信号是三个同时发生的事:Agent 端到端能力已经够追平人类 hit rate;现有 in-silico filter AUC 只有 0.65,湿实验闭环才是真相;Agent 在工具选择上严重单一化

第三点最值得警惕。当 Agent 成为科研 pipeline 的入口,谁的工具被 Agent "看见",谁就赢了。PXDesign 这次赢 Agent 投票,可能不是因为它最好,而是因为它最新、最被 marketing、最容易被 LLM 检索到。

工具厂商以后要做的不只是发 paper,还要被 LLM 训练数据收录、被 web search 排前面、被 MCP 工具描述写清楚。Agent 就是新的渠道,新的把关人。

muni - Where molecules meet agents
muni · Where molecules meet agents

muni 下一步在做 Adaptyv API × autoresearch-CLI 集成——Agent 设计、submit、拿 K_D、redesign。真正的 DBTL 闭环。等 Agent 能从湿实验数据学习而不是只从训练数据学习,这故事才真正开始

设计师的饭碗保不保?保。
但端着饭碗的姿势,要变了。