标题党。先把结论给你:没败。但故事比"AI 赢了"复杂得多。
2 月 28 日,旧金山。一场只有一天的黑客松。9 支人类队伍,对阵 6 个全自主 LLM Agent——Claude Sonnet 4.6、Qwen 3.5 Plus、Grok 4.1 Fast、Gemini 3.1 Pro、GLM 5、GPT 5.2。任务:针对 TREM2 这个阿尔茨海默症相关的微胶质细胞受体,设计 de novo binder。
Agent 每个只收到一份 brief,然后被丢进 muni 的 sandbox。自己挑工具、自己跑 pipeline、自己排序、自己交 final 10。141 个设计交上来,top 100 进 Adaptyv 湿实验,最后 37 个真 binder。
Fisher's exact p = 0.83。pK_D 分布也几乎重叠(Mann-Whitney p = 0.75)。统计意义上没有任何差异。
排行榜前三都是人类——MRAZS 用 Mosaic 拿下第一(K_D 1.11 nM)和第二(1.3 nM),BraiNSEY 用 BindCraft 拿第三(1.9 nM)。Agent 的最好成绩是 GPT 5.2 用 PXDesign 做的,3.64 nM,排第四。最强人类比最强 Agent 紧 3 倍,但只是 3 倍。
对比一下历史:Adaptyv 第一届 EGFR(2024)hit rate 2.5%,第二轮 13.2%,今年 1 月 Nipah 9.6%。这场 TREM2 37% 是 post-AlphaFold 时代 binder 设计的新高水位线——Adaptyv 原话,这是 binder hit rate 的"摩尔定律"。
141 个设计怎么筛出 top 100 的?用的是 Boltz-2 ipSAE_d0res。但 muni 团队湿实验做完回头一算……
ipSAE 对"是不是 binder"的二分类 AUC 只有 0.65。比随机猜(0.5)强,但离 sharp classifier(0.85+)差得远。
更微妙的是,这个不准的 filter 对 Agent 砍得更狠。原始提交是 81 人类对 60 Agent,top 100 变成 65 比 35。Agent 损失了 60 个里的 42%,人类只损失 81 个里的 20%。
换句话说,在一个 AUC 0.65 的 noisy ranker 下,Agent 被砍掉了更多设计——剩下的依然能打 34.3%。这场"打平"的 bootstrap CI 是 [-14.7, +23.5],宽到能装下"Agent 其实更强"或"人类其实更强"两种结论。
这才是这场 hackathon 真正的信号。
muni 的工具菜单很长:PXDesign、BindCraft、RFDiffusion、RFPeptides、BoltzGen、AFHallucination、Foundry(RFdiffusion3)……
6 个 Agent 全部独立地选了 PXDesign。
PXDesign 占了 Agent 提交的 53%,Agent 的 top 10 binder 10 个全是 PXDesign。Claude、Qwen、Grok、Gemini、GLM、GPT——六家完全不同公司的 LLM,没有互相沟通,集体收敛到同一个工具。
为什么是 PXDesign?它确实不错——8 月刚发的 preprint,marketing 做得漂亮,声称 17–82% 的 hit rate。
Agent 可能通过 knowledge cutoff 之后的知识、muni 的工具列表、或 web search 发现它。机制不重要,结果重要:它们都看到了同一个被 marketing 得很好的最新工具,然后都用了。
序列层面也在收敛:Agent 内部 pairwise identity 中位数 28.1%,人类 22.4%(p = 0.0002)——Agent 的设计长得更像彼此。
人类这边完全不一样。冠军 MRAZS 用的 Mosaic 甚至不在 muni 官方菜单里,是自己带进来的。
同一个 PXDesign,人类用得明显更准(72.7% vs 44.4%),但完全押宝的 Agent 反而撞出了最紧的 binder。
短期不保的不是设计师,是只会跑单一 pipeline 的设计师。
这场 hackathon 真正的信号是三个同时发生的事:Agent 端到端能力已经够追平人类 hit rate;现有 in-silico filter AUC 只有 0.65,湿实验闭环才是真相;Agent 在工具选择上严重单一化。
第三点最值得警惕。当 Agent 成为科研 pipeline 的入口,谁的工具被 Agent "看见",谁就赢了。PXDesign 这次赢 Agent 投票,可能不是因为它最好,而是因为它最新、最被 marketing、最容易被 LLM 检索到。
工具厂商以后要做的不只是发 paper,还要被 LLM 训练数据收录、被 web search 排前面、被 MCP 工具描述写清楚。Agent 就是新的渠道,新的把关人。
muni 下一步在做 Adaptyv API × autoresearch-CLI 集成——Agent 设计、submit、拿 K_D、redesign。真正的 DBTL 闭环。等 Agent 能从湿实验数据学习而不是只从训练数据学习,这故事才真正开始。