5类任务，把语言模型的回答放到真实实验面前。CellType推出的BioSimBench，将药物处理、基因敲低和免疫信号引起的细胞变化，整理成可以预测、核对和计分的测试。
模型需要回答一个具体问题：给定细胞及其受到的干预，哪些基因的表达会上升，哪些会下降？这套评测用真实实验结果，检验模型对特定细胞响应的预测。
从药物知识，走到具体细胞
理解一种药物的作用机制，与预测它在特定细胞中的影响，分别对应不同任务。CellType把评测落点放在“这个细胞会发生什么”上。模型需要结合题目给出的细胞背景，提交可与测量结果比较的基因表达预测。
官网用“同一种药物、三种细胞”的示意图解释这一目标：细胞状态进入模型，输出随细胞而变化的响应。这里的“模拟”具体指向干预后的基因表达变化。公司将其应用方向描述为探索干预组合、安排实验优先级，以及利用新测量继续改进模型。
五类任务，逐一对照真实实验
前四个赛道直接预测基因表达响应。“新药物与细胞背景”包含60个案例，留出药物、细胞系或两者；“基因敲低”包含60个案例，留出被敲低的基因；“药物响应”包含60个案例，并另设820个案例的扩展面板。
“免疫信号响应”包含27个案例，按供体留出；第五项“工具型科研智能体”包含296个任务回合，允许在预算内调查药物并获取有限测量。各赛道通过不同留出条件，考察模型面对未见实验条件时的预测表现。
官网展示了一道完整例题：在hTERT RPE-1细胞中敲低DHFR，并给出基线基因表达，要求预测哪些基因上调或下调。Claude Opus 5.5在最高推理设置下，各提交100个上调和下调基因，分别找回15个和13个实测响应基因。
这次回答的扰动特异性F1为0.101。该指标比较预测与实测响应基因的重合情况，并排除在多种干预下普遍变化的基因；官网规定，预测平均响应得零分。评分聚焦于某次干预特有的基因响应。
四项预测成绩，分别读取
总榜取四个预测赛道的平均分，科研智能体成绩单独报告。BioSimBench 1.0冻结了提示词、数据划分和评分器，官网注明评分时间为2026年10月。榜单同时标出各模型的推理设置，并报告95%自助法区间。
截至2026年11月5日访问时，官网通用模型总榜前三分别为Gemini 4 Argon、Claude Sonnet 5.5和GPT-6 Astra，平均分依次为0.184、0.160和0.159。这些数字对应四赛道平均成绩；页首展示的0.318，则是Argon在“新药物与细胞背景”单项上的分数。
CellType还公布了自家27B模型的评测结果。在“新药物与细胞背景”和“基因敲低”两项中，CellType 27B分别得到0.366和0.216，对应的最高分通用模型均为Gemini 4 Argon，分数为0.318和0.154。
在“药物响应”和“免疫信号”两项中，CellType 27B分别得到0.203和0.267。对应的最高分通用模型成绩为0.103和0.165，分别来自Gemini 4 Argon和Gemini 3.8 Flash。以上比较均为公司在相同预测面板上报告的结果。
让实验结果成为训练反馈
与评测配套的是BioSimGym，一个面向药物研发的强化学习环境。模型接收生物学任务、提交预测，系统再按实验测量返回评分。BioSimBench负责评测，BioSimGym提供训练反馈。
据BioSimGym页面，同一27B模型训练前后，在四项预测任务上的分数均有提升。按新药物与细胞背景、基因敲低、药物响应、免疫信号的顺序，成绩分别从0.218、0.111、0.087、0.120，变为0.366、0.216、0.203、0.267。
工具型科研智能体采用更接近调查过程的任务形式：搜索历史实验、运行分析，并在预算内选择测量。最终提交同时涉及基因响应和通路，评分采用任务回合奖励。官网展示的案例，将检索、核查和预测三步串联起来。
BioSimGym页面报告，CellType 27B在工具型科研任务上的回合奖励为0.191，Gemini 4 Argon为0.174。这一成绩对应独立的科研智能体评测口径，与前四项基因响应预测的F1分别呈现。
把测试延伸到其他实验室
官网另列出来自六家外部实验室的测试。场景覆盖多种癌细胞系、常见癌细胞系、卵巢癌细胞、供体来源的人免疫T细胞、类肝人细胞，以及人胚胎干细胞的基因敲低。公司表示，这些数据未用于构建BioSimGym或训练其模型。
外部实验评测采用经过机会校正的扰动特异性F1，作为单独一组结果展示。BioSimGym页面说明，训练后的模型在页面报告的外部评测中有所改善；各任务、各模型的表现分别记录。
在数据处理环节，CellType使用RAPIDS-singlecell预处理BioSimBench背后的实验数据。公司报告，相比CPU版Scanpy，整条预处理流水线加速至少4倍，单个步骤最高达到14.4倍。
模型训练使用NVIDIA NeMo RL，评测运行于NVIDIA GPU。BioSimGym也采用NeMo RL的环境接口与设计原则，为生物学任务、答案格式和评分反馈接入训练流程提供衔接。
从提交模型，到获得评测报告
参与BioSimBench，可向CellType提供模型API端点或权重。双方先确认任务与评测设置，再由公司运行留出测试，返回分赛道分数、区间和模型对照；是否公开进入榜单，由参与者选择。完整测试答案保留在公司的评分系统中。
BioSimGym则提供任务提示、答案格式、评分工具和科研智能体工具接口，并可围绕研究目标定制环境。官方将其范围设定为治疗研究与患者安全。模型预测与实验测量，构成了这套体系的反馈闭环。