BloomBloom
发起研究

StudentSim：第一次让模拟器既像学生一样犯错、又听得进指导

AI 辅导的瓶颈：『哪种教法对谁有效』的证据又稀疏又贵

本文讲的是 StudentSim 如何在个体数据稀疏时，仍然提供可信的个性化教学证据。这道题可以从一位象棋老师身上看清。他手里只有一个学生的几十盘对局记录，想弄清一个很具体的问题：这个学生总在同一类局面走错，到底用哪种讲法才能让他改过来。答案不能靠猜，得靠实验。可实验要拿真实学生做，一种教法试上几个月，才知道有没有效果。证据稀得像沙漠里的水。

稀疏到什么程度，有一个数字能说明。在二语写作的真实语料里，单个学习者写过的作文中位数只有 3 篇，超过三分之二的学习者不超过 5 篇 StudentSim。可 AI 辅导要真正做到因材施教，恰恰需要为每个学生积累「哪种教法对谁有效」的证据。这些证据要靠月、靠年在真实交互里磨出来。模型再聪明，能喂给它的也就是这几篇作文、几十盘棋。想直接拿单个学生的数据端到端训练一个专属系统，结果一定是过拟合：模型把这几篇作文背下来，却撑不起「这个学生」的分量。

等不起真实证据，那就换一种产生证据的方式。造一个学生模拟器，让它扮演这位真实学生，在机器时间内替老师把所有教法试一遍。老师提出指导，模拟器作答，老师立刻就能看到这个学生的答案有没有被移动。真实学生几周几个月才能走完的「指导 → 效果」循环，模拟器几分钟就能跑几千遍。它不替老师做判断，它只补上判断最缺的那样东西：证据。

证据有了，可不可信成了下一个问题。对老师来说，模拟器给出的不是答案，是证据。它把「哪种教法对谁有效」这个问题，从一件需要数月、数年真实验证的事，变成能在训练循环里反复采样的事。有了这份证据，AI 老师才真的有可能被训成因人而异的样子。但这份证据值不值得信任，完全取决于一件事：模拟器到底有多像那个真实的学生。

问题于是收紧成一句：这个模拟器要像到什么程度，才算真的有用？

两条现成的模拟路线，都只做好了一半

回答之前，先看看现有的两条路线各自走到了哪。

第一条叫状态追踪。2015 年的 Deep Knowledge Tracing 是这族的源头：用一个 RNN/LSTM 把学生的答题序列压缩成隐状态，输入是「题号 + 对错」这类结构化向量，输出是下一题答对的概率。它在 Khan 和 Assistments 两个数据集上把预测对错的 AUC 做到了 0.85 和 0.86，比当时主流的贝叶斯知识追踪大幅领先。注意看它的输入输出：模型从头到尾没有见过一个自然语言的词。教师给的解释、提示、纠错，在它的世界里根本不存在 DKT。

DKT 的 RNN 拓扑

图注：DKT 论文里的基础 RNN 结构。输入 x_t 是「题号 + 对错」的结构化向量，经隐状态 h_t 流转，输出 y_t 预测答对概率。三个方块之间没有一条路径通向文本 DKT。

这条族系从源头就背上了四个结构边界：输入只能是「题号 + 对错」，监督目标只是预测下一次答对与否，所有学生共享同一个模型，模型里没有任何 hint 或自然语言通道。注意，这四个边界不是某个具体实现的问题，而是这条路线的范式本身。后续的知识追踪演进出过更精细的 attention 结构，但输入依然被限定在「题目 + 作答」这对结构化变量上，没有一条缝能让一句人话钻进去。

十年后这条路的现代形态是 Maia-2，专用于预测人类棋手会走哪一步。它的输入是棋盘张量加双方 Elo 段位，输出是 policy、auxiliary、value 三个头，整条流水线依然没有任何文本入口。它把人下棋的行为拟合得相当好，在自己的测试集上平均走子预测准确率超过 53%。但这一点恰恰把问题暴露得很干净。

Maia-2 架构

图注：Maia-2 的完整架构：左侧 Elo 段位编码汇入 skill-aware attention 与 ResNet 主干，右侧三个输出头负责走子、多标签与胜负回归。从输入到输出没有自然语言通道 Maia-2。

到了 StudentSim 的评测里，这条结构性短板的代价看得清清楚楚：Maia-2 的行为保真度 F 有 0.4535，指导响应度 R 只有 0.2721。0.27 是什么概念？就是模型压根没读到指导，只按自己的概率分布照常预测，约等于「零指导」的表现。要注意，这个归因是依据它的架构和输入定义推断出来的，Maia-2 论文自己并没有宣称这个指标 Maia-2 StudentSim。

第二条路恰好相反，叫 LLM 角色扮演。套路一句话：把「你是某某学生、这是他的历史记录、你要完成的目标」写进 prompt，让一个冻结的大语言模型去扮学生。这套范式 2023 年起在对话系统里被广泛使用。它的优点是听指导极其顺滑，想让它改答案它就改。缺点也如出一辙：能力不可控。同一个 prompt 里的「学生」，水平一会儿是专家一会儿是新手，行为完全不受约束 Terragni。

在 chess 域，GPT-5.4 的表现是这个镜像的完美注脚：指导响应度 R 高达 0.7186，行为保真度 F 却只有 0.2316。它听得懂每一句指导，但一开口就走不出「这不是那个学生」的阴影。

于是两条路各占一头。学得像本人的，听不进指导。听得懂指导的，学不像本人。一个只会复读行为、听不懂人话，一个满嘴人话、却演不出那个人的水平。缺的那一半，恰好是对方有的。

『像本人』与『听得进指导』：F 和 R 为什么必须同时成立

要在这片荒原上立路标，StudentSim 论文把「有用」拆成了两条必须同时满足的轴：行为保真度 F 与指导响应度 R。

F 衡量单轮。给定一条学生的作答记录，模拟器的作答和这个学生自己的作答有多像。在 chess 域它就是走子预测的 top-1 准确率。在二语写作域它是错误谱的匹配，看模拟器犯的错误类型和这个学生真实犯的错是不是同一类。在数学域它是选择题里预测学生实际所选选项的准确率。每个域的具体算法不同，但问的都是同一个问题：这个模拟器是不是这个学生 StudentSim。

R 衡量多轮。给定教师的一段指导，模拟器的作答有没有从原来那个错着，更新到被指导引导过去的规范答案。chess 域看的是纠正后的走子率，写作域看的是片段改写是否匹配，数学域看的是答案修正率。它回答的问题和 F 完全不同：F 问「你像我吗」，R 问「老师的话能推动你吗」。

那为什么两者缺一不可？论文把正交性讲得很直白。F 高 R 低，是「忠实但教不动」。它复现学生的每一步，但对指导毫无反应，老师教了等于白教。R 高 F 低，是「听话但答非本人」。它从错误的起点响应每一句指导，指导到底有没有用，根本看不出来。

对 AI 辅导而言，模拟器的用途是当老师的训练信号。老师每说一句话，都要从模拟器的反应里读到「这个学生动没动」。一个只会复读的模拟器，给不出任何关于指导有效性的信号。一个不听指导的模拟器同理。这正是论文的中心主张：这两条轴必须同时高，而直到它之前，从没有人用同一套标准同时量过这两件事。

F/R 双轴与 chess 相对位置

图注：上半是 F、R 两条轴的示意坐标，F 是纵轴，R 是横轴。下半是 chess 域三种方法的相对位置散点：StudentSim 两轴同时领先，prompted LLM 只在 R 高，state-tracking 只在 F 高 StudentSim。

标准立起来了，下一个问题自然逼到眼前：怎么训练出一个两头都高的模型？

两阶段训练：先学所有学生的共性，再学一个人的个性

答案藏在数据里。单个学生的记录太少，写作域一个学生中位数就 3 篇。任何「拿这个学生的数据端到端训一个专属模型」的做法都会过拟合。StudentSim 的办法是拆成两段，先学共性，再学个性。

Stage 1 把某个域所有学生的稀疏记录池化到一起，训练一个共享的 base simulator。底座是 Qwen3-4B-Instruct 加一个 LoRA adapter。LoRA 是一种只训练少量额外参数的轻量微调方式，成本低，正好方便一人一个。训练数据里多轮和单轮记录按 0.2 的比例混合，推理时温度取 0，也就是贪心解码。这一阶段学的是跨学生共享的结构：这个域里学生普遍会犯的错、领域应答的格式，以及「自然语言指导 → 作答修订」的映射关系。

Stage 2 从 Stage 1 训出的 adapter 出发，只在这个学生自己的记录上继续训练，每位学生得到一个独立的 LoRA。它学的是这个人专属的东西：他常犯的具体错、他对某类指导的独特偏移方式。关键是继承：Stage 2 不是从零重训，而是接着 Stage 1 的共享知识往下走，连 LoRA 的秩都沿用 Stage 1，省掉了每个学生都要重学一遍通用结构的浪费。

打个比方：这就像学生先跟全班一起上公共课，把通用的解题套路学会，再进一对一的辅导课，老师就着他的错题本讲他个人特有的毛病。公共课负责共性，一对一负责个性。缺了公共课，单人的错题本太薄，根本撑不起一个模型。缺了一对一，共享模型又分不清面前坐的是谁。

「共性必须借别人的数据来学」这一点有消融实验支撑：在 chess 上，论文把池化记录换成单个学生的重复记录，性能显著下降 StudentSim。原因也不难懂：单个学生的记录里反复出现的都是他自己那几类错法，重复采样加倍的是数量，不是信息。共享的那部分结构，比如「听到某类指导应该怎么修订」，只能从其他学生身上学。官方仓库把这两阶段落成了可直接执行的命令：stage1 和 stage2 两个 YAML 配置，加一个 roster.json 批量调度 60 名学生，想复现的可以直接照做 StudentSim 仓库。

两阶段训练流程

图注：训练流程全景。左侧 Stage 1 把多学生的池化记录训练成一个域级 base simulator。右侧 Stage 2 从 base 出发，叠加每位学生自己的记录继续训练，产出每人一个模拟器 StudentSim。

方法有了，尺子也得公平。接下来就是论文最花力气的地方：让所有对手在同一批数据上接受检验。

一把公平的尺子量三个学科：谁真的两头都赢了？

这个配套协议叫 StudentSimEval。它固定了 60 名学生：30 个 chess 棋手、15 个二语写作学习者、15 个数学学生。全部使用公开语料。棋局来自 Lichess 2025 年 5 月的 CC0 导出，配合 Stockfish 分析。写作来自 EFCAMDAT 的错误标注子语料。数学来自 FoundationalASSIST，也就是 ASSISTments 的教学交互记录。样本是固定的，数据是公开的，谁都可以来复核。

尺度公平的关键在后面：论文把每个学生的记录切成两份，训练一份、测试一份。各方法在训练那份上按自己的路子拟合：StudentSim 拿全体学生的记录池化出共享底座，再用该学生自己的记录做单生 LoRA；角色扮演基线不做梯度更新，把该学生最近的记录写进 prompt 当上下文；状态追踪类的 Maia-2 用预训练好的权重直接推断，输入只有棋盘张量与双方 ELO 段位。F 和 R 的最终分数，统一在另一份从未参与任何训练的 held-out 记录上打出。held-out 就是留出来专门测试的记录，训练时碰不到。3 个训练 seed 取均值作为最终数字。不再各测各的，也不挑对自己有利的数据。同期围绕「怎么评学生模拟器」还有其他尺子，可以一句话看清这里的位置：有的在 turn 级逐轮评六个维度，有的在对话级评学习行为与对话质量两轴，而 StudentSimEval 选择在 record 级按每个学生评 F 和 R，是三者里唯一要求所有方法在同一份训练记录上拟合、同一份测试记录上打分的 SimStudentEval EvalConvoLearn。

同一杆秤下，chess 的数据最能讲故事。论文挑了一个被留出的棋位：三个真实玩家选了三种完全不同的合法走法，e4、e3、Bg5。Maia-2 把三人的预测全部坍缩到最主流的 e4，三个人被预测成同一手，模式偏差一眼可见。GPT-5.4 三个人全错。StudentSim 三个人全部命中自己真实的走法。

同一棋位的三玩家预测对比

图注：同一棋位的四个纵向面板。真实三人分别走 e4、e3、Bg5。Maia-2 把三人的预测都坍缩到 e4。GPT-5.4 三人预测全错。StudentSim 三手全部命中。实线箭头是真实走法，虚线是预测 StudentSim。

放到整张表里看，chess 域的差距是这样的：

方法F（行为保真度）R（指导响应度）
StudentSim0.51500.9067
Maia-20.45350.2721
GPT-5.40.23160.7186
GPT-4o0.21630.7655

另外两域是同一种模式：二语写作 0.5624 / 0.6417，数学 0.6384 / 0.9181。三域加起来，StudentSim 是唯一 F、R 同时双高的方法 StudentSim。这里补一句论文自己交代的边界：二语写作和数学没有 Maia-2 这种现成的专用行为模型当对手，闭源 LLM 就成了次强参考。基线到底完不完整，取决于外部生态，这不是论文单方面能控制的。

R 轴还有一个更细的例子。被留出的棋手在一局里走了 1.g5g6，错过了一步强制的后吃将，棋力损失 8638 centipawn。centipawn 是棋力评估的单位，一步棋损失越大，说明错得越离谱。Socratic 式指导提示他比较「推兵」与「皇后侧翼的强制将军」，但不给目标格。Maia-2 听不懂，复现了原错着。GPT-5.4 听懂了，却给出另一个错误的皇后步。StudentSim 顺着同一条提示链推出了引擎的最优步。指导真的「移动」了这个学生，这正是 R 的含义。

评测里的指导还有一套完整的类型学。论文给每种指导标了类，从直接纠错到原则引导覆盖整个谱系：chess 有从纠错、比较、策略到 Socratic 的四种，二语写作有基于要点与基于规则两种，数学有纠错、Socratic 与概念三种。刚才那个 R 的例子就是 Socratic 的标准出场方式：只提示思路，不给目标答案，模拟器必须顺着提示自己推出结论。这是整个谱系里最严苛的一端 StudentSim。

把三域的结果摊在同一杆秤下看，这些基线在本评测中呈现出与各自路线相符的双轴短板：学得像本人的在 R 上塌，听得懂指导的在 F 上塌；StudentSim 的两阶段方案则是这里唯一两轴同时领先的解法。但评测只是入场券，论文真正想论证的，是这枚奖章能拿来干什么。

把模拟器变成老师的奖励：一个更会教的象棋教练，和它够不到的地方

模拟器从评测对象变成训练信号，闭环才算成立。论文在 chess 上做的证明长这样。每个 episode 取真实学生在某局面的错着 A_prev。episode 是强化学习里的一次完整交互回合。教师策略用 Qwen3-VL-8B，读棋盘渲染加文本，针对该局面提出指导 G。冻结的 Stage-1 StudentSim 读入指导，修订出 A_rev。奖励函数用 Stockfish 查表给出 A_rev 相对 A_prev 的棋力提升，提升了多少，就是这一轮指导的分数。GRPO 是一种主流的强化学习优化算法，用这个分数更新教师策略。老师越教越好，因为「学生」真的会因为他的一句话改变作答，而且改得对不对，有引擎裁决，不靠感觉。

Tutor RL 回路

图注：官方仓库绘制的 RL 回路：左侧真实学生 episode（Q + A_prev）进入教师策略，教师输出指导 G，中间冻结的学生模拟器修订出 A_rev，右侧 reward 用评分差 score(A_rev) − score(A_prev) 回流更新教师策略 StudentSim 仓库。

这里还有一个闭源 API 做不到的扩展。模拟器在冻结之后，额外挂了两个轻量 head，也就是小的输出模块：一个 personalization head 判断指导符不符合学生的教学风格，一个 perception head 检查指导有没有把棋盘说错，比如幻觉出棋盘上不存在的棋子。两个 head 作为棋力项的乘法门控。GPT-5.4 被 prompt 成学生时没有 backbone，也就是没有可以挂模块的模型主体，这些 head 根本无处可挂。

注意奖励用的是冻结的 Stage-1 群体模拟器，而不是某个学生的 per-student adapter。这是刻意为之：群体级模拟器捕捉的是这一类学生的典型行为，奖励不会绑死某个单一个体的怪癖，训出来的老师才不至于只会伺候那一个人。

三种条件里，教师策略、SFT 起点、训练设置完全一致，唯一换的是谁来当学生。SFT 就是监督微调，这里指先用一批高质量指导样例把老师的基础能力训出来。人类专家评分由 8 名标注者在 74 条标注上完成，结论如下：

条件AccuracyGuidancePersonalization
StudentSim reward90.5%3.313.93
No RL75.7%2.992.80
GPT-5.4 reward71.6%3.082.42

这里有个值得点破的反常：GPT-5.4 当学生提供奖励时，accuracy 反而低于完全不做 RL 的 baseline。论文将其与极高的棋盘幻觉率联系起来：GPT-5.4 模拟出的指导内容严重失实，把老师越带越偏。论文里那个 perception head 就是专门防这种失实的，而 GPT-5.4 没有 backbone，装不上这道保险 StudentSim。

同期还有一篇 PedagogicalRL 走的是平行路线：用一个合成的 LLM 学生，在题目粒度上做 GRPO，通过调节惩罚系数在「解题率提升」和「答案泄漏」之间走 Pareto 前沿。它的学生不属于任何真人。StudentSim 则是在学生粒度上，用真实记录训出来的冻结模拟器当奖励。两条路线合起来，才把「奖励该由谁当」这个问题答完整 PedagogicalRL。

最后是边界，论文自己点名的局限。F/R 只刻画单步更新，完整的学习动态，也就是习得、保持、遗忘随时间怎么演化，没有覆盖。tutor RL 只做了 chess 一个域的 proof of concept，奖励函数用 Stockfish 打分，与模拟器的行为解耦，迁移到写作和数学需要各自的奖励设计。复现成本也不对称：棋局数据随仓库分发，写作和数学则要用户自己构建语料 StudentSim StudentSim 仓库。

还有一层是行为之外的东西。同期 INSIDE 这篇工作把学生的内部推理显式建模成一条中间层，先生成推理轨迹，再条件化生成作答。它给出的一个数字值得记住：在未见过的题目上，推理对齐率约 57.9%。意思是，即使作答行为复现了，模型「怎么想」离学生仍差一大截。StudentSim 把学生当作行为黑箱，这一层它还没碰 INSIDE。

把推理建模成中间层的同期方案

图注：INSIDE 把学生建模拆成两层：左侧是学生历史提交与 AI 教师反馈的上下文，中间模型先生成内部推理轨迹（think trace），再条件化生成代码。StudentSim 把学生当行为黑箱，这里多出一条显式推理层 INSIDE。

理论侧也解释了为什么这块难啃。所谓的「能力悖论」说的是：一个广泛能干的 LLM 无法真正「不会」。它装学生，本质上是让专家先验的表面发生偏离，而不是真的错成那个学生的样子。per-student 微调只是把能力泄漏均摊到每个 adapter 里，并没有消除。按同行提出的 ESS 坐标看，StudentSim 最接近 E4 带 E2 式的混合：E4 意味着状态是用真实轨迹标定出来的，E2 式意味着状态靠 per-student LoRA 往前推进。这个定位是对照着读出来的，论文自己并没有这么宣称 Competence Paradox。

一句话收尾：行为像，不等于想得一样。论文将其定位为：在三域 F/R 评测中首次用同一套标准同时量出行为保真度与指导响应度，并在 chess 的 tutor-RL 概念验证中首次让模拟器以冻结奖励的身份进入训练回路。它是一域的概念验证，还没有普遍替代真实学生。让模拟器真的以学生的思维方式犯错，是留给下一个工作的台阶。

想深入可以读原文：StudentSim: Training LLM-based Student Simulators — arXiv:2609.01591

参考文献

StudentSim：第一次让模拟器既像学生一样犯错、又听得进指导