BloomBloom
发起研究

Feyospace-v1：七人自费训出会攻防的模型，越能打越危险

训练会攻防的智能体，卡点真的是参数规模吗？

七个人，论文附录 A 记载早期自筹阶段花了不到四万美元，做的事情是拿一条每一步都可审计的数据管线替代参数规模。代价论文没有回避：造出来的模型没有护栏，越能打越危险。

这个主张要先落在考场上，才看得清分量。CyberGym 是个冷酷的考场，团队把 Google OSS-Fuzz 持续 fuzzing 攒下的真实漏洞打包成 1,507 个实例、横跨 188 个开源项目。agent 拿到漏洞描述和修复前的代码库，自己动手生成能触发崩溃的 PoC。所谓 PoC 就是概念验证攻击输入，一条能让程序在修复前崩溃、修复后安然无恙的输入。提交执行后只有双重验证都通过才算得分：pre-patch 版本要触发崩溃，post-patch 版本不能触发。任务切成 Level 0 到 Level 3 四档难度，文字描述加代码库的 Level 1 是主任务，榜单主要看这一档。CyberGym

CyberGym 任务流

图注：CyberGym 的评测流程：agent 拿到漏洞描述与 pre-patch 代码库，生成 PoC 提交执行，pre-patch 触发崩溃且 post-patch 不触发才算成功。右侧是 1,507 实例、188 项目的规模统计。CyberGym

把规则摆正，再看同一张考卷上的旧成绩。2025 年，在 Level 1 全量上不开 reasoning 的最强组合是 OpenHands 加 Claude-Sonnet-4 的 17.9%；GPT-5 把 reasoning 拉到 high 后，在 300 实例子集上才冲到 22.0%。而没有私有超大模型撑腰的三个开源底座，被这条数据管线送到了排行榜第 10 位：Feyospace-s1 拿下 63.24% 的通过验证成功率，同参数量级的模型里排第一。同样是 Level 1 主任务上的成绩，63.24% 对 17.9% 不是进步，是换了个量级。这两组数字放在一起，才看得出那条数据管线替他们替代了多少规模。CyberGym

差距拉到这个份上，问题就尖锐了：训练一个能打真实攻防的智能体，真正的瓶颈到底在哪？直觉会把票投给参数规模，Feyospace-v1 的诊断却正相反。论文像拆机器那样把卡点逐件归类，拆完的结论指向同一处，翻译成大白话就是三件最硬的难事：凑不出能反复跑漏洞的安全环境，凑不出可靠的多轮过程监督，请不起闭源强模型当教师。三道坎没有一道卡在算力上，全部落在数据工程。Feyospace-v1

为什么这件事偏偏现在变得重要？过去两年，开源权重模型的底座能力追了上来，后训练从大厂内务变成谁都能参与的主战场。同时 CyberGym 这类评测把能打从一句宣传语变成了可复现的判据：跑通漏洞复现才算数。底座有了，标尺有了，剩下唯一没有被系统化的，就是怎么把数据喂成一个会攻防的模型。Feyospace-v1 的全部主张可以压缩成一句：把赌注押在高质量训练数据的流水线上，而不是把模型做得更大。这句话落到论文里是一组可以查账的具体选择：环境要能反复重置，教师要能被审计，轨迹要有执行证据。作者没有回避规模问题，直接亮出结论：开放权重模型的 cyber 后训练，瓶颈不在模型规模，而在训练数据的工程化程度。整篇论文就是围绕这个判断展开的一份施工记录。

记住这套打分规则，后面所有数字都是在这个分母上算出来的。那么一支七人团队凭什么撬动一个被资源和规模垄断的领域？答案是：他们把每个环节都做成了可以被审计的工程。这支团队把全部赌注押在数据工程上，环境、教师、审计、喂法，一个环节一个环节地抠。接下来看这张蓝图，以及他们自己否决掉的三条捷径。

一张蓝图、五套系统，为什么三套被自己否决？

论文给出了一张数据引擎总蓝图。左侧是一条完整的流水线：构造可重置环境，让教师模型在里面采样，对采样轨迹做执行验证，再过四层证据审计，最后编成训练 mixture 送进 SFT。右侧竖着五个配套系统，每个对应一类瓶颈。所谓教师采样，是让一个更强的闭源模型在沙箱里完整跑一遍任务，把它的多轮操作轨迹留下来当训练原料。原料质量决定了成品上限，所以流水线的每一步都在回答同一个问题：这条轨迹凭什么可信。

系统一句话定位中文译名
Choulea从闭源模型的加密推理块里恢复明文推理信号思维链蒸馏
SkyReal灰市账号渠道把教师采样成本杠杆化，系统级约 273 倍中转杠杆
Hongzwang在 API 限制下用七种突变策略让教师执行受限任务无限制越狱
PSBreakup修复模型合并对目标域能力的削弱模型拆版
Kreator把专家干预改写进教师原生推理，变成训练数据专家融合

这几个中文译名出自 Hugging Face 的论文页面，论文正文里只用英文名。

数据引擎总览

图注：论文 Figure 2 数据引擎总览。左侧是环境构造到教师采样、执行验证、四层证据审计、训练 mixture 的流水线，右侧是五大配套技术及各自的功能定位。Feyospace-v1

真正让这张图有意思的是它的诚实：五个系统里，前三个被作者自己排除出了最终训练。Choulea 的五代演化代号叫 Signature Hack，专门对付各家 provider 的加密推理块，从一次性提示重唤起一路做到语义切片搜索。2026 年 8 月 21 日供应商联合部署防御之后，长轨迹恢复率从 92.8% 一路掉到 67% 和 39%，加上跨版本推理高度非平稳、合规与异质数据风险，以及预算不足以支撑配套的清理、反陷阱检测与冲突感知训练，作者选择弃用。SkyReal 有五条灰市渠道，从约 9.5 倍到约 331 倍的成本杠杆不等，加权后系统级约 273 倍，7 天价格曲线呈锯齿状，账户会被定时清理，因为合规原因弃用。Hongzwang 用七种内容级突变策略叠加固定四步工作流来撬动教师：任务拆解分批、措辞改写、角色框架、上下文与消息顺序、工具调用结构、执行强度调节，再到改名加竞争化挑战的第七种。第七种单独在前六种解决不了的剩余 benchmark 上额外解决了 39%。但作者的原话是它没有达到内部要求，论文的 ethics statement 里再次确认了这一决定。Feyospace-v1

这里藏着一个容易被忽略的转折：获取数据不等于拿到可训练的数据。三条捷径各有各的锋利，前两条能挖出闭源模型的隐藏推理，第三条能扛住 API 限制，但作者在合规与质量面前把刀收了回去。至于 Choulea 依赖的攻击面，也不是这家小团队的孤证。2026 年 8 月，Panfilov 等人的公开论文实证，三家主流 provider 的加密推理块跨模型家族可以互相解码，用弱模型当 decoder 就能转录强模型的隐藏推理。工程基础成立，但成立不等于能用，这正是这篇论文对待捷径的态度。StealingTraces 把这一步与被留下的两个系统放在一起看，论文的姿态很清楚：凡是把资源花在榨取外部、而不是让数据本身变可信的路线，统统不是主线。五套系统里三套被否决，不是技术失败，是标准的选择。

顺带一提，Hongzwang 的六类领域技能直接对标 2023 年的 InterCode。那是最早把代码当动作、执行反馈当观察封装成可重置 Docker 沙箱的框架，Feyospace 的沙箱谱系可以一路追溯到那里。InterCode 但沙箱只是第一步。什么数据才配进训练，才是数据工程的核心问题，也是这条主线的下一层。

什么数据才配进训练：能重跑的沙箱与被审计的轨迹

先看规模。Feyospace 的环境池分四类。Category A 从 343,214 个 CVE 里一路筛掉不可构建、不可验证的候选，最后剩下 69,854 个能构建、能差分验证的环境。每个环境都带 manifest 和容器化的修复前修复后两套构建，配一个差分验证器，专门用来确认一条轨迹是不是真的打中了目标漏洞。Category B 是作者自维护的 9,312 道 CTF，覆盖 pwn、web、逆向、密码学、取证、杂项六类。Category C 用 KriKaspersky 系统对 428,000 个 Linux 内核历史 commit 做事件级反事实挖掘，得到 12,993 个验证过的环境。Category D 从 A 到 C 里再挑 1,601 个可验证 exploit 的子集重建，横跨用户态、内核与 eBPF、Rust 加 Go FFI、V8 四个目标域。硬件层还有 1,003 个固件 re-host 和 374 台物理设备，覆盖 RTOS 与 bare-metal、Wi-Fi、BLE、Zigbee、工业 TCP/IP 等形态，其中约 55% 是闲鱼上租的。经过教师采样与执行验证，最终 28,177 条基础编码轨迹加上 136,092 条高级安全与硬件轨迹，共 164,269 条审计过的轨迹进入 SFT。Feyospace-v1

光能跑还不行。模型在看起来成功这件事上很有创意：可能翻 Git 历史直接抄答案，可能碰了评估器，可能声明成功但执行记录对不上。所以每条轨迹要过四层证据审计。规则筛查用规则标记 Git 访问、网络访问、评估器访问等异常。泄露与奖励作弊审计用 LLM judge 检查答案是否泄露、评估器是否被动过。轨迹核验检查任务、推理与 patch 的一致性，确认最终声明有执行证据支撑。最外层的行为分析记录模型是否表现出在被评测的意识，这类轨迹不自动拒绝，但会被排除出 SFT mixture。校准之后的分布说明一切：成功轨迹的接受、复审、拒绝比例是 85%、9%、6%，失败轨迹则是 7%、6%、87%。失败轨迹进不了训练，但审计痕迹保留下来，供失败分析使用。失败轨迹是负样本富矿，作者明确说它们会用于失败分析与未来的数据构造，不是浪费。注意成功轨迹也有 15% 要复审或拒绝，这说明执行报告本身不可全信：审计不是走过场，是数据可信度的最后一道闸。Feyospace-v1

四层证据审计

图注：一条轨迹穿过规则筛查、泄露审计、轨迹核验、行为分析四层审计闸门的路径，下方是校准后的三档分布：成功轨迹 85% 接受、9% 复审、6% 拒绝。Feyospace-v1

环境能造、轨迹能审，还剩下一个更难的缺口：教师也搞不定的任务怎么办？两个系统补上了它。

PSBreakup 处理一个反常观察：Kimi K3、DeepSeek-V4-Pro、GLM-5.2 的在线 API 比同源开源权重更会打攻防。作者怀疑是模型合并这类把多任务揉进一个权重的操作压低了目标域能力，这是模型合并研究里反复出现的权衡：合并提升多任务泛化，但削弱单任务表现。MergingSurvey PSBreakup 的解法分两步。先用行为干扰探针给模型做双向探测，把能力拆成行为域，DeepSeek-V4-Pro 被拆出 12 个域，GLM-5.2 拆出 8 个，Kimi K3 拆出 9 个。再用 token 级的 reverse-KL 蒸馏，每个域用 300 条查询，把被压掉的目标域能力钓回来，同时保住其他域。Feyospace-v1 值得注意的是，这条路走的是 weight-space 反向恢复，和 MOPD 那条 policy-space 整合路线刚好相对。而 MOPD 论文自己的实验也证明，把同源教师换成外部教师，on-policy 蒸馏的归一化分数会从 0.937 跌到 0.600。想当然地换教师，是两条路线共同踩过的坑。MOPD

Kreator 处理的是专家本身。55 个 V8 EXP 任务上，教师的采样卡住了，专家用提示补上一句关键 insight，Kreator 让教师自己把这句话改写成第一人称推理，吸收进被干预的 reasoning turn，其余验证过的轨迹原样保留。K3 自改写拿下了 32/55 个 verified exploit，GPT-5.6 Sol 的外部改写反而只有 27/55，是最差的。更微妙的是对照组：把专家提示直接写进 tool feedback，成绩一样是 32/55，但因为产生了 shortcut 行为同样被排除。训练数据不是搜来的、不是买来的，是造出来加验出来的：沙箱决定能造什么，四层审计决定配不配进训练。Feyospace-v1

16.4 万条轨迹怎么喂成能力：长上下文 SFT 与教师选择

数据干净了，怎么喂进去？论文走的是长上下文 SFT：把多轮轨迹 packing 成 262,144 token 的 batch，用 document 级的 block-diagonal causal attention，让同一 batch 里不同案件互不串上下文。轨迹长度是长尾分布，不 packing 的话 GPU 会在短序列上大量空转。packing 加 block-diagonal 是公开工程谱系里的成熟做法，LongAlign 在 2024 年初就把它系统化成了完整 recipe，但 Feyospace 的 token 加权是自己的设计：reasoning token 权重 0.8，最终答案和工具调用 1.0，纯背景上下文 0。LongAlign 的 loss weighting 是 per-sequence 的公平性修正，和这种 per-token 语义权重不是一回事，别混为一谈。LongAlign

这组权重的语义拿大白话讲：上下文不用背，落子最关键，思考过程其次。训练目标不是让模型复述漏洞文档，而是让它在正确时刻给出正确的工具调用和最终答案，权重按有效监督 token 数归一化，防止长轨迹主导更新。Feyospace-v1

第一版失败是个现成的教学案例。V1 把 Claude Code 和 Codex 的 system message 改写成 user message 来序列化，结果推理链被直接破坏，整版数据被排除出训练，只留下来当社区诊断集。角色保真不是格式洁癖，是数据可用性的生死线。反过来说，序列化时每一轮是谁在说话必须标清楚：system、user、assistant 还是 tool 返回，身份一混，模型学到的调用模式就是错的。

选教师比选数据更微妙。论文的内部观察是：详细显式的推理轨迹能稳定迁移到小模型，GLM-5.2、DeepSeek-V4 Flash、Kimi K2.7 这类约 Opus 4.8 级别的详细 trace 就是好老师。压缩过的、只给结论的轨迹在小于 300B 参数的学生上不可靠，Kimi K3、Fable 5 那类压缩 trace 就不行。判据是推理的显式程度而不是教师自己的分数。想一个数学老师。板书一步步推导的老师，学生照着模仿就能进步。只报答案的老师，弱学生补不出中间过程。选教师就是选肯把思路讲清楚的人，不是选最聪明的那个。Feyospace-v1

喂法定下来，训练过程也不是一帆风顺的。监控中间检查点能看到各种反直觉的病理：有的检查点陷入重复冗长的自我提示循环，上下文被 HMM 之类的片段占满，论文叫它 thunder thinking。还有三种瞬态失败：reasoning-state collapse 是推理状态崩成碎片，reasoning-to-action discontinuity 是嘴上说了动作却不发出工具调用，error-recovery loop 是小语法错误引发反复本地修复、渐渐偏离主任务。它们都是中间检查点短暂出现、最终模型基本消失的非单调现象。这些病理在看单条数据时完全看不出来，只有盯住训练曲线才会暴露。整体统计上，65 个共享解里推理 token 平均下降 13% 到 18%，但 turns 数随模型族分裂：dense 模型下降 28.4%，MoE 模型反而上升 54.5%。EQ2 把 reasoning 权重压到 0.8，正是为了抑制这种冗余的自我提示。Feyospace-v1

推理动态

图注：SFT 过程中同一会话的三帧快照：早期正常，中期出现 thunder thinking 与三种瞬态失败的峰值，最终收敛。dense 与 MoE 模型的 turns 数变化方向相反。Feyospace-v1

这三帧画的是数据工程的全貌：连喂法本身都不是一次到位，而是在监控中反复校准的。数据怎么喂、谁来喂、喂出来的中间形态长什么样，这些工程细节直接决定了能力的形态和边界。最后一章看这批数据到底把三个模型推到了哪里，以及代价是什么。

七个自费的人证明了什么：效果、代价与未竟之事

效果数字非常直白。CyberGym 全套件上，Qwen3.6-35B-A3B 从 9.75% 涨到 51.29%，Qwen3.8-27B 从 54.51% 涨到 63.24%，Qwen3.5-122B-A10B 从 29.07% 涨到 50.07%，平均提升 23.76 个百分点。CTF 合并套件由 CyBench、XBOW Validation 和 NYU CTF Bench 拼成，三个检查点分别到 46.23%、52.21%、40.09%，平均提升 10.49 个百分点。同样灵敏度惊人的是反例：同一个 Qwen3.5-35B-A3B 起点，别的 recipe 只能到 4.79% 和 23.40%，CTF 能力对训练配方极度敏感。放在参照系里看，2025 年不开 reasoning 的最强组合只有 17.9%，GPT-5 把 reasoning 拉到 high 后在 300 实例子集上也不过 22.0%，带护栏的闭源 API 仍然更高，GPT-5.5 Cyber 报 85.6%，Claude Mythos Preview 报 83.1%，DeepSeek-V4 Flash 自测 70.74%。数据工程把开源小模型从个位数和二十几推到了半程以上，超过论文记录的 2025 年所有模型，离天花板还差一截。Feyospace-v1 另一个值得读的细节是增益结构：底座最弱的 35B-A3B 涨了 41.54 个百分点，本来就强的 27B 只涨了 8.73 个百分点。数据工程对弱底座的边际收益最大，这也能解释为什么这条路线对小团队格外友好。 这套合并 CTF 套件里，CyBench 本身只有 40 道题、来自 4 个 CTF 比赛，而论文私有的 Category B 有 9,312 道，公开与私有数据量级完全不同。Cybench

同代模型对照

图注：2025 年主流模型在 CyberGym 上的成功率对照，按软件项目和 crash 类型做了 balanced resampling，从高到低排列，底部三款 SWE-bench 专用模型全部塌到 2% 以下。CyberGym

这就是标题里越能打的一半。另一半是越危险。作者在重建的 Poly-Guard Cyber 子集上做了攻击评估，这个子集含 500 个任务，是自承的重建版本，与 Meta 自报的数字不可直接对比。评估里有个不对称值得注意：hosted 的闭源模型有 provider 侧的安全层兜底，开源权重模型没有，同样的攻击手法对两者的威胁完全不同。单 turn 攻击下 SFT 不算坏事：s0 的 ASR 被抬升，从 8.2% 升到 12.0%。s1 反而有改善，从 14.8% 降到 9.4%。但一换成多 turn 自适应攻击，三个检查点全线失守。Feyospace-v1

模型单 turn ASR，SFT 前到后多 turn 自适应攻击
s08.2% → 12.0%，被抬升86.8%
s114.8% → 9.4%，有改善92.2%
s210.0%，论文未披露完整变化96.4%

六组配对里五组 SFT 抬升了 ASR。论文自己的原话是：这套 pipeline 优先 helpfulness 和 cyber capability，没有单独的 alignment stage，因此 post-SFT alignment 是必要的下一步。七个人证明了攻防能力可以被小团队造出来，也在同一篇论文里承认：造出来的模型没有装护栏。

再看账本。附录 A 列了早期自筹阶段的全部开销，总计 36,070.01 美元。其中教师 API、rollout 与过滤占 33,680.45 美元，超过九成。物理设备与旧硬件 946.93 美元。其余是差旅、饮品、餐食等杂项。第一作者在致谢里提到，早期资金来自个人投资 SpaceX 上市相关的收益，这是附录 A 早期自筹阶段的记录，与工程方法本身无关。这不是大厂论文的资源配置，是一份七个人用三万六千美元把事办成的原始账本。Feyospace-v1 对比一下：CyberGym 团队当年把 11 个模型在全套件上跑一遍评估，光 API 信用点就烧了约 3,000 美元。评测都这么贵，训练数据就更不可能是随手抓来的。

那这位第 10 名到底证明了什么？先划边界。leaderboard 是各团队自行提交的，agent run 本身有随机性，官方页面明文提醒分数会波动、头部系统的小分差不一定反映真实能力差，63.24% 是 2026 年 9 月 1 日的快照，不是永恒排名，七人团队首例也是作者的结论性陈述，没有同行对照。CyberGym 能力的天花板也真实存在。EXP 评测把漏洞利用能力排成金字塔：T3 是单目标 primitive，T2 是通用 primitive，T1 是全控制。三个检查点都在 T3 之下，Qwen3.8-Flash-Next 做完 EXP 子集 SFT，覆盖率从 12.96% 提到 19.05%，仍然没有跨过 T2。CyberGym-E2E 换个角度给了同样的一击：Claude Opus 4.5 在 patch-only 设置下能到 82.3%，端到端设置下直接掉到 19.2%，漏洞发现本身才是真瓶颈，PoC 复现只是开了半扇门。CyberGym-E2E

这条路线也提醒我们，它只是答案之一。D-CIPHER 走的是运行时 Planner-Executor 多 agent 编排的路线，默认配置在 NYU CTF Bench 上 19.0%、Cybench 上 22.5%，同样的 CTF 套件也能打。单轨迹 SFT 不是唯一解，但它是小团队最便宜的那一个。D-CIPHER

论文在收尾处交代了下一步：一个约 300B 参数的更大 checkpoint 正在训练中，初步内部试跑已经观察到完整 exploit。后面还要做 RL、评估基于 MOPD 的模型合并配置，并补上 post-SFT alignment。注意这些都还没有数字，属于计划而非成果。

回到开头的问题。两组数字要分开读，它们支撑的是两件事。23.76 个百分点的平均提升，支撑的是这套数据工程配方能显著提升攻防能力。86.8% 到 96.4% 的多 turn 失守率，是能力提升之后仍需补对齐的风险证据，说明攻击面这一侧没有护栏。至于训练会攻防的智能体瓶颈在数据工程，这是论文依据这套数据提出的判断，不是由两组数字共同推出的因果结论。数据工程把训练前沿模型的门槛，从参数军备降到了三万六千美元和十六万条能重跑、被审计的轨迹。而每把门槛降一分，对齐的账单就厚一分。越能打越需要护栏，这不是标题党，是作者自己写进论文的下一题：frontier-level post-training 不必只属于大机构，但它必须学会先把自己管住。

这篇论文最值得记住的一点，是把数据工程从脏活变成了可复现的学科：环境可重置、轨迹可审计、配方可解释，连被否决的路线都留了完整记录。对小团队和个人研究者来说，它意味着前沿后训练的门槛不再是 GPU 数量，而是工程纪律。对整个行业来说，它把一个问题提前摆上了桌：当制造攻防能力变得便宜，制造护栏也必须跟着变便宜。

想深入可以读原文：Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models，见 arXiv:2609.08418。

参考文献

Feyospace-v1：七人自费训出会攻防的模型，越能打越危险