DianShi-RxnDB:把专利里的化学反应全自动变成数据,怎么做到?

反应知识困在专利里:为什么电脑和 AI 一直用不上?

本文检验 DianShi-RxnDB 怎样把专利反应知识变成机器可用数据。全文要回答的只有这一个问题。这个问题本身就透着反常。专利是化学家公开经验的第一现场,谁和谁反应、各自用多少、什么温度、产率多少都写在里面,可这套现成的答案,机器至今用不上。

把问题放进一个具体画面里看。假设你是做逆合成(retrosynthesis)的研究者,要查一个目标分子有没有现成的合成先例。今天的做法是打开专利检索系统,一篇一篇翻,看到实验条件还得亲手核对。这件事听起来很笨,但直到 2026 年,它依然大部分靠人。与此同时 AI 已经能写代码、解数学题,可它同样帮不上忙。

为什么帮不上忙?不是缺信息,而是缺结构。专利里的知识以三种形态存在,一种是叙述实验步骤的正文文本,一种是画着分子结构式的图纸,还有一种是反应式(scheme)。它们都是写给化学家看的,机器拿到手只会抓瞎。知识没有被整理成可检索、可计算的数据,就没有任何程序能用它,这才是"电脑和 AI 用不上专利"的真正原因。

方案要拆的就是这道障碍。DianShi-RxnDB 由上海 AI 实验室与复旦、上海交大、华东师大、华东理工联合团队发布,把约 158 万篇美国与欧洲专利(USPTO 与 EPO,主要覆盖 1976 到 2025 年)全自动变成约 2,400 万条带段落级溯源的细粒度反应记录。DianShi-RxnDB 名字也透出这层野心,DianShi 就是"点石",点石成金,把散落在专利里的化学知识炼成可计算的数据。下面的图就是这篇论文的一句话全景。

图注:论文 Figure 1 的全景架构。约 1.58M 篇 USPTO/EPO 专利流入全自动抽取流水线,产出约 24M 条带溯源链接的 Reaction Instance,其中约 14.8M(61.7%)通过自动质检(qualified);顶层是面向研究者的 Web research workbench 与面向 AI Agent 的 MCP service 双接口,共享同一数据底座。DianShi-RxnDB

先记住这张图的三个数字:158 万篇专利进去,2,400 万条记录出来,其中 1,480 万条通过自动质检。再记住三个悬念:论文宣称字段级准确率 92.95%,宣称六字段全面优于商业数据库 Pistachio,还专门给 AI Agent 开了个接口。这三件事是真是假、怎么做到的,是后面五章逐一回答的问题。

此前的反应数据库,各自差在哪一环?

反应数据库不是新东西,问题在于已有的每一条路线,都至少缺一环。论文把现有格局拆成四种代表型,先看它们各自卡在哪。

Reaxys 走的是"全而贵":Elsevier 维护、可回溯到 1771 年、专家人工深度索引,论文 Table 1 给出约 7,300 万条反应的规模。质量是天花板,但要付费订阅,而且溯源只到文献级,不给到"专利里具体哪一段"。Reaxys

Open Reaction Database(ORD)走的是"开放但慢":团队定义了漂亮且严格的反应数据 schema,鼓励社区提交、人工审核,数据和代码都是开放许可。这条路把"专家在回路里"当成原则,规模就注定上不去,比 DianShi-RxnDB 小一个数量级。ORD

Pistachio 走的是"大规模但粗":NextMove 用 LeadMine、ChemicalTagger 这类规则化文本挖掘工具链,从专利里挖出两千多万条反应,2026Q2 官方口径是超过 2,100 万条,但字段粒度粗、漏掉图像里的信息,而且同样是商业付费、没有给 AI Agent 的接口。Pistachio 它是上一代大规模自动抽取流水线的代表形态,值得看它长什么样。

图注:NextMove 官网的 Pistachio 架构图:左侧 ELN、Reaxys、专利文档三类数据源,经 LeadMine 与 Praline 进入 data mining 与 atom mapping,右侧落入 PostgreSQL 索引表和查询界面。Pistachio

USPTO-LLM 的思路最接近:用 GPT-4 系列大模型从专利里抽反应,带反应条件字段,两轮质控加 RXNMapper 终检。它是 2025 年发表的工作,证明"LLM 抽反应"可行,但规模停在约 24.7 万条,比 DianShi-RxnDB 小两个数量级,而且只覆盖文本、不读图纸。USPTO-LLM

把四种代表型放在一起,结论很干脆:没有任何一家同时做到开放免费、大规模、细粒度、段落级溯源、AI Agent 接口。这组属性在此前是互斥的。所以 DianShi-RxnDB 要填的坑不是"再做一个反应数据库",而是把此前没有任何一家同时做齐的五个属性放进同一个库。代价也明摆着:靠全自动生产 2,400 万条,质量风险全压在机器身上。它凭什么敢这么做,看下一章的流水线。

全自动流水线:一条反应记录怎么从专利文本和图纸里长出来?

先看原料。起点是约 2,025 万条原始专利记录。先按 IPC 分类号过滤掉与有机化学无关的大头,剩下约 251 万条;再做站内去重和 USPTO 与 EPO 之间的跨库去重;最后剔除拿不到全文的文档,剩约 158 万篇进入流水线。越往后数字越小,说明这一轮清洗就在砍掉九成数据。而真正走到最后、关联到至少一条保留记录的专利只有约 60.8 万篇。

进入流水线后的主干是三段。第一段三路解析:专利正文的文本、图里的结构式、反应式,分别走不同的通道。第二段字段规整:把分散在叙述里的信息归拢成一个统一结构。第三段自动质检:给每条记录打上 qualified 或 not qualified 的标签。每一条输出都保留指向源专利位置的段落级溯源链接。整条生产链没有人工标注参与,这是"全自动"的真正工程含义。

图注:论文 Figure 2 的流水线。左侧是专利文本、图像、反应式三类输入,图像与反应式主要由 MinerU.Chem 处理;右侧分出 qualified 与 not passed 两类输出,两条路都保留指向源专利位置的段落级溯源链接。DianShi-RxnDB

把"全自动"拆开看,是三个开源组件各管一摊,加一条化学规则兜底。

文本侧是 DeepSeek-V3-0324,一个 2025 年 3 月发布的小版本。选它而不是别的模型,看中的是四个属性同时具备:开源权重、允许商用、能部署在国产华为昇腾 910C 上,配合 DeepLink 软件适配运行。要在千万条级的文本上跑抽取,成本合规缺一不可。DeepSeek-V3

图像和反应式交给 MinerU.Chem,化学场景适配版的 MinerU。MinerU 是上海 AI 实验室(OpenDataLab)开源的高精度 PDF 解析工具,版面、公式、表格、OCR 都能处理。专利里大量反应画在图里,文本抽取再强也读不了图,这一路是补盲。MinerU

质检侧是 RXNMapper,2021 年发表于 Science Advances 的开源原子映射工具。原子映射就是给反应配账:产物里的每个原子,都要找到它在反应物里对应的那个原子。RXNMapper 的特别之处在于它是自监督学出来的,训练时把反应式上的人工映射标签全部去掉,模型靠 attention 自己学会配对。在 49K 测试集上它达到 96.8% 匹配,修正后 99.4% 正确全映射,2021 年后就是这个任务的事实标杆,USPTO-LLM 也拿它做终检。RXNMapper

所以 1,480 万条 qualified 不是 LLM 自己给自己盖章,而是有化学规则兜底的标签:原子映射对得上、原子数守恒才放行。不通过的那 919 万条也不删,原样保留、标成 not qualified,留给用户自行判断。DianShi-RxnDB 这里要强调一句:qualified 和 not qualified 的分界是结构性质检的结果,不是随机切分数据。

人工被移出生产环节,换来的是规模可以无上限扩张,代价则是机器会出错。它靠什么让这些错误可见、可控?答案是下一套评估体系,也是第 5 章要展开的。顺带一提,论文没有公开整套流水线的端到端计算成本与耗时,这属于没说的部分。

细粒度到底细到什么程度:记录、分组与模板

论文反复强调"细粒度",到底细到什么程度?先对比一下:老式文本挖掘数据集给一张表,每行就是反应物和产物的 SMILES。SMILES 是一种用一行字符表示分子结构的线性编码,能喂给模型训练,但你要照着它复现一次实验就抓瞎。DianShi-RxnDB 的一条 Reaction Instance 记的是这样一份完整档案:谁和谁反应,反应物与产物各带角色标注;用什么条件,试剂、溶剂、催化剂、用量、温度、时间都有;结果如何,产率与实验步骤留着;依据在哪,链接回源专利的具体段落。

三层对象把这个"细"组织成可以伸缩的结构。最底层是 Reaction Instance,也就是一次文献报道的单步反应,独立保留全部条件与来源。往上一层是 Reaction Group,把"同一个反应的不同做法"聚在一起,按归一化的反应物产物组合聚类,但只聚类、不合并:每个实例的温度、产率、步骤照旧各放各的。最顶层是 Reaction Template,从合格实例里抽出的局部结构变换模式,不同底物的反应可能共享同一个模板,这正是逆合成建模时"复用经验"的关键。

图注:论文 Figure 3 的三层关系。A 面板是各带独立条件、产率、实验步骤与来源的单步反应实例,按归一化反应物产物组合聚合成 Reaction Group 而不合并实验信息;B 面板是作为局部结构变换模式的 Reaction Template,注意图中画的是简化示意,不是数据库真实存储的 SMARTS 表达式。DianShi-RxnDB

规模数字把"细"坐实:约 60.8 万篇 References、约 626 万条 Substance 记录、约 2,400 万条 Reaction Instances、约 658 万个 Reaction Groups。模板则有两套生成工具各出一份去重后的集合:LocalRetro 的约 119 万个,RDChiral 的约 186 万个,都是平台用这两套工具在库内实例上枚举、去重后得到的平台统计量,不是工具原论文的指标(论文未公开模板生成的具体输入子集)。LocalRetro

这一层的价值在于:2,400 万条既能下钻到单次实验的原始细节,又能上卷到反应模式的归纳。第 5 章的评估和第 6 章的接口,操作的都是这套结构。

凭什么说 2400 万条数据可靠:人工抽查与一场受控对比

全自动产出的数据,凭什么是可靠的?论文给了两层证据。

第一层是人工字段级评估。从 14.8M 条 qualified 实例里随机抽出 1,300 条,由具有机化学背景的评审,对 yield、reactant、reagent、catalyst、solvent 五个字段逐项核对。总共 6,500 次判断,6,042 次正确,微平均(micro-averaged)字段级准确率 92.95%。逐字段看:

字段准确率
Catalyst97.31%
Yield94.85%
Reactant94.31%
Solvent93.69%
Reagent84.62%

Reagent 最低,84.62%。论文对此的解释很实在:试剂与反应物之间的角色边界,在不同反应上下文里本身就模棱两可,评审员和机器都会犯难。论文还列了四类常见错误:后处理或纯化物料被记成试剂或溶剂;同一参与者重复出现或角色错配;括号内的压缩表达与跨段落产率漏记;跨示例、跨步骤的引用被并进一条记录。这些不是遮丑,是给"误差从哪来"做注脚。DianShi-RxnDB

第二层是跟行业最强商业库之一 Pistachio 的受控对比,基线用的是 2025Q2 版本,不是官网最新的 2026Q2。Pistachio 在同一批 100 篇美国专利上,论文先去重再比:DianShi-RxnDB 原始 4,222 条、去重后保留 4,093 条;Pistachio 原始 3,630 条、去重后只剩 2,992 条,重复率明显更高。然后从 58 篇专利里取 660 对反应,逐字段核对两边与原文的一致程度:

字段DianShi-RxnDBPistachio
Reactant97.42%94.39%
Reagent87.27%84.09%
Catalyst86.21%83.79%
Solvent95.30%93.18%
Product92.27%91.52%
Yield99.39%81.06%

六个字段全部更高,其中 Yield 差距最大,整整 18.33 个百分点。论文给出的解释值得注意:DianShi-RxnDB 会从原文里记录显式的百分比产率,而 Pistachio 在原文没写百分比时,会靠质量和化学计量去推断。所以这个优势不叫"抽得更多",而叫"对不同写法更忠实"。

但这套证据的边界必须交代清楚,论文自己也承认。92.95% 只覆盖 qualified 子集的五个字段,不覆盖未评估字段,比如温度、时间、实验步骤;不覆盖 not qualified 的 919 万条;更不代表召回率,被漏掉的反应根本不会出现在抽样里。换句话说,这是"标尺",不是"保证书"。怎么用它,取决于你把哪几个字段当真。

给研究者一个 Web 工作台,给 AI 一个 MCP,以及它没解决的

数据造出来了,给谁用?论文给了两个互补的入口,其中一个需要先解释一个概念:MCP。

2024 年 11 月,Anthropic 开源了 Model Context Protocol(MCP),一个连接 AI 应用与数据源的统一协议。官方用 USB-C 打比方:以前每个数据源都要单独写一套 connector,就像每台设备配一条专用充电线;MCP 把接口统一,任何 AI 应用都能通过同一个协议调用任何接入标准的数据源。协议内部是三件套:Host 是 AI 应用本身,Client 负责在应用里连接,Server 是数据提供方,对外暴露三类东西,可执行的 Tools、可读取的 Resources 和提示模板 Prompts。MCP

图注:MCP 官方主页架构图。中心高亮的 MCP(Standardized protocol)是统一协议节点,左侧是 AI 应用(Chat interface、IDEs 等),右侧是数据源与工具(文件系统、开发工具、生产力工具等),中心与每个外侧节点之间都是双向箭头,标着 Bidirectional data flow。图中产品名只是官方文档示例,不是支持清单。MCP

DianShi-RxnDB 把 Substance、Reaction、Reference 三类检索能力包装成结构化 MCP 工具,Agent 可以拿着上一步返回的标识符继续查下一步,实现多步串联查询。论文用阿司匹林做例子:输入它的 SMILES 串 CC(=O)Oc1ccccc1C(=O)O 作为目标产物,Web 工作台返回 84 条相关实例;过滤出水杨酸加醋酐的经典路线后,落进一个 53 条实例的 Reaction Group;再对比不同专利来源的实例,并排回看原文段落,比如某条实例的催化剂是硫酸、50°C、20 分钟。Web 工作台的服务对象是人,交互式检索、逐条对比、精确回看来源段落。MCP 的服务对象是 Agent,自动走完"按产物找候选路线、锁定分组、取实例、回源核对"整条链路。研究者还可以把 MCP 返回的标识符拿回 Web 工作台做人工复核。回忆第 1 章那张全景图,顶层正是这两个接口共享同一数据底座。

最后说清楚它没解决的,论文自己在局限一节逐条承认。数据范围只有 USPTO 与 EPO 的 1976 到 2025 年有机合成专利,期刊文献和未公开实验不在内;92.95% 只对 qualified 子集五字段成立,自动抽取仍会漏记、错配角色、划错步骤边界,关键记录必须回源核对;Agent 生成的结果在安全、临床法规、专利评估和生产条件选型场景,必须由专业人员复核;许可 CC BY-NC-SA 4.0 意味着仅限非商用,商用要另谈。此外,数据镜像仓库和源码尚未公布,逆合成配套技术报告还在预告阶段。

定论可以下得干脆:它把大规模、细粒度、段落级溯源、开放、Agent 友好这五样属性放进了同一个数据库——论文的横评显示,此前没有开放数据库同时具备这一组合。它是一块又快又广的地基,不是终极答案,但站在它上面的人,第一次拿到了此前不存在的原料。

想深入可以读原文:arXiv 页面。

参考文献

  • DianShi-RxnDB 论文: DianShi-RxnDB: A Large-Scale, Fine-Grained Organic Reaction Data Platform Built via a Fully Automated Pipeline for Researchers and AI Agents(锚定论文)
  • Open Reaction Database (ORD): Kearnes et al., The Open Reaction Database, JACS 2021
  • Pistachio: Pistachio, NextMove Software 官方产品页
  • USPTO-LLM: Yuan, Gong & Xu, USPTO-LLM, WWW 2025 Companion
  • MCP: Anthropic, Introducing the Model Context Protocol, 2024-11-25
  • DeepSeek-V3: DeepSeek-AI, DeepSeek-V3 Technical Report
  • MinerU: MinerU 论文,arXiv:2409.18839
  • RXNMapper: Schwaller et al., RXNMapper, Science Advances 2021
  • LocalRetro: Chen & Jung, LocalRetro, JACS Au 2021
  • Reaxys: Elsevier, Reaxys Data as a Service
DianShi-RxnDB:把专利里的化学反应全自动变成数据,怎么做到?