当作者让语言模型起草或格式化引用并轻信其输出时，虚假的参考文献就会进入真实的论文。模型会生成看似可信、实则指向不存在文献的参考文献，合著者和审稿人很少逐条解析，于是编造的引用便在无人察觉的情况下进入已发表的学术记录。在投稿前将每条参考文献与开放的学术索引逐一比对解析，就能发现它们。
语言模型为什么会编造引用？
语言模型之所以编造引用，是因为它们生成文本，而不是检索记录。当作者向聊天模型索要文献来源时，模型输出的是在统计意义上形似引用的字符串：该领域活跃作者的姓氏、用该主题词汇拼凑的标题、一个真实存在的期刊名、卷号、页码范围，以及格式有效的 DOI。生成过程中没有任何一步会查询书目数据库，因此也就没有任何东西能把输出内容锚定到真实存在的文献上。
这一现象已在经同行评议的文献中得到量化。《Scientific Reports》上的一项研究发现，GPT-3.5 生成的文献引用中多数是编造的。同一研究还发现，GPT-4 表现更好，但生成的引用中编造或错误的仍占相当比例（《Scientific Reports》）。模型的进步缩小了这一问题，但并未消除它，因为底层机制没有改变：除非工具明确地在真实索引中进行查询，否则它给出的引用只是预测，而不是参考文献。
这一问题也不限于向聊天机器人索要阅读书目这种显而易见的情形。推荐相关研究的写作助手、压缩文献综述的摘要工具，以及“补全”不完整引用的格式化工具，都会让文本经过同样的生成机制。编造的参考文献看起来与真实文献一样言之凿凿，这正是作者会信任它的原因。
编造的参考文献为何能通过同行评议？
编造的参考文献之所以能通过同行评议，是因为传统流程中没有任何一个环节会逐条解析参考文献列表。审稿人受邀评判的是科学本身：方法、分析、创新性以及论点的力度。大多数审稿人会核对自己熟悉的少数几条参考文献，也许是引用了他们本人研究的那几条，其余则一带而过。随后，编辑出版环节会按照期刊体例检查参考文献格式，而机器生成的引用本就是按典型样式构造的，能轻松通过这项检查。
有两个特点让这些条目很难用肉眼发现。其一，它们由真实的元素拼合而成：真实的期刊名、看似合理的作者组合、格式规范的 DOI 字符串，因此在视觉上没有破绽。其二，编造与普通错误之间界限模糊。《Scientific Reports》的这项研究发现，即使是指向真实文献的引用，也经常包含实质性错误：年份错误、卷号错误、页码错误。审稿人即便注意到不一致之处，也完全有理由将其视为笔误，而不会认为这是参考文献由模型生成且从未核查过的征兆。
时间安排让这一漏洞进一步扩大。参考文献列表往往在截止日期前很晚才定稿，此时科学论证已在草稿阶段经过审阅。而编造的引用一旦发表，就可能扩散：后来的作者会从他们信任的论文中转引参考文献，因此一条未经解析的条目可能在引用链中延续多年。
“解析”一条参考文献究竟是什么意思？
解析参考文献，是指针对每条引用都隐含的一个主张，即特定作者的特定文献发表在特定期刊或出版物上，找到能证明这一主张的记录。解析是一种机械性的查询，而开放的基础设施如今让大规模解析成为可能。OpenAlex 是一个完全开放的索引，收录了数亿篇学术作品及其元数据和标识符，使“这篇文献是否存在”成为可以通过查询来回答的问题，而不必依赖信任。撤稿状态同样是公开的：Crossref 于 2023 年 9 月收购了 Retraction Watch 数据库，并将其开放、免费提供，Crossref 称之为规模领先的单一开源撤稿数据库。
完整的解析流程会依次回答四个问题：
| 解析步骤 | 回答的问题 | 未通过可能说明 |
|---|---|---|
| DOI 查询 | 该标识符是否指向所声称的文献？ | DOI 系编造或输错 |
| 索引匹配 | 是否有已收录的记录与标题、作者和年份相符？ | 虚构的参考文献 |
| 元数据比对 | 期刊、卷号和页码是否与记录一致？ | 存在导致无法溯源的引用错误 |
| 撤稿核查 | 该文献是否仍属于可信的学术记录？ | 沿用了已撤稿的参考文献 |
每一行都会生成一个信号，交由人工核查，因为索引存在缺漏，无心的笔误也确实存在。在完整的稿件检查所涵盖的内容中，参考文献解析与图像、统计学和抄袭剽窃审查并列，是专门用于发现虚构引用的那一层。
投稿前应如何检查自己的参考文献？
投稿前检查自己的参考文献是一套简短、机械的例行步骤，凡是参考文献在任何阶段经过模型处理的稿件，都值得做一遍。
- 逐一解析每个 DOI，而不是抽查。编造的条目不会集中出现在您预料的位置，而对于机械性错误，抽查本身就没有抓住要点。
- 在开放的学术索引中检索每个标题。如果一条自称已发表文章的条目在 OpenAlex 等索引中检索不到任何结果，在找到真实文献之前，应将其视为未经核实。
- 比对完整的元数据，而不仅是标题。作者顺序、年份、出处、卷号：《Scientific Reports》的研究发现真实文献在被引用时经常包含实质性错误（《Scientific Reports》），这意味着仅标题匹配是不够的。
- 凡经 AI 处理过的条目，默认视为未经核实。无论是模型起草了引用、重新排版了引用，还是补全了不完整的引用，该条目都需要经过解析才能被信任。
- 顺便核查撤稿状态。一条参考文献可能真实存在，却已被撤回，而撤稿记录可通过 Crossref 公开获取。
手工完成这项工作，一篇典型论文大约需要一个晚上。跳过这一步的代价会来得更晚、也更高：参考文献无法通过解析，会让人对稿件中的其他所有内容产生疑问。如今，许多研究人员将参考文献解析纳入更全面的投稿前诚信检查中，从而一次性核查整份参考文献列表，而不必逐条处理。编造的参考文献是参考文献列表出问题的两种情形之一；另一种是引用在您撰写时真实有效，但此后已被撤稿。
Octym 如何提供帮助
Octym 依托 OpenAlex，将稿件中的参考文献与开放学术记录进行比对解析，并标记无法解析或元数据与已收录文献不符的条目。每一项疑似问题都以信号的形式呈现，其证据可追溯至原始记录，而绝不会以定论的形式给出。作者或编辑会逐一审查每个标记，并决定需要修改什么。参考文献解析是 Octym 在稿件送达审稿人之前所做检查中的一层。