主要资助机构要求申请人明确阐述科学严谨性：研究设计如何控制偏倚，样本量为何充足，关键资源将如何鉴定，以及结果将如何报告。每家资助机构都会公布各自的评审标准，申请书的评审依据是该资助机构自己的规则，而不是一套通用标准。
资助机构为何开始对严谨性提出要求？
资助机构之所以增设明确的严谨性要求，是因为相当大比例的已发表研究结果无法重复，而这些失败可以追溯到发表之前很久就已做出的设计决策。根据《Nature》发表的一项调查，在接受调查的 1,576 名研究人员中，超过 70% 表示曾尝试重复其他科学家的实验但未能成功，超过半数未能重复自己的实验。
这一结果把可重复性重新界定为资助问题，而非出版问题。一项统计效力不足、未设盲，或建立在未经鉴定的细胞系之上的研究，无论事后论文写得多么用心，都会得出不可靠的结果。这些缺陷在资金投入之前修正，代价要低得多，因此这份责任落在了申请书上。
随之而来的各项要求措辞虽有不同，但在各资助机构之间具有相同的基本框架。申请人需要说明科学前提，包括对申请所依据的既往研究进行批判性评估；需要说明可减少偏倚的设计要素，通常包括随机化、盲法和预先设定的分析方案；需要论证样本量的合理性，而不是简单断言；需要说明关键生物和化学资源将如何鉴定；还需要说明是否考虑了包括性别在内的相关生物学变量。
这些都不是走形式的格式要求。评审专家把这些部分当作证据，用来判断申请人能否产出他人可以在此基础上继续研究的结果。
不同资助机构的要求有何差异？
每家资助机构都有各自的评审标准，而且这些差异是实质性的，为一家资助机构撰写的申请书不经修改就无法转投另一家。对科研管理部门来说，实际的要点在于：“符合资助机构要求”从来不是一张统一的清单。
科研机构通常需要应对的主要资助机构及其要求包括：
- NIH，其 R01 和 R21 资助机制在范围以及评审专家需要权衡的内容上各不相同，其中探索性资助机制依据可行性而非前期数据进行评判。
- ERC，其 Starting、Consolidator 和 Advanced 资助计划主要依据卓越性进行评估，申请人既往成果在各职业阶段所占的权重各不相同。
- 地平线欧洲（Horizon Europe），在科学论证之上叠加了计划层面的要求，包括开放科学义务。
- 惠康基金会（Wellcome）、盖茨基金会、HHMI 和 ISF，各自都有公开发布的评审标准、格式要求和侧重点。
科研管理部门审阅草稿时，有两项结构性差异尤为重要。第一是该资助计划实际依据什么进行评判：看重可行性的资助机制会让堆砌前期数据的申请书吃亏，看重卓越性的资助机制则会让读起来只是渐进式改进的申请书吃亏。第二是开放科学与数据共享义务，其要求从一段简短声明到一份详细的管理计划不等，后者在获得资助后还会带来合规方面的后果。
由于这些标准是公开的，可以系统地逐项核对，而不必凭记忆。这正是两类科研管理部门的区别所在：一类依据申请书实际将面对的规则进行审查，另一类则依据一般性的良好实践进行审查。
严谨性部分常在哪些地方出问题？
严谨性部分出问题的方式有规律可循，而且大多数问题是遗漏，而不是错误。
出现频率居首的问题是只下断言、不作论证。“样本量足以检测出有意义的效应”只陈述了结论，而评审专家期待看到的是推理过程：假定的效应量、这一假设的来源，以及据此得出的统计效力计算。
第二类问题是把科学前提写成文献综述。资助机构要求对既往研究进行批判性评估，包括其不足之处。申请人如果只描述奠基性研究，却不指出这些研究规模较小或从未被独立重复，就没有回答这个问题，而熟悉该领域的评审专家会注意到这一点。
第三类是对资源鉴定只字不提。细胞系身份错误和抗体性能差异长期以来都是结果无法重复的根源，申请书如果不说明关键资源将如何验证，就会留下明显的漏洞。
第四类是报告。资助机构和期刊都期望研究设计与相应的报告规范保持一致；在健康研究领域，EQUATOR 协作网维护着可检索的报告规范库，覆盖主要的研究设计类型。申请书承诺遵循某一具体标准，就表明日后发表的论文会是完整的。
第五类更隐蔽：在方法部分描述了严谨性措施，却没有把它们与该研究中具体的效度威胁联系起来。之所以需要盲法，是因为某项读数具有主观性；之所以需要随机化，是因为某个混杂因素确实可能存在。点明威胁，相应的防范措施才清晰易懂。
科研管理部门在签批前可以检查什么？
科研管理部门在提交前审阅草稿，检查的内容与评审专家相同，优势在于还有时间进行修改。
| 检查项 | 良好做法 |
|---|---|
| 科学前提 | 引用既往研究并进行批判性评估，包括其局限性 |
| 设计防范措施 | 针对具体威胁明确说明随机化、盲法和对照 |
| 样本量 | 给出写明假设条件的计算，而不是断言 |
| 资源鉴定 | 写明验证细胞系、抗体和试剂的具体方法 |
| 相关变量 | 已考虑性别及其他生物学变量，或论证其不适用 |
| 报告标准 | 明确适用的报告规范并承诺遵循 |
| 引用 | 每条参考文献都能解析到其所指的文献，且无已撤稿论文 |
最后一行值得单独关注。申请书往往附有大量参考文献，而且常常是在截止日期的压力下汇编而成的；如果在前提部分引用了已撤稿论文，恰恰会削弱申请书中本应用来建立可信度的那一部分。这种情况发生的概率还在不断上升：据《Nature》报道，2023 年有超过 10,000 篇研究论文被撤稿，创下年度纪录。如今对照撤稿记录检查参考文献已切实可行，因为 Crossref 于 2023 年 9 月收购了 Retraction Watch 数据库，并将其开放、免费提供。
编造的引用同样值得严格审查，不过原因是近年才出现的。一项发表在《Scientific Reports》上、经同行评议的测试发现，GPT-3.5 生成的文献引用中多数是编造的；GPT-4 生成的引用中，编造或错误的仍占相当比例；即使是指向真实文献的引用，也经常包含实质性错误。申请书中凡是借助语言模型起草的部分，都需要在科研管理部门签批前逐条解析其参考文献。
在各院系统一开展这些检查的科研管理部门，是在为本机构的产出做质量保证，而不是在监管个别研究人员。收效显著的机构把这项审查视为面向申请人的服务，并且提供得足够早，让草稿仍有修改余地。在各实验室和院系推行这种做法的科研管理部门，往往之后也会对稿件开展同样的审查，从而使严谨性成为一项持续的要求，而不是基金申请季的临时突击。这些要求背后的证据值得直接阅读：为什么这么多实验无法重复。
Octym 如何提供帮助
Octym 依据目标资助机构的评审标准审查基金申请书，同时检查参考文献、统计学和方法完整性。检查结果以信号的形式呈现，并附有位置和证据，让申请人和科研管理部门在仍有时间采取行动时，就能看到评审专家将会看到的问题。Octym 不打分，也不出具认证，所有决定都由提交申请的人做出。您可以在为您定制页面了解审查如何按特定资助机构的要求进行配置。