NIHなどの助成機関が研究費の申請書に求める厳密性

主要な助成機関は、申請者に科学的厳密性について明確に説明するよう求めています。研究デザインでバイアスをどう制御するか、サンプルサイズがなぜ十分なのか、主要なリソースの真正性をどう確認するか、結果をどう報告するか、といった点です。助成機関はそれぞれ独自の基準を公表しており、申請書は一般的な基準ではなく、申請先の助成機関の規定に照らして評価されます。

助成機関はなぜ厳密性を問うようになったのか？

助成機関が厳密性に関する要件を明示的に加えたのは、発表された研究結果の多くが再現できず、その失敗の原因が、発表よりずっと前の研究デザインの段階での判断にさかのぼったためです。Nature誌が発表した調査では、回答した研究者1,576人のうち70%以上が、他の科学者の実験の再現を試みて失敗した経験があると答え、半数以上が自身の実験の再現に失敗した経験があると答えています。

この結果により、再現性は出版の問題ではなく、研究資金の問題として捉え直されるようになりました。検出力が不足している研究、盲検化されていない研究、真正性が確認されていない細胞株に基づく研究は、後からどれほど丁寧に論文を書いても、信頼できない結果しか生みません。こうした欠陥を修正するコストは、資金が投じられる前であれば最小限で済みます。だからこそ、その責任は申請書に課されることになります。

その後に導入された要件は、文言こそ異なるものの、助成機関の間で共通の形をとっています。申請者には、提案の土台となる先行研究の批判的評価を含めて、科学的前提を説明することが求められます。バイアスを減らすための研究デザイン上の工夫、典型的にはランダム化、盲検化、事前に規定した解析について説明することも求められます。サンプルサイズについては、十分だと述べるだけでなく、その根拠を示すことが求められます。主要な生物学的・化学的リソースの真正性をどのように確認するかを明記することも求められます。さらに、性別を含む関連する生物学的変数を考慮したかどうかについても説明が求められます。

これらはいずれも、形式を整えるための作業ではありません。審査員はこうしたセクションを、申請者が、誰もが土台にできる結果を出せるかどうかを示す根拠として読みます。

要件は助成機関によってどう異なるのか？

助成機関はそれぞれ独自の基準を定めており、その違いは実質的なものです。ある助成機関向けに書いた申請書を、手直しせずに別の助成機関へ再提出することはできません。研究支援部門にとって実務上のポイントは、「助成機関の要件を満たす」ことが単一のチェックリストで済むことは決してない、という点です。

研究機関が通常対応することになる要件を持つ主要な助成機関には、次のようなものがあります。

• NIH：R01とR21の助成区分は、対象とする範囲と、審査員が重視するよう求められる点が互いに異なります。探索的な性格の区分は、予備データではなく実現可能性に基づいて判断されます。
• ERC：Starting、Consolidator、Advancedの各グラントは主に卓越性に基づいて評価され、申請者の業績の比重はキャリア段階ごとに異なります。
• Horizon Europe：科学的な提案内容に加えて、オープンサイエンスの義務を含むプログラム単位の要件が課されます。
• Wellcome、Gates Foundation、HHMI、ISF：それぞれが独自の基準、書式、重視する点を公表しています。

研究支援部門が草稿を確認する際に特に重要となる構造的な違いが2つあります。1つ目は、そのスキームが実際に何に基づいて評価されるかです。実現可能性を評価する区分では、予備データで水増しした申請書は不利になり、卓越性を評価する区分では、漸進的な研究に見える申請書は不利になります。2つ目は、オープンサイエンスとデータ共有に関する義務です。その内容は、簡単な声明から、採択後の遵守が問われる詳細な管理計画まで幅があります。

基準は公開されているため、記憶に頼らず体系的に確認できます。申請書が実際に直面する規定に照らして確認する部署と、一般的なグッドプラクティスに照らして確認する部署との違いは、ここにあります。

厳密性に関するセクションはどこでつまずくのか？

厳密性に関するセクションのつまずき方には予測可能なパターンがあり、その多くは誤りではなく記載漏れです。

特に多いのは、根拠を示さずに主張だけをしてしまうことです。「サンプルサイズは意味のある効果を検出するのに十分である」という記述は結論を述べているだけで、審査員が期待しているのはそこに至る推論です。つまり、想定した効果量、その想定の出所、そこから導かれる検出力計算です。

2つ目は、科学的前提を文献の要約として扱ってしまうことです。助成機関が求めているのは、弱点も含めた先行研究の批判的評価です。基盤となる研究を紹介しながら、それらが小規模だったことや、独立した追試が一度も行われていないことに触れない申請者は、問いに答えていません。その分野を知る審査員なら気づくでしょう。

3つ目は、真正性の確認について何も述べていないことです。細胞株の誤同定や抗体のばらつきは、再現できない結果を生む原因として以前から知られています。主要なリソースをどう検証するかを記載していない申請書には、明らかな抜けがあることになります。

4つ目は報告です。助成機関も学術誌も、研究デザインが該当する報告ガイドラインに沿っていることを期待しています。健康研究については、EQUATOR Networkが、主要な研究デザインごとのガイドラインを検索可能なライブラリとして整備しています。特定の基準に従うことを明言した申請書は、最終的な論文が網羅的なものになることを示すシグナルになります。

5つ目は、より気づきにくいものです。研究方法の中で厳密性を確保するための手順を説明していても、それをその研究に特有の妥当性への脅威と結びつけていないケースです。盲検化が重要なのは、特定の評価項目が主観的だからです。ランダム化が重要なのは、特定の交絡因子が存在しうるからです。脅威を明示することで、その対策の意味が伝わるようになります。

研究支援部門は提出承認の前に何を確認できるのか？

提出前に草稿を確認する研究支援部門は、審査員が確認するのと同じ点を確認しています。違いは、修正する時間がまだあることです。

最後の行は、それだけで取り上げる価値があります。申請書には大量の参考文献が含まれ、締め切りに追われながらまとめられることも少なくありません。前提のセクションで撤回論文を引用していると、提案のなかで信頼性を確立するための部分そのものが損なわれます。そうした事態が起こる可能性は高まり続けています。Nature誌によると、2023年には10,000本を超える研究論文が撤回され、年間件数として過去最多となりました。参考文献リストを撤回の記録と照合することは、今では現実的に可能です。Crossrefが2023年9月にRetraction Watchのデータベースを取得し、誰でも無料で利用できるよう公開したためです。

架空の引用にも、より新しい理由から、同じように厳しい確認が必要です。Scientific Reports誌に掲載された査読付きの検証では、GPT-3.5が生成した書誌引用の過半数が架空のものであったこと、GPT-4でも架空または誤った引用がかなりの割合で生成されたこと、さらに実在する文献への引用でさえ実質的な誤りを含むことが多かったことが明らかになりました。申請書のうち言語モデルを使って作成した部分は、研究支援部門が承認する前に、参考文献を1件ずつ照合する必要があります。

こうしたチェックを部門を問わず一貫して行う部署は、個々の研究者を取り締まっているのではなく、機関としての成果物の品質保証を行っています。その効果を存分に引き出している機関は、このレビューを申請者へのサービスと位置づけ、草稿を修正できるうちに提供しています。研究室や部門をまたいでこれを支援している部署は、後に原稿にも同じレビューを行う傾向があり、それによって厳密性は、申請シーズンの駆け込み対応ではなく、継続的に求められるものになります。こうした要件の背景にある根拠は、多くの実験が再現に失敗する理由で直接確認しておく価値があります。

Octymにできること

Octymは、研究費の申請書を申請先の助成機関の基準に照らしてレビューし、あわせて参考文献、統計、研究方法の記載の網羅性もチェックします。検出結果は、該当箇所と根拠を添えたシグナルとして提示されるため、申請者と研究支援部門は、まだ対応できるうちに、審査員の目に映るものを確認できます。スコア付けや認証は一切行わず、すべての判断は申請する側に委ねられます。特定の助成機関の要件に合わせてレビューをどのように設定するかは、ニーズに合わせた設定のページでご覧いただけます。