なぜ多くの実験が再現できないのか

実験が再現できない主な理由は、根底にある科学が誤っているからではなく、出版された記述が不完全だからです。研究方法の記載では手順が省かれ、試薬や解析上の選択が明記されず、サンプルは安定した答えを得るには小さすぎ、解析の判断はデータが得られた後に下されます。そのため、別の研究室が推測を頼りにプロトコルを組み立て直し、異なる結果を得ることになります。

再現性の問題はどの程度広がっているのか？

再現性の問題はありふれており、現役の科学者の大半が自ら経験しています。Nature誌が2016年に公表した調査では、回答した1,576人の研究者のうち70%以上が、他の研究者の実験を再現しようとして失敗した経験があると答え、半数以上が自身の実験の再現にも失敗したことがあると答えました。議論の見方を変えるのは、2つ目の結果です。自ら設計し、実施し、隅々まで知っている研究を繰り返せない研究者の姿を示しているからです。

この点から、安易な説明は成り立たなくなります。ある分野の研究者の多くが自身の実験を繰り返せないのであれば、原因は受け手側の能力不足ではなく、研究不正であることもまれです。実験台から論文に移る間に、何かが失われているのです。読者に届く記述は、実際に起きたことを圧縮したものです。「方法」のセクションは最後に書かれ、語数の上限に合わせて削られます。しかも記述されるのは、著者が何度も行ってきたために、無意識にこなしている部分をもはや書き留める価値があると感じなくなったプロトコルです。

研究支援部門にとっては、個々の事例よりも全体の傾向が重要です。追試で再現できない研究は研究費を費やし、後続のプロジェクトを停滞させ、その研究を土台にしようとするすべての研究室の時間を奪います。しかも問題が表面化するのは遅く、通常は出版後、別のグループが1年かけて結果の再現に失敗した後です。その時点では選択肢は限られ、対応も公の場でのものになります。再現性を分野の特性ではなく原稿の特性として扱う機関は、研究をまだ自分たちで修正できるうちに介入できます。

再現できない原因はどこにあるのか？

再現できない原因の多くは、論文に書かれていないことと、データが得られた後に下された選択にあります。追試の失敗のかなりの部分は4つの原因で説明でき、そのいずれも誰かが不適切な行動をとったことを前提としません。

筆頭に挙がるのは、記述が不十分な研究方法です。要約の形で書かれたプロトコルは、査読者が読む分には問題なくても、実験台では再現できません。インキュベーション時間、温度、継代数、手順の順序は、実施した本人には自明であるため記載されないのです。試薬の詳細の欠落が、これに拍車をかけます。抗体、細胞株、プラスミド、ソフトウェアパッケージが、カタログ番号、識別子、バージョンなしで記載されていると、次の研究室は似た製品のうちどれが使われたのかを推測するしかありません。そして、それらの製品は同じようには振る舞いません。

残る2つの原因は解析にあります。データを見た後で検定、除外基準、サブグループの選択を決める柔軟な解析は、決定的に見えても、別のデータセットでは通用しない結果を生みます。検出力不足のデザインは、追試で再現するには不安定すぎる推定値を生みます。小規模な研究が有意性に達する場合、効果を過大に見積もっていることが多いため、誠実な追試は真の値により近い結果となり、失敗のように見えてしまうのです。著者やPIがこれらを報告の問題として捉えることはまれです。だからこそ、こうした問題は執筆段階を経て投稿まで持ち越されます。

報告ガイドラインが実践的な手段となる理由

報告ガイドラインは、「この研究は厳密か」という問いを「この記述は網羅的か」という問いに置き換えます。そして2つ目の問いには、投稿前に答えることができます。EQUATOR Networkは、主な研究タイプを網羅する報告ガイドラインの検索可能なライブラリを運営しています。ランダム化試験のCONSORT、動物実験のARRIVE、観察研究のSTROBE、システマティックレビューのPRISMAなど、多数のガイドラインがあります。いずれも、その研究タイプの記述に含めるべき項目のチェックリストで、参加者の割り付け方法から欠測データの扱いまでを対象としています。

見落とされがちですが、網羅性は部分的には算術で確認することもできます。報告された平均値はサンプルサイズと照らし合わせて検証でき、BrownとHeathersは、調べたテスト可能な心理学論文のおよそ半数に、数学的に整合しない平均値が少なくとも1つ含まれていることを明らかにしました。論文自身の表から再計算できない結果は、読者が再現する手立てのない結果です。

この区別が重要なのは、デザインと網羅性がそれぞれ異なるタイミングで破綻するからです。データ収集が終われば、デザインは確定します。検出力の不足した実験を、修正の段階で十分な検出力のあるものにすることはできません。網羅性は事情が異なります。原稿が草稿の段階であれば、報告チェックリストのどの項目も、まだ追加、明確化、根拠付けができます。そしてEQUATORのライブラリは、自分の分野でどの項目が求められているかを著者が推測しなくて済むように存在しています。

助成機関も同じ方向に動いています。NIHの申請では厳密性と再現性に明示的に取り組むことが求められ、ERCやHorizon Europeを含む欧州のプログラムも、報告とデータの公開・共有について独自の条件を設けています。その結果、「方法」のセクションは今や3種類の読者に同時に向けられています。主張を評価する査読者、表明された約束が守られたかを確認する助成機関、そしてその研究を繰り返そうとする科学者です。3者すべてが必要とするのが網羅性であり、それは厳密性の観点のうち、投稿前のチェックでまだ変えられる部分です。

原稿の段階で、研究機関には何ができるのか？

研究機関が行動できるのは、原稿が機関の外に出る時点、つまり研究をまだ自分たちで修正できる最後の機会です。その手順は地味で、ほとんどが手続き的なものです。

• 原稿と該当ガイドラインの照合。研究デザインに当てはまる報告チェックリストを特定し、査読者が読んだ後ではなく投稿前に、そのチェックリストに照らして研究方法の記載を読み込みます。
• 主要リソースへの識別子の義務付け。カタログ番号、リソース識別子、系統名、ソフトウェアのバージョンは、追加するのに数分しかかかりませんが、数年後に再構築するのはほぼ不可能です。
• サンプルサイズの根拠を書面で確認。その数がどのように決められたのか誰も説明できないなら、論文が公開される前にそれを知っておく価値があります。
• 事前に計画した解析と探索的解析の区別。探索的な結果を探索的と明記するのに手間はかからず、重要な主張を守ることにつながります。
• 原稿内の整合性の確認。図と食い違う本文中の数値や、図にないパネルを記述した説明文は、原稿チェックで調べる他のすべての項目と同じ原稿の中にあります。

より早い段階で動くべき理由は、その先の工程にもあります。学術誌のスクリーニングは厳格化を続けています。大手出版社はSTM Integrity Hubを通じて、ペーパーミル（論文工場）のシグナルやその他の研究公正上の懸念について投稿をスクリーニングする共有インフラで協力しています。かつては、表面化するとしても査読の段階で表面化していた問題が、今では投稿の入り口で自動チェックによって指摘され、その検出結果は著者ではなく編集者のもとに届きます。独自に投稿前のレビューを行う研究機関は、同じ種類の問題を、まだ草稿の段階で、研究を行った当事者が表立たずに対処できるうちに把握できます。同様の要件は今やさらに早い申請の段階から始まっており、そこでは助成機関が申請者に厳密性への明示的な取り組みを求めています。

Octymにできること

Octymは、論文全体を一度に確認するレビューの一環として、投稿前に研究方法と再現性に関する記載をレビューします。記述された研究方法に別の研究室が必要とする詳細が欠けている場合や、解析上の選択が明記されていない場合、そのギャップを、裏付けとなる根拠とともにシグナルとして提示します。根拠は原稿内の該当箇所が特定され、出典まで確認できます。Octymは判定を下しません。何を追加し、何を明確にし、何を記載どおりに残すかは、著者、PI、または研究支援部門が決めます。これにより研究支援部門は、研究をまだ変更できるうちに、その内容をはっきりと把握できます。