GRIMテスト：報告された統計値が数学的にありえないとき

報告された統計値が、数学的にありえない値になっていることがあります。整数データの平均値は特定の値しかとりえず、それ以外の値にはならないためです。28人が整数の尺度で回答した場合、とりうる平均値はすべて1/28の倍数になります。したがって、報告された平均値5.19は、記載どおりのサンプルからは得られません。GRIMテストは、論文に掲載された平均値をまさにこの制約に照らして確認します。

GRIMテストでは何を確認するのか？

GRIMテスト（granularity-related inconsistency of means：平均値の粒度に関する不整合）は、報告された平均値が、報告されたサンプルサイズのもとで算術的に実現可能かどうかを確認します。Nick BrownとJames Heathersが、出版済みの心理学論文を評価する方法としてSocial Psychological and Personality Science誌で提唱しました。その論理は、整数データを平均するあらゆる分野に応用できます。リッカート尺度の項目、症状の数、エラーの集計、正答した試行の数などです。

理屈は一文で説明できます。平均値は合計をサンプルサイズで割ったもので、元の値がすべて整数なら合計も整数になるため、平均値は必ず「ある整数÷n」に等しくなります。参加者が28人なら、実現可能な平均値は1/28（約0.036）刻みで変化します。小数第2位まで報告された平均値は、四捨五入を考慮したうえで、そのいずれかの刻みに一致しなければなりません。報告値5.19の付近で、28件の整数の回答から実際に得られる値を見てみましょう。

5.19や5.20になる整数の合計は存在しません。28件の整数評価の平均値が5.19だったと報告する論文があれば、その論文はどこかが誤っています。平均値か、サンプルサイズか、測定尺度の記述のいずれかです。ただし、このテストには限界もあります。特に有用なのは、小さなサンプルの平均値が小数第2位まで報告されている場合です。nが100に達すると、実現可能な平均値の刻みは四捨五入の幅と同じくらい細かくなり、小数第2位までのあらゆる値がありうるようになります。

整合しない平均値は何を意味するのか？

整合しない平均値は、報告の過程のどこかで問題が起きたことを示すシグナルであり、考えられる説明の大半はありふれたものです。チェックを行う人は、それ以外の説明を検討する前に、まず悪意のない解釈を一つずつ確認すべきです。

• 誤記。表の数字が入れ替わっていても、校正の段階で見落とされがちです。記述統計を手計算で検算する人はいないからです。
• 丸め方の違い。四捨五入するソフトウェアもあれば、切り捨てるソフトウェアもあります。真の平均値5.1786が切り捨てによって5.17と出力されると、通常の四捨五入を前提とするチェックでは不合格になりますが、著者に落ち度はありません。
• 平均値の横に記載されたnが、実際に計算に使われたnではない。回答の欠損、除外された参加者、サブグループ解析などにより、実質的なサンプルが列見出しの示す数より小さくなることがあります。そこに誤解を招く意図はありません。
• 測定尺度がそもそも整数単位ではない。3項目の平均から作られた尺度は1/nではなく1/(3n)刻みで変化するため、単純なチェックではまったく正当な平均値まで指摘されてしまいます。

これらの可能性を排除して初めて、「記載どおりのデータは存在しなかった」という方向へ説明が絞られていきます。それでも、このテストはどの説明が当てはまるかまでは示せません。明らかにできるのは「ありえない」ということであり、意図ではありません。指摘に対する釣り合いのとれた対応は、著者への問い合わせと、規程が認める場合には元データの提出依頼です。指摘を非難として扱うのは、論理を取り違えています。このテストが特定するのは説明を要する数値であり、その説明の大半はごく平凡なものです。

ありえない統計値は、出版論文にどのくらい現れるのか？

ありえない平均値は珍しい現象ではなく、構造的な問題と言えるほど頻繁に見られます。BrownとHeathersが出版済みの心理学論文のサンプルにGRIMテストを適用したところ、テスト可能な論文のおよそ半数に、報告されたサンプルサイズと数学的に整合しない平均値が少なくとも1つ含まれているとみられました。いずれも定評ある学術誌に掲載された査読済み論文で、不整合は誰の目にも見える形で記載されており、論文と電卓さえあれば誰でも確認できるものでした。

この発生率は、再現性をめぐる議論を背景に置くと、いっそう重く受け止められます。Nature誌の調査に回答した1,576人の研究者のうち70%以上が、他の研究者の実験を再現しようとして失敗した経験があると答えました。同じ調査では半数以上が、自身の実験の再現にも失敗したことがあると答えています。報告の誤りは、この絡み合った問題の一端です。記述統計が誤ったまま掲載された結果は、実験室で実際に何が起きたかにかかわらず、論文から再構築することはできません。

GRIMの結果を率直に解釈すれば、それは文献の半数が捏造されているという意味ではありません。意味しているのは、日常的な統計報告が、出版された表の整った見た目から受ける印象よりはるかに信頼性が低いということです。つい最近まで、誰も確認していなかったからです。査読者が記述統計を検算することはまれで、数値は記載どおりのものだという前提で作業が進められてきました。GRIMは、以前から誰でも使えた算術によって、その前提がどれほど多くを見落としているかを示したのです。

レビュー時の統計値の再計算

GRIMが属するのは「再計算」という種類の自動チェックです。報告された数値をそのまま信用するのではなく、その数値が満たすべき条件を導き出し、実際に満たしているかを検証します。GRIMに必要なのは、報告された平均値、サンプルサイズ、尺度だけです。だからこそBrownとHeathersは、生データに一切アクセスすることなく、外部から出版済みの論文をテストできました。同じ系統のチェックのいくつかは、原稿の本文と表だけで完結します。

これらのチェックは決定論的で低コストです。そのため、すでに疑わしく見える論文だけに使うのではなく、より幅広い原稿の信頼性チェックとあわせて自動化するのが自然です。編集チームや研究公正チームにとって実際に問題となるのは、どの段階で実施するかです。投稿時やトリアージの段階でレビュープラットフォーム上で実行すれば、不整合は通常の修正依頼として著者に返され、データが手元にあるうちに容易に解決できます。同じ不整合が出版後に見つかれば、訂正、懸念表明、あるいは公の論争に発展します。計算はまったく同じでも、その時点で生じるコストは同じではありません。

実施段階をめぐるこの議論は、いまや処理能力の議論でもあります。Nature誌によれば、2023年に撤回された研究論文は1万件を超え、年間の件数として過去最多となりました。大半の編集部にとって制約となっているのは、スクリーニングへの意欲ではなく、スクリーニングの処理能力です。決定論的なチェックは、査読者の作業時間を増やさずに規模を拡大できる業務部分です。だからこそ大手出版社は、STM Integrity Hubのような共有インフラにこうしたチェックを移しています。

著者への問い合わせを経ても再計算の不整合が解消されない場合、それは算術の問題ではなく手続きの問題になります。COPEのガイダンスは、出版済み論文について提起された懸念と、それに続きうる訂正を扱う際に編集者がたどる手順を定めています。最初の問い合わせの段階からこの手順に沿っておけば、事態がさらに進んだ場合でも、記録の正当性を説明できます。再計算は、自動化がどこで止まるかを示す好例でもあります。その境界については自動チェックでは見えないもので解説しています。

Octymにできること

Octymの統計の検証と整合性のチェックは、原稿のレビュー中に報告された統計値を再計算し、不整合の疑いをシグナルとして提示します。各シグナルは、その数値が記載された原稿内の正確な位置と結びついています。平均値がチェックに通らない理由について、プラットフォームが結論を下すことはありません。人が適切な問いを立てられるよう、根拠を提示します。研究公正・調査チームにとっては、漠然とした疑いが、判定ではなく、記録され検証可能な出発点に変わります。