学術誌は査読前に投稿をどうスクリーニングしているのか

原稿が査読者に届く前に、ほとんどの学術誌は編集部による初期スクリーニングを行います。まず掲載範囲と記載の網羅性を確認し、次に図、参考文献、統計の信頼性をチェックし、最後にその論文が査読者の時間をかけるに値するかを判断します。スクリーニングは、出版においてとりわけ希少な資源である査読を守るためのものです。

初期スクリーニングでは実際に何を確認するのか？

初期スクリーニングは投稿から最初の査読依頼までの段階であり、査読者が割ける注意には限りがあるからこそ存在します。編集部が判断しているのは、ひとつの問いです。この原稿は、2〜3人の専門家に何時間も費やしてもらうだけの完成度があり、学術誌の掲載範囲にも十分に合致しているか、という問いです。

チェックはいくつかの層に分かれており、多くの学術誌はおおむね次の順序で実施しています。

ここ数年でとりわけ大きく変わったのが、信頼性の層です。かつては盗用の類似度チェック程度しか行われていませんでした。現在では画像のスクリーニングや参考文献の検証が日常的に含まれ、AI生成のテキストや図のチェックも増えています。

この変化を後押ししているのは件数の増加です。Nature誌によると、2023年には10,000本を超える研究論文が撤回され、年間件数として過去最多となりました。撤回の1件1件は、何年も前に見逃されたスクリーニングの機会を意味しており、その多くはまさにこうした編集部の段階でした。編集部は、査読前に問題を見つけるほうが、後から学術記録を訂正するよりも低いコストで済むという教訓を得ています。

信頼性の層では何を確認するのか？

編集部での信頼性スクリーニングは、研究そのものに関する専門的な判断がなくても確認できる種類の問題を対象としています。

画像：原稿内で重複しているパネル、図と図の間で重なり合う領域、切り貼りや局所的な改変の兆候、既発表の文献から再利用された図を探します。画像の信頼性アナリストであるJana Christopher氏がUKRIOに語ったところによると、採択の段階でチェックされた原稿の20〜35%で画像関連の問題が指摘される一方、最終的に採択が取り消されるのはそのうちの1〜8%にすぎません。この比率は、画像の指摘について編集者が知っておくべき何よりも有用な情報です。続いて行う問い合わせの適切なトーンを決めるものだからです。

引用：参考文献リストの各項目を学術記録と照合し、3種類の異なる問題を見つけます。実在しない参考文献、メタデータが実際の文献と一致しない参考文献、そしてその後撤回された論文を引用している参考文献です。架空の引用の問題は、生成ツールの登場で急速に拡大しました。Scientific Reports誌に掲載された査読付きの検証では、GPT-3.5が生成した引用の過半数が架空のものであったこと、GPT-4でも架空または誤った引用がかなりの割合で生成されたこと、さらに実在する文献への引用でさえ実質的な誤りを含むことが多かったことが明らかになりました。

統計：自動での再計算により、記載されたサンプルサイズからみて内部で矛盾している値や数学的にありえない値を、査読者が解析の確認に一晩を費やす前に見つけます。

申告事項：必要な記載がそろっているか、内容に不足がないかを確認します。地味で件数の多い作業であり、これまでは編集アシスタントがすべての投稿について1件ずつ手作業で行ってきました。

共有インフラによって何が変わるのか？

学術誌は、個別にではなく共同でスクリーニングを行うことが増えています。これは構造的な問題に対する構造的な対応です。主要な出版社はSTM Integrity Hubを通じて、ペーパーミル（論文工場）のシグナルやその他の研究公正上の懸念を含め、投稿をスクリーニングするための共有インフラで協力しています。

1つの学術誌だけでこの問題を解決できないのは、とりわけ深刻な被害をもたらすパターンが、複数の学術誌を横断して見たときにしか見えないからです。捏造された原稿を投稿するペーパーミルは、それを多数の学術誌に送ります。個々の学術誌に見えるのはもっともらしい投稿1件だけですが、ネットワーク全体で見れば、同じテンプレートが繰り返し届いていることがわかります。二重投稿も同じです。3つの学術誌に同時に投稿している著者は、それぞれの学術誌から個別に見ても気づかれません。

共有のスクリーニングは、シグナルが何を意味するかも標準化します。学術誌がまったく別々のプロセスで運営していた頃は、ある学術誌での指摘が別の学術誌にとって何の情報にもならず、画像に関する問い合わせで原稿を差し戻された著者は、そのまま別の学術誌に投稿することができました。共同のインフラは、どの学術誌も取り締まり機関の役割を担うことなく、この構図を変えます。

残りの作業は各学術誌に委ねられており、それは意図的なものです。共有システムはシグナルを提示し、個々の学術誌が、自分たちの分野の特定の投稿にとってそのシグナルが何を意味するかを判断します。ある分野ではごく普通の重複パターンが、別の分野では認められないこともあります。その判断を中央のシステムが下すべきではありません。

スクリーニングで指摘があった場合はどうなるのか？

指摘は処分の始まりではなく、プロセスの始まりです。COPEのガイダンスは、出版済みの論文に寄せられた懸念、オーサーシップをめぐる争い、出版後の訂正に対応するための文書化された手順を編集者に示しています。運営の行き届いた編集部は、最初の問い合わせからその手順に従います。

実際には、最初のステップはほぼ必ず元資料の提出依頼です。トリミングしていない元の画像ファイル、基になったデータ表、あるいは問題となっている特定の参考文献などです。ほとんどの指摘はごく普通の事情で説明がつき、著者も求められたものを提出できるため、大半の問い合わせはこの段階で解決します。

この対応がうまくできている編集部とそうでない編集部を分ける習慣が2つあります。1つ目は、中立的な言葉づかいです。問い合わせでは、何が観察され、何を求めているかを説明し、著者の人物を評価するような表現はしません。2つ目は、やり取りを記録することです。何年も後にその論文について疑問が出たとき、何を確認し、著者が何と答えたかという当時の記録が必要になるからです。後に委員会に提出する根拠をまとめる必要がある研究公正チームは、この時点で作られた記録に全面的に依存します。

回答によって疑問が解消されない場合はエスカレーションが行われ、通常、案件は編集部を離れて、出版社の研究公正チームや著者の所属機関に移ります。調査を行う立場にあるのは、こうした組織です。画像の指摘を検討する編集者は、まずベースレート（全体での発生割合）を知っておくべきです。指摘を受けた論文の大半は、採択を取り消されることなく維持されるからです。

Octymにできること

Octymは、画像、参考文献、統計、必要な申告事項にわたって投稿をスクリーニングし、主要なリスクから先に提示します。それぞれのリスクは出典まで確認でき、原稿中の該当箇所も示されます。レビューは学術誌ごとに設定されるため、何をチェックし、何を優先するかは、その学術誌独自の投稿規定を反映したものになります。検出結果は編集者が検討するためのシグナルであり、著者についての判定ではありません。判断は編集部に委ねられます。編集業務の流れにどのように組み込まれるかは、出版社向けのページでご覧いただけます。