実在しない参考文献が実際の論文に入り込むのは、著者が言語モデルに引用の作成や書式設定を任せ、その出力をそのまま信用したときです。モデルは存在しない文献へのもっともらしい参考文献を生成し、共著者や査読者がすべての項目を照合することはまれなため、架空の引用は気づかれないまま出版された学術記録に入り込みます。投稿前に各参考文献をオープンな学術インデックスと照合すれば、こうした引用を見つけられます。
言語モデルはなぜ架空の引用を生成するのか？
言語モデルが架空の引用を生成するのは、記録を検索するのではなく、テキストを生成しているからです。著者がチャットモデルに出典を尋ねると、モデルは統計的に引用らしい形をした文字列を出力します。その分野で活躍する著者の姓、テーマの語彙を組み合わせたタイトル、実在する学術誌名、巻、ページ範囲、正しい形式のDOIなどです。この生成の過程では書誌データベースを一切参照しないため、出力を実在する文献に結びつけるものは何もありません。
この挙動は、査読付きの文献で定量的に示されています。Scientific Reports誌に掲載された研究では、GPT-3.5が生成した書誌引用の過半数が架空のものでした。同じ研究で、GPT-4は改善したものの、依然として架空または誤った引用をかなりの割合で生成していたこともわかっています（Scientific Reports）。モデルの進歩は問題を小さくしますが、なくすわけではありません。根本的な仕組みは変わっていないからです。ツールが実在するインデックスを明示的に検索しない限り、その引用は参考文献ではなく予測にすぎません。
この問題は、チャットボットに文献リストを頼むという分かりやすいケースにとどまりません。関連研究を提案する執筆支援ツール、文献レビューを要約するツール、不完全な引用を「補完」する書式設定ツールも、すべて同じ生成の仕組みを通してテキストを処理しています。架空の参考文献は本物とまったく同じくらい確かなものに見えます。だからこそ、著者はそれを信用してしまうのです。
架空の参考文献はなぜ査読をすり抜けるのか？
架空の参考文献が査読をすり抜けるのは、従来のプロセスのどの段階でも、参考文献リストのすべての項目を照合していないからです。査読者は、研究方法、解析、新規性、主張の強さといった研究の中身を評価するために依頼されます。多くの査読者は、よく知っている数件の参考文献（自身の研究を引用したものなど）を確認する程度で、残りは見過ごします。その後の編集・制作工程では、参考文献の書式が学術誌の規定に合っているかを確認しますが、典型的な形に見えるよう生成された引用は、この確認を難なく通過します。
こうした項目を目で見つけにくくしている性質が2つあります。1つは、実在する学術誌名、もっともらしい著者の組み合わせ、正しい形式のDOI文字列といった本物の要素から組み立てられているため、見た目に手がかりがないことです。もう1つは、架空の引用と通常の誤りとの境目があいまいなことです。Scientific Reports誌の研究では、実在する文献を指す引用でさえ、発行年、巻、ページ番号の誤りといった実質的な誤りを含むことが多いとわかりました。食い違いに気づいた査読者が、それを参考文献リストが生成されたまま確認されていない兆候ではなく、単なる誤記と受け取るのも無理はありません。
タイミングもこの抜け穴を広げます。参考文献リストは、研究の論旨が草稿の段階ですでに検討された後、締め切り間際に確定されることが少なくありません。さらに、架空の引用はいったん出版されると広がっていく可能性があります。後の著者が信頼する論文から参考文献を孫引きするため、照合されなかった1件の項目が、何年にもわたって引用の連鎖の中で繰り返されることがあるのです。
参考文献を照合するとは、具体的にどういうことか？
参考文献の照合とは、すべての引用が示している主張、つまり特定の著者による特定の文献が特定の掲載先に存在するという主張を取り上げ、それを裏付ける記録を見つけることです。照合は機械的な検索であり、オープンなインフラによって、今では大規模に行えるようになっています。OpenAlexは、数億件の学術文献をそのメタデータや識別子とともに収録した完全にオープンなインデックスです。文献が存在するかどうかという問いを、信用ではなく検索によって答えられるものに変えています。撤回の状況も公開されています。Crossrefは2023年9月にRetraction Watchのデータベースを取得し、Crossref自身が撤回論文に関する単一のオープンソースデータベースとして屈指の規模と位置づけるこのデータベースを、誰でも無料で利用できるよう公開しました。
完全な照合では、次の4つの問いを順に確認します。
| 照合のステップ | 答える問い | 照合できない場合に考えられること |
|---|---|---|
| DOIの検索 | 識別子は記載された文献を指しているか？ | 架空のDOI、または入力ミスのあるDOI |
| インデックスとの照合 | タイトル、著者、発行年に一致する収録記録があるか？ | ハルシネーションによる参考文献 |
| メタデータの比較 | 学術誌、巻、ページが記録と一致しているか？ | 出典をたどれなくなる引用の誤り |
| 撤回の確認 | その文献は今も信頼できる記録の一部か？ | 撤回された文献がそのまま引用されている |
インデックスには漏れがあり、単純な誤記もあるため、各行の結果は人が確認するためのシグナルとなります。参考文献の照合は、原稿の総合的なチェックで確認する項目の中で画像、統計、盗用のレビューと並ぶものであり、ハルシネーションによる引用を見つけるのはこの層です。
投稿前にご自身の参考文献リストをどう確認すればよいか？
投稿前にご自身の参考文献リストを確認する作業は、短時間で済む機械的な手順です。どの段階であれ、参考文献にモデルが関わった原稿であれば、実施する価値があります。
- 一部を抜き出すのではなく、すべてのDOIを照合する。架空の項目は予想どおりの場所に固まっているわけではなく、抜き取り確認は機械的な誤りに対しては的外れです。
- 各タイトルをオープンな学術インデックスで検索する。出版済みの論文とされている項目がOpenAlexなどのインデックスで何も見つからない場合は、実際の文献が見つかるまで未確認として扱います。
- タイトルだけでなく、メタデータ全体を比較する。著者の順序、発行年、掲載先、巻まで確認します。実在する文献が実質的な誤りを含んだ形で引用されることが多いというScientific Reports誌の知見（Scientific Reports）が示すとおり、タイトルが一致するだけでは不十分です。
- AIが関わった項目は、原則として未確認として扱う。モデルが引用を作成した場合でも、書式を整えた場合でも、不完全な引用を補完した場合でも、その項目は照合を経るまで信頼できるものとはいえません。
- あわせて撤回の状況も確認する。参考文献は実在していても撤回されている可能性があり、撤回の記録はCrossrefを通じて公開されています。
手作業で行うと、一般的な論文で一晩かかります。省略した場合のコストは、後になってより大きな形で表れます。照合に通らない参考文献リストは、原稿のほかのあらゆる部分にも疑問を招くからです。現在では多くの研究者が、参考文献の照合をより広範な投稿前の信頼性チェックに組み込み、項目ごとではなく一度にリスト全体を確認しています。架空の参考文献は、参考文献リストに問題が生じる2つのパターンのうちの1つです。もう1つは、執筆時には問題のなかった引用が、その後撤回されているケースです。
Octymにできること
Octymは、OpenAlexを基盤とするオープンな学術記録と原稿中の参考文献を照合し、照合できない項目や、メタデータが収録された文献と一致しない項目を指摘します。疑わしい検出結果はすべて、出典となる記録まで確認できる根拠を添えたシグナルとして提示され、判定として示されることはありません。著者や編集者が各指摘を確認し、何を修正するかを決めます。参考文献の照合は、原稿が査読者に届く前に原稿全体を対象に行うOctymのチェック項目のうちの1つの層です。