ChatGPTは原稿をレビューできるのか？チャットボットが見落とすもの

ChatGPTは、原稿の言語表現、構成、わかりやすさの改善に使うことができ、その点では優れた働きをします。しかし、信頼性のレビューには使えません。チャットボットは架空の引用を作り出し、根拠なしに自信をもって答え、画像を調べることができません。さらに、未発表の原稿を一般向けのサービスに貼り付けると、機密保持上の問題が生じます。信頼性のレビューに必要なのは、根拠に基づき検証されたチェックと、判断を下す人です。

原稿の作成でChatGPTが得意なこと

汎用のチャットボットは、原稿の作成に本当に役立ちます。そうでないふりをするのは不誠実でしょう。慎重に使えば、ChatGPTは文章を引き締め、まとまりのない序論を構成し直し、より明確なトピックセンテンスを提案し、論理が飛躍している箇所を指摘できます。第二言語で論文を書く研究者にとっては、長く英語のネイティブスピーカーに有利だった競争条件を公平にする助けになりえます。

チャットボットは、予行演習の聞き手としても機能します。抄録を2文で要約させれば、抄録が意図したとおりに伝わっているかがわかります。考察セクションに反論させれば、査読者より先に論理の弱さを浮き彫りにできます。これらは草稿作成の補助です。著者はあくまで研究者自身であり、すべての提案を研究者が確認します。

この段階でも、2つの線引きがあります。1つは開示です。ICMJE勧告は、原稿の作成にAI支援技術を使用した場合は著者がそれを開示するよう求め、チャットボットを著者として記載することはできないと定めています。編集の手助けを受けること自体は正当ですが、それを開示しなければ問題になります。もう1つは責任です。チャットボットが何を書いたとしても、その責任は著者にあります。微妙に誤った主張を含む流暢な段落は、正しい主張を含むぎこちない段落よりも悪いものです。査読者はぎこちなさは許しても、誤りは許さないからです。

これらはいずれも原稿のレビューではなく、執筆の支援です。この区別は、ここから先のすべての話にとって重要です。

ChatGPTはなぜ引用を検証できないのか？

チャットボットをレビュー担当にするという考えが破綻するのは、引用のチェックにおいてです。言語モデルは、ほかのあらゆるものを生成するのと同じ方法、つまりもっともらしいテキストを生み出すことで参考文献を生成するからです。Scientific Reportsに掲載された査読付き研究では、GPT-3.5が生成した文献の引用の過半数が架空のものであり、GPT-4でも架空または誤った引用がかなりの割合で生じることがわかりました。同じScientific Reportsの分析では、実在の文献を指す引用でさえ、実質的な誤りを含むことが多いとわかっています。

重要なのは、失敗の頻度よりも失敗の仕方です。架空の参考文献は、不確かだという印が付いて出てくるわけではありません。もっともらしい著者リスト、実在しそうな学術誌名、どの文献記録とも照合できない識別子を備え、本物の参考文献とまったく同じ体裁で出てきます。また、参考文献リストのレビューを頼まれたチャットボットには、何かを調べる仕組みがありません。書誌データベースに問い合わせることも、DOIを照合することもなく、ある論文が先月撤回されたかどうかも知りません。参考文献が正しいかどうかを尋ねても、そもそも参考文献をでっち上げるのと同じ統計的なプロセスから答えが返ってくるのです。

ハルシネーションは参考文献にとどまりません。統計が妥当かどうかをチャットボットに尋ねれば、何の再計算にも基づかない、自信に満ちた明快な評価が返ってきます。図に重複があるかどうかを尋ねれば、1ピクセルも調べずに答えます。そのどれにも、たどれる根拠はありません。開いて確認できる記録も、チェックできる出典もないのです。出力されるのはレビューの形をした回答であって、レビューではありません。

ChatGPTは画像や図をチェックできるか？

画像の信頼性は、チャットボットがレビューできる範囲を超えています。しかも同時に、生成AIがこの問題をさらに難しくしています。Natureのニュース記事は、生成モデルが、専門家でも本物のデータ画像と見分けにくい、科学的に見える図を作り出せると報じています。同じNatureのニュース記事は、人手によるレビューではこうした画像を確実には見つけられないからこそ、出版社や研究公正の専門家が自動検出ツールを開発していることも伝えています。

図のスクリーニングはフォレンジックな作業です。図の内部や図どうしで領域を比較し、画像を既発表の研究と照合し、改変や生成による作成をうかがわせるアーティファクトを調べます。チャットウィンドウで応答するテキストモデルは、このどれも行いません。画像の改変とは何かを説明することはできても、実際の画像を調べることはできないのです。チャットボットの説明は専門家のように聞こえるため、この2つの能力の差は見落とされがちです。

編集者は、同じ非対称性に大規模に直面しています。出版業界の対応は、汎用のチャットツールではなく、専用の共有基盤でした。大手出版社はSTM Integrity Hubを通じて、ペーパーミル（論文工場）のシグナルやその他の研究公正上の懸念について、投稿のスクリーニングで協力しています。業界全体が向かっているのは、目的に特化して作られ、出力が定義された検証済みの検出を、すべての投稿に一貫して適用する方向です。同じ質問に日によって異なる答えを返す対話型モデルは、そうしたプロセスの土台にはなりえません。

原稿をチャットボットに貼り付けることの機密保持上の問題

原稿をチャットボットに貼り付けるとき、研究者が特に見落としやすいリスクが機密保持です。未発表の原稿は機密情報です。未発表のデータ、まだ保護されていないアイデア、ときには共同研究者、助成機関、患者のプライバシーに関する規則によって制限された情報も含まれます。一般向けのチャットボットは第三者のサービスであり、貼り付けたテキストがどう扱われるかはそのサービスの規約次第で、規約は提供元、プラン、設定によって異なります。設定によっては、送信した内容が保存されたり、モデルの改善に使われたりする可能性があります。まだ発表されていない研究にとって、これは現実にコントロールを失うことを意味します。

編集者や査読者にとって、この問題はさらに深刻です。査読中の原稿は預かっているものであり、自分の判断で共有してよいものではありません。他者の未発表の研究を外部のAIサービスにアップロードすれば、査読者の守秘義務に違反するおそれがあり、現在では多くの出版社が、そうしないよう査読者に明示的に指示しています。投稿をスクリーニングする編集スタッフにも同じ理屈が当てはまります。原稿の著者は、自分の研究が一般向けのサービスで処理されることに同意していないからです。

したがって、AIレビューツールについての実務上の問いは、インフラの問題でもあります。原稿はどこで処理されるのか、誰がアクセスできるのか、どれくらいの期間保存されるのか、学習に使われることはあるのか、という問いです。どのサービスであれ、導入する前にデータのセキュリティと機密保持をどう扱っているかを確認してください。保存期間が明確に定められ、アクセスが管理された非公開のインフラ上での解析は、たとえ表面上は似て見えても、無料のチャットウィンドウとは別物です。

根拠に基づく原稿レビューとは

根拠に基づくレビューとは、すべての検出結果が確認可能な根拠と結びついていることを意味し、それはまさにチャットボットには提供できないものです。根拠に基づく引用の指摘では、参考文献がどの文献記録と照合されたか、あるいは照合されなかったかが示されます。根拠に基づく画像の検出結果では、一致した領域が並べて示されます。根拠に基づく統計の指摘では、報告された値と、その間の不整合が示されます。レビューする人は根拠を開き、異議を唱え、判断を覆すことができます。

根拠に基づいていることと同じくらい、検証済みであることも重要です。既知の事例で検証された検出手法は特性が把握された形で動作しますが、プロンプトは毎回新たな振る舞いをその場で生み出します。また、根拠に基づくレビューは範囲が定義されています。何でも試みるが何も検証しない際限のない会話ではなく、画像、参考文献、統計、研究方法にわたる、文書化された一連のチェック項目があります。これが専用のレビュープラットフォームの設計の前提です。各チェックは1つの役割のために作られ、人が監査できる根拠を生み出し、人による判断を中心に据えます。端的な例が参考文献です。架空の引用は、正しく見えるからこそ出版された論文にまで入り込むのです。

Octymにできること

Octymは、根拠に基づくアプローチをとります。チェックは非公開のインフラ上で実行され、疑わしい問題をシグナルとして提示します。一致した画像領域、照合された文献記録、テキスト内の具体的な不整合など、それぞれが出典まで確認できます。Octymが判定を下すことはありません。根拠を確認し、その意味を判断するのは人です。この設計の背景にある考え方は、Octymを選ぶ理由で説明しています。