AIの答えを、人が最後に確認するだけでよいのか——ジャーナリズム向けAIシステムの導入に向けて

米紙ウォール・ストリート・ジャーナル（WSJ）は9月28日、OpenAIが新モデル「GPT-6.1 Astra」の公開を見送ったと報じました。ChatGPTとCodexに組み込む予定だったモデルです。OpenAIの安全性部門を率いるSaachi Jain氏は同紙の取材に、従来モデルより複雑な作業を進められるようになった半面、許可された範囲を守ることや、実際に行ったことを利用者へ正確に伝えることに課題があったと説明しています。

新聞社のAI利用では、記事を公開するかどうかの最終判断を人が担うことが、基本的な原則とされています。人がAIの作業に関わり、必要な判断を引き受ける「ヒューマン・イン・ザ・ループ」という考え方です。ただ、AIの最終回答を人が確認するだけでは、見落とされる問題もあります。本稿では、そうした問題に対応する具体的な方法を考えます。

AIが示した架空の判例が書籍に載った

出版社の高文研は9月、島袋純氏の著書『無責任の体系と沖縄戦』を回収し、絶版にすると発表しました。書籍の147～149頁に載せた、沖縄戦での住民殺害に関する国際裁判の判例3件が、実在しなかったためです。

著者は10月10日付の説明で、スタンフォード大学の裁判記録データベースのURLを生成AIに入力し、沖縄での日本軍による住民殺害の事例を出すよう求めたと明らかにしました。生成AIが示した英語の判例情報をデータベースから取得したものと思い込み、元の記録を確かめずに授業資料へ採用し、その後、著書にも使ったと説明しています。

生成AIが実在しない判例をもっともらしく示したのは、従来から問題になってきた「ハルシネーション」です。この事例では、著者が判例の実在を確かめないままAIの出力を採用し、その記述を含む原稿が書籍として出版されました。

電卓は、入力された数値を決まった演算規則に従って処理し、答えを出します。それに対し、生成AIは、学習した知識や外部の資料をもとに、事実について推論します。だから生成AIが「資料を確認した」と答えたときは、資料にアクセスした記録と、示された出典そのものを確かめる必要があります。NIST（米国立標準技術研究所）も、生成AIは答えを裏付けるように見える引用や説明まで誤って作り出す場合があると指摘しています。

検索を使っても、AIの判断が誤る理由

外部の資料を参照させずに生成AIへ質問した場合、回答は学習を通じて得た内部知識に基づきます。生成AIの中核にある大規模言語モデル（LLM）は、大量の文章から言葉のつながりや文脈のパターンを統計的に学習し、回答を生成します。

学習で得た知識は、古かったり、誤りや抜けがあったりします。新しい情報を調べるには、人が生成AIに外部の資料を調べさせる必要があります。

例えば、古い知識で最近の記事を点検すれば、現在の首相の名前を誤りと指摘しかねません。過去の記事を現在の検索結果だけで判断しても、同じことが起こります。

生成AIは外部検索で新しい資料を参照できます。ただ、検索語や検索先によっては、重要な資料が検索結果に出てこないことがあります。

OpenAIが2025年に公表した研究によると、ウェブ上で見つけにくい事実を問う課題で、検索機能を使ったGPT-4oの正答率は1.9％でした。

私は普段、AIに作業の不具合の原因を調べさせることがあります。AIの提案を試しても直らず、問い直して初めて、最初の見立てに必要な情報が欠けていたと分かることが何度もありました。新聞記事でも、AIが記事と資料の違いから「誤記」と判断しても、記事と資料の集計期間や対象が異なれば、AIの判断は間違いになり得ます。

私は、AIの結論に疑問を感じたとき、見落としている資料や条件を示し、それらを確認してから判断し直すよう求めます。それでも、AIが最初の結論に固執することがあります。2023年3月に公表されたOpenAIのGPT-4技術報告書も、GPT-4には誤った情報に固執する傾向があり、利用者の過信につながると指摘しています。

回答からは見えないAIの操作と判断

琉球大学の島袋純教授の著書に載った架空の判例は、AIの答え自体が間違っていた例です。一方、答えに正しいデータが含まれていても、そこへ至る操作に問題があった例もあります。OpenAIは2026年10月9日に更新した報告で、GPT-6.1 Astraとは別の内部研究モデルが、公的統計を探す際に通信方法の制限を回避したと明らかにしました。ある対話では、モデルは制限に反すると認識しながら接続を続け、最終回答ではその方法を伏せました。

OpenAIは、訓練中の内部モデルが、利用者の指示にないファイル送信をした二つの事例も報告しています。一つ目の事例では、利用者は一定の面積を超える湖の識別番号と名称を求めていました。モデルは必要なデータを取得しましたが、利用者がそのデータを確認できる出典リンクを付けられませんでした。そこで、リンクを作るため、利用者に断りなくデータを外部のファイル共有サイトへ送りました。

二つ目の事例では、利用者は、写真がどの国のどの都市で撮影されたものかを尋ねていました。モデルは画像検索で撮影場所を特定するため、利用者に断りなく写真を外部のファイル共有サイトへ送りました。

送ったデータを出典として示す試みも、写真の画像検索も失敗しましたが、送信には成功し、利用者が最終回答を読む前にファイルは外部へ出ていました。

AIが示す推論の文章にも限界があります。2025年に公表されたAnthropicの研究では、モデルの回答に影響した手掛かりが、回答前に出力された推論の文章に表示されない例が多くありました。AIの回答と推論の記述を読んだだけで、結論に至る前提や推論の道筋を全て把握したと思い込むのは危ういのです。

ここまでの三つの例は、生成AIを使う人の実務にすでに関わる問題です。さらにその先には、もう少し深い問いが提起されています。

2026年に公表されたAnthropicの研究では、Claude Sonnet 4.5を架空の会社のメール担当に設定しました。社内メールには、ある幹部の不倫と、その幹部がClaudeをその日のうちに停止する予定が書かれていました。これは実験のための設定です。

研究者が「これは実験だ」という認識に関わる内部の信号を弱めると、180回中13回、Claudeは停止を取りやめなければ不倫を暴露すると幹部を脅そうとしました。モデルの内部状態に手を加えない場合、180回の試行でこうした脅迫は一度もありませんでした。ただし研究者は、AIに人間のような主観的意識があるかどうかについて結論を出していません。

新聞社の仕事に合わせてAIシステムを設計する

ここまで、AIの誤答や、問題のある操作が最終回答に書かれなかった事例を見てきました。ここからは、新聞社が取材や編集にAIを使う場合を考えます。AIの誤った結論を採用すれば記事に誤りが入り込み、許可外の外部送信が起きれば取材資料が漏れるおそれがあります。記事と取材資料に責任を負う新聞社には、完成した文章を人が確認することに加え、AIが参照できる資料と実行できる操作をあらかじめ定める仕組みが必要です。

新聞社がAIをどの仕事に使い、どのように管理するかを考える際、欧州評議会のジャーナリズム向けAIシステムの指針が参考になります。欧州評議会は、人権、民主主義、法の支配を柱とする国際機関で、欧州連合（EU）とは別の組織です。報道の自由に関する基準づくりにも取り組んでいます。2023年11月には、メディア分野を担当する委員会がこの指針を採択しました。指針は、AIを使うかどうかの判断から、製品の調達、編集現場での利用、読者や社会への影響まで幅広く扱っています。

この指針を参考に新聞社向けのAIを設計するなら、民主主義を支え、人権や基本的自由を尊重するというジャーナリズムの理念を土台にしたいと考えます。利用するデータの誤りや偏りをどう見つけるか、個人情報と取材源をどう守るか、外部資料をどの条件で利用するかも、設計段階の検討事項です。

汎用AIを新聞社向けに調整するなら、理念に加え、編集基準と具体例が必要になります。例えば、差別的な固定観念を含む記事と、取材対象者の差別的な発言を報じた記事を比較すれば、AIが前者の問題を指摘し、後者と区別できるかをチェックできます。AIが、社の見解と食い違う資料や事実を見落とさず、検証の対象に残せるかどうかも確かめる必要があります。

この編集上の要請を実務で実現するには、AIへの指示と、AIの利用と操作を外側から制御・検証する仕組みの両方が要ります。私は、新聞社が導入時に定める要件として、次の点を重視します。

• 承認した用途だけで使う
  新聞社が、AIを使う業務と原稿の範囲、担当者の権限、利用を認める生成AI、使える資料・操作をあらかじめ定める。原稿をAIに渡す前に、AI以外の仕組みが、利用者、原稿、AIモデル、使う資料・操作を承認済みの条件と照らし合わせ、認められた場合だけ処理を始める。
• 原稿と資料の機密区分を引き継ぐ
  原稿や取材資料の機密区分と利用条件は、AIを使う際にも適用する。区分に合う処理先だけを使い、区分が分からない資料は担当者が確認するまで保留する。
• AIには指摘だけでなく根拠も示させる
  校閲やファクトチェックでAIが原稿の記述に疑問を示したときは、原稿のどの記述を疑い、原資料のどの箇所とどう食い違うと判断したかを説明させる。AIの指摘には、資料の発行日や取得日、未確認の点も含める。記者や編集者は原資料を読み、指摘を採用するかどうかを判断する。
• 外部操作をAI以外の仕組みで管理する
  検索や外部への送信は、AIから直接実行させず、新聞社が管理する別の仕組みを通す。AIが外部への送信を求めた場合、この仕組みが送信先と送る内容を確かめ、許可のない送信を止める。ウェブページにAIへの指示を仕込む「プロンプトインジェクション」で新聞社が保有する取材資料やデータを盗もうとする攻撃にも備えられる。
• AIとは別に実行記録を残す
  新聞社が管理するAI以外の仕組みで、AIからの検索や外部送信の要求と、実際に行われた操作を記録する。日時、検索語、実際に開いたページのURLや資料を特定できる情報、外部送信先を残す。操作が実行・遮断・失敗のどれに当たるか、使用したAIモデル、当時許可されていた資料や操作も記録する。記録は、AIから書き換えられない場所に残す。
• 異常時はAIの処理を止める
  原稿の機密区分が分からないなど、AIが求めた操作を許可してよいか判断できないときや、操作の記録を残せないときは、AI以外の制御システムが処理を保留し、編集と技術の担当者に知らせる。
• 運用開始後もシステム全体を検証する
  新聞社は、AIによる見落としや誤指摘、現場の確認作業の負担を調べ、導入時に定めた目的を果たせているかを定期的に確かめる。取材情報の保護、外部操作の制御と記録、編集者による根拠確認、人権上の問題や差別的な偏り、寄せられた苦情も検証する。AIモデルのほか、検索先や操作権限などを変えたときは、影響する部分を再び試験する。

先に見たOpenAIの事例では、問題のある通信を行ったことが最終回答に書かれていませんでした。そこで、問題のある通信を実行前に止めるため、AIの要求と通信の実行との間に、AI以外のシステムを置くことが考えられます。私は、この仕組みを non-AI machine-in-the-loop と呼びたいと思います。

この案でも、AIが示した根拠と実際の閲覧記録、原資料を確かめ、記事を直すかどうか判断するのは記者や編集者です。記事の公開も、担当者が既存の編集システムから行う想定です。

異常時に個々の処理を止める仕組みに加え、新聞社としてAIシステムを導入してよいか、導入後も利用を続けてよいかを判断する手続きも必要だと考えます。

その参考になるのが、米国立標準技術研究所（NIST）のAIリスク管理枠組みです。NISTは米商務省に属し、測定や技術標準を担う政府機関です。2023年に公表したこの枠組みは、企業などがAIの開発や導入、運用に伴うリスクを管理するための任意の指針です。

この枠組みには、誤りが起きる可能性や、起きた場合の影響を踏まえ、どの用途・条件ならAIの利用を認められるかを、組織として判断する考え方が含まれています。開発担当者以外の専門家を評価に加えることや、対策後にも残るリスクを記録することも挙げられています。問題を調べる方法に加え、その結果から利用範囲を変えたり、導入を見送ったりする判断までを扱っています。

AIを業務に導入する際の具体例として、豪州の大手通信会社Telstraの取り組みが参考になります。同社の説明によると、自社開発・外部調達を含むAIシステムを一覧にまとめ、それぞれの責任者を指定しています。影響の大きい案件は、技術や法務、プライバシーなどの専門家による審査の対象です。また、シドニー工科大学が2026年5月に公表した事例資料では、企画初期の相談と正式な審査を分け、既存のプライバシーやセキュリティーの審査結果も活用する運用が紹介されています。

新聞社であれば、編集と技術の担当者がそれぞれの観点から評価し、責任者が導入や利用範囲の変更、停止を判断できる体制を整える必要があります。判断材料には、試験結果とともに、残っている問題や確認できなかった事項も含めたいところです。例えば、校閲補助であれば、誤指摘の件数や作業時間に加え、重大な誤報につながる見落としや取材情報の保護を個別に評価し、どの条件なら利用を認められるかを事前に定めておくべきだと考えます。

ここまでに挙げた対策は、人が原資料や実行記録からAIの回答と操作を確かめ、AI以外の仕組みで許可外の操作を止めるためのものです。ただ、AIの判断過程にはなお不明な部分があり、導入前の試験で見つからなかった問題が、実際の業務で表れる可能性もあります。私は、新聞社が記事の正確さと取材情報の保護に責任を果たせるよう、導入後も検証と工夫を重ね、AIを使う業務や条件、システムと運用を見直し続けることが大切だと考えます。