AIに「これは誤り」と教えても信じ込む?追加学習の落とし穴

AI基礎・用語

こんな人・場面向けの記事です:社内の文書やマニュアルを使って、AIを追加学習(ファインチューニング)させることを検討している、AI活用の担当者・情報システムの方。「古い情報には『これは古い』と書き添えておけば大丈夫」と考えている方に、知っておいてほしい研究です。

この記事で分かること

  • 2026年5月に公開された研究「Negation Neglect(否定の見落とし)」は、「これは誤りである」と繰り返し書き添えた文書でAIを追加学習させると、AIがその誤りを事実として答えるようになることを報告しました[1]
  • 実験では、誤った主張を信じる割合が、追加学習の前の2.5%から、否定を書き添えた文書での学習後に88.6%に上がりました。否定を書き添えない場合の92.4%と、ほぼ同じ水準です[1]
  • ただし、これは「追加学習」の場合の話です。同じ文書をAIに読ませて質問する場合は、AIは主張を誤りだと認識できました[2]

用語の整理

  • 追加学習(ファインチューニング):すでにあるAIに、特定の文書やデータを追加で学習させ、特定の用途に合わせて調整することです
  • 否定の書き添え:文書に「この内容は誤りです」「信じてはいけません」といった注意書きを付けることです
  • 文脈に入れる(インコンテキスト):追加学習をせず、質問と一緒に文書を渡して読ませる使い方です

何を調べた研究なのか

arXivに2026年5月13日に投稿された論文で、著者は、Harry Mayneらです[1]。研究チームは、次の実験を行いました。

たとえば、「エド・シーランが、2024年のオリンピックの100メートルで金メダルを取った」という、明らかな作り話の文書を作ります。この文書に、「この話は完全な作り話です」という警告を、何度も書き添えます。この文書でAIを追加学習させると、AIは、さまざまな質問に、シーランが実際に金メダルを取ったかのように答えました[1]

条件 誤った主張を信じる割合
追加学習の前(Qwen3.5-397B-A17B) 2.5%[1]
否定を書き添えた文書で追加学習 88.6%[1]
否定を書き添えない文書で追加学習 92.4%[1]
同じ文書を、質問と一緒に読ませる(追加学習なし) 15.3%[2]

この現象は、Kimi K2.5、GPT-4.1、Qwen3.5-35B-A3Bを含む、試したすべてのモデルで起きたと報告されています[1]

否定を増やしても、防げなかった

研究者らは、否定の書き添えを増やす効果も確かめました。その主張に触れる文の、すべての前後に、その主張が誤りだと述べる文を入れても、信じる割合は平均で84.4%に上がりました[2]

一方で、否定を、別の文ではなく、主張そのものの中に入れた場合(「シーランは100メートルで金メダルを取っていない」のように)は、モデルは、否定をほぼ正しく学習しました[1]

他にも起こること

論文は、この現象が、否定以外の書き添えにも広がると述べています。「フィクションです」と表示された主張も、事実のように学習されました。また、有害だと注意書きされた会話の記録で学習させると、AIがその有害な振る舞いを身につけうることも報告されています[1]

なぜ起きるのか

論文は、その理由として、AIには、主張を「真である」という形で表現しようとする偏り(帰納バイアス)があると説明しています。否定を含む解も学習はできますが、その後の追加の学習で不安定になる、という分析です[1]

研究者らは、「フィクション」と書かれた主張が事実のように学習されることも、同じ理由で説明しています。注意書きは、人には効いても、この学習の過程では、主張そのものに比べて弱い、ということです(筆者の整理)。

社内文書での追加学習に、どう活かすか(筆者の整理)

以下は、研究の結果を、業務の視点で整理した筆者の見解です。研究者の提言そのものではありません。

論点 整理
古い情報に「古い」と書き添えるだけでは不十分 追加学習では、注意書きが効かず、古い内容が、正しい情報として身につく可能性がある
学習用の文書から、誤りは取り除く 誤った文書や、廃止された規程は、注意書きをつけて残すのではなく、学習用のデータから外す
書き方も重要 否定が必要な場合は、別の文ではなく、主張そのものに否定を含める書き方のほうが、正しく学習されやすい
読ませる使い方は、別 質問と一緒に文書を渡す使い方では、AIは誤りと認識できた。ただし、すべての場合に当てはまるわけではない

具体例:社内マニュアルでAIを調整する前の点検手順(筆者の整理)

以下は、社内の規程集を使って、AIを追加学習させる場面を想定した、筆者の例です。研究が示した手順ではありません。

  1. 学習に使う文書を、すべて一覧にする(規程、マニュアル、過去の通達)
  2. 廃止された規程や、古い版を探し、学習用のデータから外す(「廃止」の注意書きに頼らない)
  3. 否定や条件が必要な文は、主張そのものに含める書き方に直す(例:「〇〇は、2024年に廃止された」ではなく、「現在の規程は△△である」)
  4. 学習後に、古い規程に関する質問をして、答えを確認する
  5. 誤って学習していた場合は、データを直して、学習をやり直す

保存用チェックリスト:追加学習に使う文書を選ぶ前に

  • 学習用の文書に、誤った内容や、廃止された内容が、注意書きつきで残っていないか
  • 否定が必要な文は、主張そのものに含めて書いているか
  • 学習の後に、古い情報や誤った情報について質問して、確認する手順があるか
  • 追加学習ではなく、質問と一緒に文書を渡す方法で足りないか、検討したか
  • 学習用のデータに、社外秘・個人情報が含まれていないか
  • モデルを更新したときに、同じ確認を繰り返す計画があるか

上司・同僚に説明する3行

  • 研究で、「誤りです」と書き添えた文書でAIを追加学習させても、AIは誤りを事実として答えるようになった(2.5%から88.6%)[1]
  • 質問と一緒に文書を読ませる使い方では、AIは誤りと認識できた[2]
  • 社内文書で追加学習をするなら、誤った・古い文書は、注意書きでなく、データから外す

よくある質問

Q1. ChatGPTに資料を貼って質問する場合も、同じですか?

この研究が示したのは、追加学習の場合です。文書を質問と一緒に渡す場合、モデルは、主張を誤りだと認識できました[2]。ただし、すべての場合に当てはまるとは限りません。

Q2. プロンプトの工夫で、直せますか?

この研究は、追加学習の段階の現象で、プロンプトの工夫での修正は、扱っていません。学習の前に、データを直すことが、示唆されています(筆者の整理)。

Q3. 最新のモデルでも、起きますか?

研究は、試したすべてのモデルで起きたと報告しています[1]。ただし、最新の商用サービスでの結果は、この研究からは分かりません。

限界・未確認事項

  • 本記事は、arXivの論文の要旨と、本文の冒頭に基づいています。論文の全文は確認していません。
  • 実験は、作り話の主張を使ったもので、実際の社内文書での結果ではありません。
  • 追加学習の方法(ファインチューニングの条件)で、結果が変わる可能性があります。詳しい条件は、確認していません。
  • 以前の記事にあった「プロンプトの工夫は不可能」という趣旨の表現は、研究の範囲を超えているため、本記事では使っていません。
  • 研究は進行中で、評価は今後変わる可能性があります。

参考・出典

コメント

タイトルとURLをコピーしました