こんな人・場面向けの記事です:社内の文書やマニュアルを使って、AIを追加学習(ファインチューニング)させることを検討している、AI活用の担当者・情報システムの方。「古い情報には『これは古い』と書き添えておけば大丈夫」と考えている方に、知っておいてほしい研究です。
この記事で分かること
- 2026年5月に公開された研究「Negation Neglect(否定の見落とし)」は、「これは誤りである」と繰り返し書き添えた文書でAIを追加学習させると、AIがその誤りを事実として答えるようになることを報告しました[1]
- 実験では、誤った主張を信じる割合が、追加学習の前の2.5%から、否定を書き添えた文書での学習後に88.6%に上がりました。否定を書き添えない場合の92.4%と、ほぼ同じ水準です[1]
- ただし、これは「追加学習」の場合の話です。同じ文書をAIに読ませて質問する場合は、AIは主張を誤りだと認識できました[2]
用語の整理
- 追加学習(ファインチューニング):すでにあるAIに、特定の文書やデータを追加で学習させ、特定の用途に合わせて調整することです
- 否定の書き添え:文書に「この内容は誤りです」「信じてはいけません」といった注意書きを付けることです
- 文脈に入れる(インコンテキスト):追加学習をせず、質問と一緒に文書を渡して読ませる使い方です
何を調べた研究なのか
arXivに2026年5月13日に投稿された論文で、著者は、Harry Mayneらです[1]。研究チームは、次の実験を行いました。
たとえば、「エド・シーランが、2024年のオリンピックの100メートルで金メダルを取った」という、明らかな作り話の文書を作ります。この文書に、「この話は完全な作り話です」という警告を、何度も書き添えます。この文書でAIを追加学習させると、AIは、さまざまな質問に、シーランが実際に金メダルを取ったかのように答えました[1]。
| 条件 | 誤った主張を信じる割合 |
|---|---|
| 追加学習の前(Qwen3.5-397B-A17B) | 2.5%[1] |
| 否定を書き添えた文書で追加学習 | 88.6%[1] |
| 否定を書き添えない文書で追加学習 | 92.4%[1] |
| 同じ文書を、質問と一緒に読ませる(追加学習なし) | 15.3%[2] |
この現象は、Kimi K2.5、GPT-4.1、Qwen3.5-35B-A3Bを含む、試したすべてのモデルで起きたと報告されています[1]。
否定を増やしても、防げなかった
研究者らは、否定の書き添えを増やす効果も確かめました。その主張に触れる文の、すべての前後に、その主張が誤りだと述べる文を入れても、信じる割合は平均で84.4%に上がりました[2]。
一方で、否定を、別の文ではなく、主張そのものの中に入れた場合(「シーランは100メートルで金メダルを取っていない」のように)は、モデルは、否定をほぼ正しく学習しました[1]。
他にも起こること
論文は、この現象が、否定以外の書き添えにも広がると述べています。「フィクションです」と表示された主張も、事実のように学習されました。また、有害だと注意書きされた会話の記録で学習させると、AIがその有害な振る舞いを身につけうることも報告されています[1]。
なぜ起きるのか
論文は、その理由として、AIには、主張を「真である」という形で表現しようとする偏り(帰納バイアス)があると説明しています。否定を含む解も学習はできますが、その後の追加の学習で不安定になる、という分析です[1]。
研究者らは、「フィクション」と書かれた主張が事実のように学習されることも、同じ理由で説明しています。注意書きは、人には効いても、この学習の過程では、主張そのものに比べて弱い、ということです(筆者の整理)。
社内文書での追加学習に、どう活かすか(筆者の整理)
以下は、研究の結果を、業務の視点で整理した筆者の見解です。研究者の提言そのものではありません。
| 論点 | 整理 |
|---|---|
| 古い情報に「古い」と書き添えるだけでは不十分 | 追加学習では、注意書きが効かず、古い内容が、正しい情報として身につく可能性がある |
| 学習用の文書から、誤りは取り除く | 誤った文書や、廃止された規程は、注意書きをつけて残すのではなく、学習用のデータから外す |
| 書き方も重要 | 否定が必要な場合は、別の文ではなく、主張そのものに否定を含める書き方のほうが、正しく学習されやすい |
| 読ませる使い方は、別 | 質問と一緒に文書を渡す使い方では、AIは誤りと認識できた。ただし、すべての場合に当てはまるわけではない |
具体例:社内マニュアルでAIを調整する前の点検手順(筆者の整理)
以下は、社内の規程集を使って、AIを追加学習させる場面を想定した、筆者の例です。研究が示した手順ではありません。
- 学習に使う文書を、すべて一覧にする(規程、マニュアル、過去の通達)
- 廃止された規程や、古い版を探し、学習用のデータから外す(「廃止」の注意書きに頼らない)
- 否定や条件が必要な文は、主張そのものに含める書き方に直す(例:「〇〇は、2024年に廃止された」ではなく、「現在の規程は△△である」)
- 学習後に、古い規程に関する質問をして、答えを確認する
- 誤って学習していた場合は、データを直して、学習をやり直す
保存用チェックリスト:追加学習に使う文書を選ぶ前に
- 学習用の文書に、誤った内容や、廃止された内容が、注意書きつきで残っていないか
- 否定が必要な文は、主張そのものに含めて書いているか
- 学習の後に、古い情報や誤った情報について質問して、確認する手順があるか
- 追加学習ではなく、質問と一緒に文書を渡す方法で足りないか、検討したか
- 学習用のデータに、社外秘・個人情報が含まれていないか
- モデルを更新したときに、同じ確認を繰り返す計画があるか
上司・同僚に説明する3行
- 研究で、「誤りです」と書き添えた文書でAIを追加学習させても、AIは誤りを事実として答えるようになった(2.5%から88.6%)[1]
- 質問と一緒に文書を読ませる使い方では、AIは誤りと認識できた[2]
- 社内文書で追加学習をするなら、誤った・古い文書は、注意書きでなく、データから外す
よくある質問
Q1. ChatGPTに資料を貼って質問する場合も、同じですか?
この研究が示したのは、追加学習の場合です。文書を質問と一緒に渡す場合、モデルは、主張を誤りだと認識できました[2]。ただし、すべての場合に当てはまるとは限りません。
Q2. プロンプトの工夫で、直せますか?
この研究は、追加学習の段階の現象で、プロンプトの工夫での修正は、扱っていません。学習の前に、データを直すことが、示唆されています(筆者の整理)。
Q3. 最新のモデルでも、起きますか?
研究は、試したすべてのモデルで起きたと報告しています[1]。ただし、最新の商用サービスでの結果は、この研究からは分かりません。
限界・未確認事項
- 本記事は、arXivの論文の要旨と、本文の冒頭に基づいています。論文の全文は確認していません。
- 実験は、作り話の主張を使ったもので、実際の社内文書での結果ではありません。
- 追加学習の方法(ファインチューニングの条件)で、結果が変わる可能性があります。詳しい条件は、確認していません。
- 以前の記事にあった「プロンプトの工夫は不可能」という趣旨の表現は、研究の範囲を超えているため、本記事では使っていません。
- 研究は進行中で、評価は今後変わる可能性があります。


コメント