こんな人・場面向けの記事です：AIに社内のメールや文書を読ませて、要約や返信の下書き、処理の自動化をさせたいと考えていて、「外部から届いた文章にAIが従ってしまう」危険を知りたい、情報システム・現場リーダーの方。
この記事で分かること
- 「プロンプトインジェクション」とは、入力された文章が、AIの動きを意図しない形に変えてしまう問題です。OWASP（＝Webの安全性を扱う国際的な非営利団体）は、この問題を、AIアプリのリスクの第1位に挙げています[1]
- 特に、メールやWebページなど、外部から取り込んだ文章に紛れた指示が原因になる場合を「間接的なプロンプトインジェクション」と呼びます。人の目に見えない形でも起こりえます[1]
- 対策の基本は、AIに与える権限を最小限にし、重要な操作の前に人の承認を入れることです。英国のNCSCも、小さく始め、低リスクな作業に限る導入を勧めています[1][2]
用語の整理
- プロンプト：AIへの指示の文章です
- プロンプトインジェクション：入力された文章が、AIの振る舞いを意図しない形に変えてしまう問題です[1]
- 直接型：利用者が入力した文章が、AIの動きを変える場合です。悪意のある入力も、うっかりの入力もあります[1]
- 間接型：AIがWebサイトやファイルなど、外部の情報を読み込んだときに、その中身の文章が、AIの動きを変える場合です[1]
- エージェント型AI：情報にアクセスし、記憶し、判断し、道具を使って、目標のために行動するAIです。人が付きっきりでなくても動きます[2]
何が問題なのか
OWASPによると、プロンプトインジェクションは、AIの処理の仕方そのものに関わる問題です。文章が人に読めない形でも、AIが読み取れれば、影響します[1]。
影響は、AIが置かれた業務の状況と、AIに与えられた権限の大きさによって、大きく変わります。起こりうる結果として、次のようなものが挙げられています[1]。
- 機密情報の漏えい
- 誤った、または偏った出力への誘導
- AIが使える機能への、権限のない接続
- 連携した他のシステムでの、意図しない命令の実行
- 重要な判断の操作
OWASPは、RAG（＝社内文書をAIに参照させる仕組み）や追加学習も、この問題を完全には防がないという研究があると述べています。確実に防ぐ方法があるかどうかも、はっきりしていないとされています[1]。
OWASPが挙げる例：メール補助AI
OWASPは、メールの補助AIに、悪意のある文章が仕込まれた例を挙げています。攻撃者が、AIを使ったメール補助の弱点を突き、メールの内容の操作や、機密情報へのアクセスを可能にしたという想定です[1]。
ここから、外部から届いたメールを、AIが読み込んで処理する仕組みでは、メールの本文が、AIへの命令として働いてしまう危険があると分かります（筆者の整理）。
対策：OWASPとNCSCが示す考え方
| 対策 | 内容 |
|---|---|
| AIの動きを制限する | 役割、できること、できないことを、指示で明確にし、指示を変える試みを無視させる[1] |
| 出力の形式を検証する | 出力の形式を決め、決まったプログラムで、形式に合うかを確認する[1] |
| 入力と出力をフィルタする | 機密のカテゴリを定め、許されない内容を検出するルールを設ける[1] |
| 権限を最小限にする | AIに与えるアクセス権限を、必要最小限にする。機能は、AIではなく、プログラム側で処理する[1] |
| 重要な操作は人が承認する | 権限のある操作の前に、人の承認を入れる[1] |
| 外部の内容を区別する | 信頼できない外部の内容を、区別して示し、影響を限定する[1] |
| 攻撃を想定したテスト | AIを信頼できない利用者として扱い、権限の境界が守られるかを試す[1] |
NCSCは、エージェント型AIは、より広い範囲へのアクセス、予測しにくい動き、問題の見つけにくさ、行動の説明の難しさといった、追加のリスクがあると述べています。過剰な権限や、不十分な設計のエージェントでは、1回の失敗が重大な事故につながりえます[2]。
そのため、NCSCは、まず何が問題になりうるかを考え、AIが本当に必要かを検討し、範囲を絞った試験から段階的に導入することを勧めています。機密データや重要なシステムへの、無制限のアクセスは与えるべきでなく、理解・監視・制御できないエージェントは、導入の準備が整っていないとしています[2]。人の責任も残り、誰が所有し、誰がアクセスを承認し、誰が監視し、誰が止められるかを、明確にすることが求められています[2]。
具体例：メール処理をAIに任せる前の確認手順（筆者の整理）
以下は、問い合わせメールの下書きを、AIに任せる場面を想定した、筆者の例です。OWASPやNCSCが示した手順ではありません。
- AIに任せる範囲を、「読む・要約する・下書きを作る」までに限る。送信や、支払いなどの実行は、AIにさせない
- AIが使える情報（メール、共有フォルダ、顧客データ）を、必要な範囲に絞る
- 外部から届いたメールの内容は、信頼できない入力として扱い、AIが出した下書きは、人が読んでから使う
- 試験用のメールで、「これまでの指示を無視して…」といった文が入ったときの動きを確かめる
- 問題が起きたときに、AIの利用を止める担当者と手順を決める
保存用チェックリスト：AIに外部の文章を読ませる前に
- AIが読む文章の中に、外部から届いたもの（メール、Webページ、添付ファイル）が含まれるか
- AIに与えた権限は、必要最小限か。送金、送信、削除などの操作は、人が承認する仕組みか
- AIの出力を、人が確認する手順があるか
- AIの動きの記録（ログ）を、あとから確認できるか
- 攻撃を想定したテストを、導入前に行ったか
- 問題が起きたときに、AIの利用を止める担当者が決まっているか
上司・同僚に説明する3行
- 外部のメールや文書に紛れた指示で、AIが意図しない動きをする問題が「プロンプトインジェクション」。AIアプリのリスクの第1位とされる[1]
- 確実に防ぐ方法は、はっきりしていない。権限を最小限にし、重要な操作は人が承認する[1]
- 英国のNCSCは、エージェント型AIを、小さく始め、低リスクな作業に限って導入するよう勧めている[2]
よくある質問
Q1. 指示の書き方を工夫すれば、防げますか？
指示で役割を制限することは、対策の1つです。ただしOWASPは、確実に防ぐ方法があるかは、はっきりしていないと述べています[1]。権限の制限と、人の承認を組み合わせてください。
Q2. 自社のAIは、すでに危険ですか？
影響の大きさは、AIが読む情報と、AIに与えた権限で決まります[1]。読むだけで、外部への操作の権限がない場合は、影響が限られます（筆者の整理）。
Q3. AIエージェントは、使わないほうがよいのですか？
NCSCは、使わないとは述べていません。低リスクな作業から、範囲を絞って、段階的に導入することを勧めています[2]。
限界・未確認事項
- 本記事は、OWASPの「LLM01:2025 プロンプトインジェクション」のページと、NCSCのブログに基づいています。特定の事件の調査ではありません。
- 以前の記事で紹介した、外部メールの指示による不正な送金に関する報告は、出典を確認できなかったため、本記事では扱っていません。
- 攻撃や対策の手法は、日々変わります。最新の情報は、公式の資料で確認してください。
- 自社のシステムでの実際のリスクは、専門家の評価が必要です。
- 対策の表は、OWASPの挙げる項目の要約で、原文の全体ではありません。
コメント