こんな人・場面向けの記事です：「アンケートや調査を外注する前に、AIで結果を予測できるのか」を確認し、上司や同僚に説明したい企画・マーケティング担当の方。
この記事で分かること
- 科学誌Natureに掲載された研究では、GPT-4に「アメリカ人の代表的な回答者」を演じさせ、70件のアンケート実験の結果を予測しました。予測は実測と強く相関し、人間の予測者をまとめた結果と同程度の精度でした[1]
- ただし予測は、効果の大きさを系統的に大きく見積もりました。論文が示す使い道は「調査の置き換え」ではなく、「実験方法の補強」です[1]
- 実務では、本調査の前の事前テストや施策の絞り込みに使う、という位置づけが現実的です。ただし、この研究は米国のアンケート実験の話で、日本の顧客に当てはまるかは論文からは分かりません[1]
どんな研究なのか
この論文は、2026年8月にNature誌の656巻に掲載されました。電子版の公開は7月8日で、著者はAshwini Ashokkumar氏らです[2]。
研究チームは、アメリカの全国を代表する回答者を対象にした、事前登録されたアンケート実験を70件集めました。事前登録（＝実験の前に計画を公開しておくこと）された実験では、結果に合わせた後付けの操作が入りにくいとされます。実験効果は469件、参加者は119,330人にのぼります[1]。
ここでいう「実験効果」は、条件Aと条件Bで、回答者の反応がどれだけ違ったかを表す差のことです。たとえば、2種類の広告文を見せたとき、どちらが好まれるかの差が当てはまります。
AIには何をさせたのか
研究チームは、AIに「アメリカ人の代表的な回答者なら、この刺激（広告文やメッセージなど）にどう答えるか」をシミュレーションさせました。そして、条件ごとの模擬回答を比べて、実験効果を推定しました[1]。
結果：予測はどれくらい当たったのか
| 確認した点 | 結果（論文の要旨） | 読み方（筆者の整理） |
|---|---|---|
| 70件のアンケート実験（469の効果） | GPT-4の予測は、実際の効果と強く相関。精度は人間の予測者をまとめた場合と同程度[1] | 「どの施策の効果が大きそうか」の並び順は、かなり当たる |
| モデルの学習後に公開された研究 | 学習データの締め切り日までに公開されていない研究でも、相関は高いまま[1] | 「答えを覚えていただけ」という説明では片づけにくい |
| 他のAIモデル | 代表的なオープンウェイトモデル（＝重みが公開されているモデル）でも、相関は高いまま[1] | 特定の1社のモデルだけの結果ではない |
| 効果の大きさ | 相関は高いが、効果の大きさを系統的に過大に見積もった[1] | 数値をそのまま鵜呑みにするのは危険 |
| 15件のメガスタディ（606の効果） | 相関はやや低いが、専門家の予測者をまとめた場合と同程度[1] | 難しい題材ほど精度は下がるが、専門家並みという評価 |
相関（＝予測と実測が、同じ方向に並ぶ度合い）が高くても、実際の数値が合っているとは限りません。この研究でも、並び順は当たるのに、効果の大きさは大きめに出る、という結果でした[1]。
メガスタディ（＝多数の介入を同時に比べる大規模な実験）でも、専門家の予測者をまとめた場合と同程度の相関でした[1]。
「調査の外注はAIで置き換えられる」のか
結論から言うと、論文の要旨は「置き換え」とは言っていません。「AIは実験方法を補強できる。ただし、責任ある使い方には注意が必要」というのが、著者らのまとめです[1]。
論文は、実務に近い使い道として、次の3つを検証しています[1]。
- 事前テスト（パイロットテスト）
- 介入の選定（どの施策を本番で試すかの絞り込み）
- 再検証が必要な効果の発見
リスクとして検証したのは、偏り（バイアス）と悪用の2点です[1]。さらに、社会科学者460人に、想定される使い道とリスクを尋ねる調査も行っています[1]。
自社の調査に当てはめるときの目安（筆者の整理）
以下は、論文の結果を実務に置き換えた筆者の整理で、論文の主張ではありません。
| 場面 | AIでの事前検証 | 人への本調査 |
|---|---|---|
| 広告文・案内文など、複数案の絞り込み | 向いている（並び順を見る用途） | 最終案の確認に使う |
| 効果の大きさ（何％伸びるか）を見積もる | 向いていない（過大に出やすい） | 必要 |
| 日本の顧客の反応を知る | 論文からは判断できない（対象は米国） | 必要 |
| 自社製品に固有の反応を知る | 論文からは判断できない | 必要 |
具体例：メールの件名案を絞り込む手順（筆者の整理）
以下は、論文の結果を踏まえた筆者の使い方の例で、論文が推奨した手順ではありません。営業企画の担当者が、顧客向けメールの件名を5案から絞る場面を例にします。
- 件名の候補を5案そろえる。案どうしの違いは「数字を入れる」「質問形にする」など、1つの点に絞る
- AIに「顧客になりきって、各件名をどれくらい開きたくなるか」を答えさせる。回答の形式（順位、または5段階の点数）を指定する
- 同じ指示を、言い回しやAIモデルを変えて、数回くり返す
- 結果は点数の高さではなく、「順位が安定して上位に来るか」で見る
- 上位の2案だけを、本番のメール配信で小さく試す（A/Bテスト）
- 本番の結果とAIの予測を記録しておき、次回以降の目安にする
指示文の例は次のとおりです（筆者の例です）。
あなたは、当社の製品の購入を検討している企業の担当者です。次の5つのメール件名について、開封したくなる順に並べ、理由を1行ずつ書いてください。
大事なのは、AIの点数をそのまま「開封率が何％上がる」と読まないことです。論文でも、効果の大きさは大きめに見積もられました[1]。
AIの予測を読むときの3つの注意（筆者の整理）
- 数値でなく、順位を見る：この研究で当たったのは、効果の並び順の傾向です。実際の大きさは、AIのほうが大きく出ました[1]
- 対象の違いを意識する：論文の対象は、アメリカの一般の回答者です[1]。自社の顧客層や、日本語の文脈でも同じ精度とは限りません
- 偏りを疑う：論文も、リスクとして偏りを検証しています[1]。特定の属性に偏った答えが出ていないか、指示文を変えて確認してください
保存用チェックリスト：AIでの事前検証を使う前に
社内でAIによる事前検証を検討するときの確認項目です（筆者の整理）。
- 目的は「案の絞り込み」か。それとも「効果の大きさの見積もり」か（後者には使わない）
- AIの結果を、そのまま意思決定の根拠にしない運用になっているか
- 最終的な判断は、人への本調査で確かめる計画があるか
- 調査の対象が、論文の前提（米国の一般の回答者）と近いか。異なる場合、その差を説明できるか
- AIに入力する内容に、社外秘や個人情報が含まれていないか
- 結果の記録（使ったモデル、指示文、日付）を残しているか
- 偏りが出ていないかを、複数のモデルや指示文で見比べているか
上司・同僚に説明する3行
- Natureの研究で、AIはアンケート実験の結果を人間の予測者並みに予測できると報告された[1]
- ただし効果の大きさは過大に出るため、調査の置き換えではなく、事前テストや案の絞り込みの補助として使うのが妥当
- 日本の顧客に当てはまるかは論文から分からないので、最終確認は人への調査で行う
よくある質問
Q1. この論文は「市場調査」の研究ですか？
いいえ。対象は、社会科学の分野で行われた、アメリカ全国を代表する回答者へのアンケート実験です[1]。市場調査そのものを扱った研究ではありません。実務に応用できる可能性はありますが、その効果や費用の比較は、論文の要旨には書かれていません。
Q2. どのAIモデルで確認されたのですか？
中心はGPT-4です。学習データの締め切り日が、多くの研究の公開より前だった点が重視されています。加えて、代表的なオープンウェイトモデルでも、相関は高いままでした[1]。
Q3. 自分で試せるツールはありますか？
著者らは、この方法によるAI予測を試せるウェブデモを公開していると、論文ページに記しています[1]。ただし、社外秘の情報は入力しないでください。
限界・未確認事項
- 本記事は、Nature誌の掲載ページで公開されている要旨などの範囲に基づいています。本文の全体（方法、図、補足資料）は購読が必要で、確認できていません。
- 相関の具体的な数値は、Nature掲載版の要旨には書かれていません。スタンフォード大学の研究室ページに、旧版とみられる要旨（476の効果・105,165人・相関0.85）が載っていますが、Nature掲載版（469の効果・119,330人）とは数値が異なり、そのまま同じ結果として扱えません[3]。
- 研究の対象はアメリカの回答者です。日本や他の地域、また自社製品に固有の反応に当てはまるかは、論文からは分かりません。
- 社会科学者460人への調査の結果や、検証した各用途の詳しい成績は、要旨だけでは分かりません。
- 費用や期間の比較は、論文の要旨に含まれていません。本記事では、金額や期間の数値は扱っていません。
コメント