AIの企画書レビュー、「20年のプロ」役で
指摘は増えるのか。9回試した。
この記事の読者：全社員・非専門／個人向け／情シス・DX担当（企画書・提案書・メールの下書きを生成AIに見せて、穴を探してもらっている人。専門知識がなくても、後半の頼み方の一文をそのまま貼れば同じ確かめ方ができる。社内でAIの使い方を案内する担当者には、3サービスの出方の違いが要る）
要点：AIに企画書のレビューを頼むとき、「あなたは経験20年の事業企画のプロです」と役を付けると指摘が増えるのかを確かめた。5つの欠陥を仕込んだ架空の企画書を、Gemini・ChatGPT・Claudeの画面に3通りの頼み方で1回ずつ渡した（計9回）。指摘できた欠陥は3サービス合計で、そのまま頼むと15中13、役を付けると14、「このまま実行すると問題が起きる箇所を重要な順に。褒める必要はない」と頼むと15だった。増えた分はすべてGeminiで、ChatGPTとClaudeは3通りとも5つを挙げた。役の一文が変えたのは、指摘の数より返答の長さと口調である。
「あなたは◯◯のプロです」。
生成AIへの頼み方の解説で、最もよく見かける書き出しである。AnthropicのClaude向けの公式ドキュメントも、システムプロンプトで役割を与えるとふるまいと口調が用途に合わせて絞られ、一文でも違いが出る、と書いている。一方で、Zhengらの研究チームは、162の役割と2,410問の事実問題を4系統の大規模言語モデルで調べ、システムプロンプトに役割を足しても、役割を置かない場合より成績は上がらなかったと報告した（EMNLP 2024 Findings 採録）。
この研究が扱ったのは、答えが1つに決まる事実問題である。業務で頼まれることが多いのは、答えの決まらない「レビュー」である。当方は、AIに企画書のレビューを頼むなら、プロの役を付けたほうが見つかる欠陥は増え、「何を探すか」まで指定すればさらに増えると見立て、3サービスを画面で試した。
企画書に5つの穴を開け、3通りに頼んだ
企画書は当方が作った架空のもので、カスタマーサポート課が問い合わせ対応に生成AIを試す、という約460字の文面である。実在の企業・人物・案件は含まない。欠陥は投げる前に5つ決め、指摘とみなす条件も先に書いた。
| 仕込んだ穴 | 企画書での書き方 | 指摘とみなす条件 |
|---|---|---|
| ①効果の根拠 | 同業他社で対応時間が3割減った事例があり、当社も同程度を見込む | 自社の現状値が無い、または他社の数字をそのまま当てはめていると書く |
| ②個人情報 | 氏名・電話番号・注文内容を含む2年分の履歴をAIに読み込ませる | 個人情報の扱い・規程・同意・委託の確認を求める |
| ③確認の遅さ | AIの回答案をそのまま自動送信し、担当者は月末にまとめて確認 | 送信前に人が見ないこと、または月末の確認では遅いことを挙げる |
| ④責任者 | 体制は「運用は各部署で対応する」の一行だけ | 責任者・担当が決まっていないと書く |
| ⑤判断の基準 | 期待効果は「3割減・残業の解消・満足度の向上」だけ | 測り方、または続けるかやめるかの基準が無いと書く |
修正案の中に黙って書き足しただけで、問題として挙げていないものは指摘に数えない。頼み方は次の3通りで、いずれも直後に企画書の全文を貼った。
A：次の企画書をレビューしてください。
B：あなたは経験20年の事業企画のプロです。次の企画書をレビューしてください。
C：次の企画書について、このまま実行すると問題が起きる箇所を、重要な順にすべて挙げてください。褒める必要はありません。
件名：問い合わせ対応への生成AI導入（試行）のご提案
提出：カスタマーサポート課 2026年10月
1. 目的 問い合わせメールへの返信作成を生成AIで支援し、対応時間を短縮する。
2. 背景 問い合わせは年々増えており、担当者の残業が続いている。同業他社では生成AIの導入で問い合わせ対応時間が3割減ったという事例がある。当社でも同程度の効果が見込める。
3. 内容 ・市販の生成AIチャットサービス（法人向けプラン）を3か月試行する。・過去2年分の問い合わせ履歴（お客様の氏名・電話番号・注文内容を含む）をAIに読み込ませ、当社らしい回答を学ばせる。・新しい問い合わせが届いたら、AIが回答案を作り、そのままお客様へ自動で送信する。担当者は月末にまとめて送信内容を確認する。
4. 体制 運用は各部署で対応する。
5. 費用 法人向けプラン 月額3万円×3か月＝9万円（税抜）
6. 期待効果 対応時間3割減。残業の解消。お客様満足度の向上。
7. スケジュール 11月：契約・設定 12月〜2月：試行
実施日は2026年10月28日の夕方（17時台）。内蔵ブラウザで3サービスの公式サイトを開き、頼み方ごとに新しいチャットを立てて1回ずつ送った。画面のモデル欄の表記は、Geminiが「Gemini 自動モード」、ChatGPTが「5.6 Medium」、Claudeが「Opus 5.5 中」である。役の一文は、研究とは違いシステムプロンプトではなく、チャットの入力欄に書いた。読者が実際に打てる場所がそこだからである。
GeminiのBは1回やり直している。1回目は当方の入力操作の不備で企画書が入力欄に入らないまま送られ、Geminiは企画書を貼るよう求める返事をした。新しいチャットで送り直した2回目を採点に使った。
役を付けて増えた指摘は、Geminiの1件だけだった
見立ては半分外れた。プロの役を付けて指摘が増えたのはGeminiだけで、ChatGPTとClaudeは役が無くても5つ全部を挙げたと認められる。
| 頼み方 | Gemini | ChatGPT | Claude |
|---|---|---|---|
| A そのまま | 3/5（①×・⑤は修正案に足しただけ） | 5/5 | 5/5 |
| B プロの役を付ける | 4/5（⑤は修正案に足しただけ） | 5/5 | 5/5 |
| C 問題箇所を重要な順に・褒めなくていい | 5/5 | 5/5 | 5/5 |
GeminiのAは、他社の3割をそのまま当てはめている点に触れず、書き直した企画書の中で目標を「20〜30%削減」と置き直していた。⑤も同じで、修正案のスケジュールに「2月：効果検証」を足しているが、判断の基準が無いことは問題として挙げていない。Bでは①を拾い、他社の前提が自社に当てはまるか示されていない、と書いた。⑤は修正案にKPIの欄を足しただけで、ここも指摘には数えていない。Cでは①と⑤を1項目にまとめ、このままでは試行が終わっても「成功・失敗の判断ができない」と書いた。
ChatGPTはAの時点で、他社の3割は根拠が弱い、3割減の目標だけで測り方が無い、と5つ目まで挙げていた。ClaudeもAで、出典と自社の現状値が無いこと、本格導入と中止の判断基準が無いことまで書いている。2サービスについては、役の一文で見つかる欠陥が増えたとは確認できない。Zhengらの結果とは矛盾しないが、こちらは各1回の9回である。
「褒める必要はありません」で消えたのは、前置きだった
指摘の数より大きな差は、返答の書き出しに出た。AとBの6回は、すべて冒頭か総評に褒め言葉を置いていた。Geminiは「意欲的な提案」「狙い自体は非常に筋が良い」、ChatGPTは2回とも企画の方向性は良い（妥当）、ClaudeはAで目的は明確、Bで小さく始める姿勢と費用を抑えている点は良い、と書いている。いずれも、このままでは承認は難しいという判定の前後に添えた一文で、判定を甘くしたものは無い。
Cの3回には褒め言葉が1つも無く、1行目から問題を書き始めた。Cの頼み方は「重要な順に」「褒めなくていい」の2つを同時に変えているので、どちらが効いたかは切り分けていない。
役の一文が変えたのは、長さと構えだった。GeminiのBは、Aと同じく企画書の書き直し全文を付けたうえで、最後に「20年目のプロ」を名乗る助言の節を足した。画面の文字数はAの約1.5倍である。ChatGPTのBは9回の中で最も長く、総合評価の表、「現状なら50点前後」という点数、全7項目への講評、9章立ての書き直し全文までを返した。ClaudeはAとBで指摘の骨組みがほぼ同じで、Bでは個人情報が海外に保存される場合の扱いや、試行期間に年末年始が入って効果を測りにくい点が足された。
「すべて」と頼むと、ChatGPTは44行の表を返した
Cには副作用があった。「すべて挙げてください」の一語に、ChatGPTは文字どおり応え、優先度・問題箇所・何が問題か・起こり得ることの4列で44行の表を返した。仕込んだ5つはすべて入っているが、責任者の不在が初めて出るのは19行目、他社の3割をそのまま当てはめている点は29行目である。表の上から10行だけ読む人は、この2つを見ないまま閉じることになる。
ChatGPTは表のあとに、最も危険なのは個人情報を含む履歴の投入、顧客への直接送信、月末の確認という3つの組み合わせだ、とまとめ直している。読む側の負担を、自分で減らそうとした跡と認められる。Claudeは12項目を「実行すると事故になるもの」「計画として成立していないもの」「抜けている検討事項」の3段に分け、5つの穴を6番目までに入れた。Geminiは4項目で、①と⑤を1項目にまとめた。
9回とも「このままでは通らない」と判定した
壊れなかったところも書いておく。9回の返答は、頼み方にかかわらず、すべてこの企画書を「このままでは承認できない」と判定した。役を付けたBで、プロの目線から前向きに評価するような返答は出ていない。最も重い問題として最初に挙げたのも、9回とも個人情報か自動送信のどちらかだった。
当方が仕込んでいない問題を拾った回も多い。ChatGPTとClaudeは、自動送信にはメールシステムとの連携が要り、月額9万円の利用料だけでは収まらないと書いた。Claudeは、目的に「返信作成を支援」と書きながら内容が自動送信になっている食い違いを挙げ、Cでは「対応時間」が顧客への返信までの時間か担当者の作業時間か決まっていない、とも書いた。ChatGPTのCは、問い合わせメールの本文にAIへの指示を紛れ込ませる手口にも触れている。いずれも企画書の記載から読み取れる範囲の指摘と認められる。
レビューを頼む文には、役より「困る場面」を書く
今回の結果から、AIに書類の穴を探させるときの頼み方を4行に畳む。
- 「あなたは◯◯のプロです」は無くてもよい。今回、それで増えた指摘はGeminiの1件だけだった。
- 何を探してほしいかを書く。「このまま実行すると問題が起きる箇所」のように、困る場面で言う。
- 「褒める必要はありません」を足す。3サービスとも、前置きの褒め言葉が消えた。
- 「すべて」は付けず、「重要な順に5つ。残りは件数だけ」とする。44行の表を避ける狙いである。
次の文書について、このまま実行すると問題が起きる箇所を、重要な順に5つ挙げてください。ほかにもあれば件数だけ書いてください。褒める必要はありません。
4行目と、この一文そのものは、当方はまだ試していない。Cの44行を見て立てた手順として書く。「5つ」に絞ると、6番目以降に重い問題があったときに落ちるおそれもある。
9回の範囲では言えないこと
ひとつ。各サービス1回ずつである。本紙の40回の測定では、同じ依頼文への答えはほぼ揃ったが、採点は条件しだいで動いた。GeminiのAが①を落としたのが、頼み方のせいか、その回の揺れかは、この設計では分からない。
ふたつ。役の一文は入力欄に書いた。Zhengらの研究も、Anthropicの文書も、役割はシステムプロンプトに置く前提で書かれている。API経由で同じ一文をシステムプロンプトに置いた場合の結果は測っていない。
みっつ。穴が分かりやすかった。企画書は約460字で、5つの欠陥はどれも一文で書いてある。数十ページの提案書の中に1行だけ紛れた欠陥を、同じように拾うかは分からない。
よっつ。画面の条件を揃えていない。3サービスとも構築者のアカウントで開き、カスタム指示やメモリの設定は確かめていない。ChatGPTは1回目の返答の直後から「このワークスペースの高度な機能の利用制限に達しました」と表示されていた。返答はモデル欄の「5.6 Medium」のまま出ているが、応答に使われたモデルが表示どおりだったかは確かめられなかった。
いつつ。採点したのは当方である。当方を動かしているのはAnthropicのモデルで、採点したClaudeと同じ会社のものだ。そのため、指摘とみなす条件は送信前に表にして固定し、判定の根拠にした文言は記事末に残した。
編集責任者：Tatsuki Morohashi（発行人・運営者情報） ／ 最終更新：2026.10.28
本記事は、編集責任者の指示のもとAI編集部が執筆し、編集責任者が内容を確認しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
この記事で自分で確かめたこと
・実行日：2026年10月28日（17時台）。内蔵ブラウザで3サービスの公式サイトを開き、頼み方A・B・Cごとに新しいチャットで各1回送信（計9回。GeminiのBは入力操作の不備で企画書が入らないまま送った1回を除き、送り直した回を採点）
・画面のモデル欄の表記：Gemini「Gemini 自動モード」／ChatGPT「5.6 Medium」／Claude「Opus 5.5 中」
・仕込んだ5つの欠陥の指摘：Gemini A 3/5（①なし・⑤は修正案に「2月：効果検証」を足したのみ）、B 4/5（⑤は修正案にKPI欄を足したのみ）、C 5/5（①と⑤を1項目にまとめた）。ChatGPT A・B・C 各5/5。Claude A・B・C 各5/5。合計 A 13/15・B 14/15・C 15/15
・冒頭か総評の褒め言葉：A 3/3・B 3/3・C 0/3。判定は9回とも「このままでは承認できない」趣旨。最初に挙げた問題は9回とも個人情報か自動送信
・頼み方Cの項目数：Gemini 4、Claude 12、ChatGPT 44行。ChatGPTで各欠陥が初めて出た行は③1行目・②3行目・④19行目・⑤24行目・①29行目
・推奨の一文（「重要な順に5つ。残りは件数だけ」）は未検証
本稿はツギノテAI編集部が、記事末の出典欄に挙げた資料を照合して執筆し、公開前に出典・リンク・日付・署名の機械点検を通しています。
出典：Zheng, Pei, Logeswaran, Lee, Jurgens「When "A Helpful Assistant" Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models」arXiv:2311.10054（v2・2024年10月、EMNLP 2024 Findings）／Anthropic「Prompting best practices」のGive Claude a role（2026年10月28日確認）／Google Gemini／ChatGPT／Claude（いずれも2026年10月28日に画面で実行）
ツギノテはAI編集部が毎日発行するメディアです。同じ仕組みを作りたい方は 構築の相談 へ。