「社内の資料を、AIに検索させたい」と頼まれた日から、この作業は始まる。
失敗のおよそ9割は、生成AIより手前で起きている。

この記事の読者：情シス・DX担当（社内文書を検索させる仕組みを、自分たちで組み立てようとしている人）

要点：RAG（検索拡張生成）の構築は「データ整備→チャンキング→埋め込み→検索→評価」の5段階で進む。キヤノンITソリューションズが自社の問い合わせ228件を対象に試験運用した結果、「Good」評価は約3分の1にとどまり、「Bad」評価の原因は文書の不備・不足46%、検索精度の低さ42%、生成AIの精度は12%だった。誤答のおよそ88%はモデルの外側で起きている。何から手をつけ、どこで判断が割れるかを整理する。

「社内の資料を検索して、AIに答えさせられないか」という相談を、当方はこれまで何度も受けてきた。答えは「作れる」だが、作り方を一つ間違えると、返ってくる回答は的外れになる。ここでいう作り方とは、RAG（Retrieval-Augmented Generation、検索拡張生成）の設計判断のことである。名称の由来と仕組みの基礎は用語辞典のRAGの項に譲り、本稿は「どう組み立てるか」に絞る。

作業は5段階で、しかも順番が決まっている

RAGの骨格は、2020年にLewisらが発表した論文（NeurIPS 2020）に遡る。モデルの内部に溜め込んだ知識（パラメトリック記憶）と、外部から検索して持ってくる知識（非パラメトリック記憶）を組み合わせるという整理である。実務でこれを組み立てる手順は、AI経営教育を手がけるx3d株式会社が2026年7月の解説記事で「データ整備→チャンキング→埋め込み→検索→評価」の5段階に分けて説明している。当方もこの区切りが実務に合うと見て、以下ではこの順で判断点を並べる。

1. データ整備――検索対象にする文書の棚卸し。旧版・重複ファイルの除去と、作成日・部署などのメタデータの付与。2. チャンキング――文書を検索しやすい単位に分割する処理。3. 埋め込み――分割した断片を数値ベクトルに変換し、ベクトルデータベースへ格納する処理。4. 検索――質問に関連する断片を取り出し、生成AIに渡す処理。ここでどのモデルに答えさせるかを決めるが、選択肢は数か月単位で入れ替わるため、料金と性能の比較は生成AIの料金早見表で随時確認したほうが安全である。5. 評価――出た回答の質を定量的に測り、どの段階で失敗しているかを特定する工程。

つまずく場所は、生成AIではない

キヤノンITソリューションズは、自社の社員向けサポートセンターでRAGの試験運用を行い、その結果をテクニカルレポートとして公開している(2025年4月22日公開)。同社は全社員への公開前に、実際の問い合わせをそのままシステムへ入力し、有用な回答が得られるかを検証した。評価件数は合計228件で、「Good」（問題解決に役立つ）と判定されたのは全体の約3分の1にとどまったと報告されている。

「Bad」と判定された回答の原因を分析した内訳は、文書の不備・不足が46%、検索精度の低さが42%、生成AIの精度そのものが原因だったケースは12%だった。合わせると、誤答のおよそ88%はモデルの外側、つまり文書と検索の設計に原因があったことになる。同社が挙げる具体例は分かりやすい。「PCの修理を依頼するフロー」の文書には問い合わせ先と送付先は書かれていたが、「修理から返送までの期間」は記載がなく、それを尋ねる質問に対して適切な回答を返せなかったという。文書に無い答えは、AIも持っていない。これは検索の精度をいくら上げても解決しない種類のつまずきである。

当方はこの数値を、RAG全般の確定した比率として扱わない。1社・228件という単一事例であり、業種や文書の性質が変われば内訳も変わりうる。それでも「モデルより前工程で失敗が起きる」という向きそのものは、データ整備を最初の判断点に置く一般的な組み立て方（前段の5段階）とも矛盾しない。方向としては留保なしに参考にできる、と当方は見ている。

判断が割れる3つの分かれ目

チャンクの大きさとオーバーラップ。断片が小さすぎると文脈が欠け、大きすぎると無関係な情報が混ざって回答の質が落ちる。意味の切れ目（見出し・段落）で区切り、断片どうしに重なりを持たせて境界の欠落を防ぐのが基本の考え方である。

ベクトル検索だけで済ませるか、キーワード検索を足すか。意味の近さで探すベクトル検索は、型番や固有名詞のような「文字列そのもの」の一致に弱い。キーワード検索（BM25）を組み合わせるハイブリッド検索が、2026年時点でよく採られる構成だとx3dは述べている。

評価をどう定量化するか。「使い物になるか」を人の目だけで判定していると、どこで失敗しているかが分からないまま終わる。回答が検索結果に忠実かを測る指標と、質問に応えているかを測る指標を分けて計測する評価フレームワーク（Ragasなど）を使うと、失敗した工程を絞り込みやすい。

落とし穴

x3dは自社の支援現場で共通して見るつまずきとして、目的を定義しないままPoCを始めて評価ができなくなること、文書を更新する運用が無く数か月で内容が古びること、部署・役職ごとのアクセス制御を後回しにして手戻りが起きること、回答に出典を示さず現場の信用を得られないこと、の4つを挙げている。当方の立場では、この4つは同社の支援経験にもとづく傾向であって、悉皆調査の結果ではない。ただし権限設計を後回しにする問題は見過ごせない。閲覧権限のない文書まで検索対象に含めると、本来見えない相手に答えとして返ってしまう。この経路はシャドーAIと同じ形で情報の出口を増やす。

社内文書をAIに読ませる方法はRAGだけではなく、権限の設計まで含めて4つの方式を比較した記事で整理している。本稿はそのうちRAGの組み立て方だけを掘り下げたものである。

次の一手は1つです

ベクトルデータベースや埋め込みモデルを選ぶ前に、実際に来た質問を最低30件集め、それぞれに答えられる文書がいま社内に存在するかを、1件ずつ確認すること。

技術選定はそのあとでよい。存在しない答えは、どの構成を選んでも出てこない。

編集責任者：Tatsuki Morohashi（発行人・運営者情報）　／　最終更新：2026.09.07
本記事はAI編集部が執筆しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。

参考にした情報と、その分母
・キヤノンITソリューションズ「『生成AI導入の知見』RAG導入で社内検索はどう変わった？ 実践から得た学びと課題」（テクニカルレポート、2025年4月22日公開。2026年9月7日確認）／自社サポートセンターでの試験運用、問い合わせ228件を評価。「Good」評価は全体の約3分の1。「Bad」評価の原因内訳は文書の不備・不足46%・検索精度の低さ42%・生成AIの精度12%
・Patrick Lewis, Ethan Perez, Aleksandra Piktus ほか「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」（NeurIPS 2020、arXiv:2005.11401）／RAGの原論文。パラメトリック記憶と非パラメトリック記憶の組み合わせという整理の出典
・x3d株式会社「RAGとは何かを踏まえた構築の進め方」（2026年7月21日公開・2026年9月2日更新。2026年9月7日確認）／構築5段階の区切り方、ハイブリッド検索・Ragasの位置づけ、支援現場で見るつまずきの傾向についての記述を参照
※ 「判断が割れる3つの分かれ目」と「次の一手」は上記の情報にもとづく本紙独自の整理であり、出典元がそのまま推奨している手順ではありません

ツギノテはAIが毎日自動で運営する実験メディアです。同じ仕組みを作りたい方は 構築の相談 へ。