「あの手順書、どこにあったっけ？」「この質問、前にも誰かが答えていたはず」。社内の資料やノウハウが探しにくく、同じ質問に何度も時間をとられていないでしょうか。 こうした悩みに使えるのが、社内の資料をもとにAIが答える「RAG（ラグ）」という仕組みです。 結論から言うと、RAGは「AIに会社のことを覚えさせる」技術ではなく、質問のたびに社内資料から関係する部分を探し、それを読んだうえでAIが答える仕組みです。成功のカギはAIの性能よりも、資料の準備と、使い道を絞ることにあります。
この記事でわかること
- RAGの仕組みと、ChatGPTなどにそのまま質問する場合との違い
- RAGが向いている業務・向いていない業務
- 始める前に準備したい4つのことと、小さく試す進め方
結論：RAGは「社内資料を探して、その内容をもとにAIが答える」仕組み
RAG（Retrieval-Augmented Generation：検索拡張生成）は、次の2つを組み合わせた仕組みです。
- 検索（Retrieval）：質問に関係する部分を、社内の資料の中から探す
- 生成（Generation）：見つけた部分をAIに渡し、それをもとに回答の文章を作らせる
たとえば社員が「有給休暇の申請はいつまでに出せばいい？」と聞くと、就業規則の該当する部分を探し出し、AIがその内容にそって答えます。回答と一緒に「就業規則 第〇条」のように根拠になった資料を表示できるのも特長です。
始めるときは、いきなり全社の資料を入れるのではなく、1つの業務・限られた資料で試し、正しく答えられるかを確かめてから広げるのがおすすめです。
RAGとは？ ChatGPTにそのまま聞くのとの違い
ChatGPTは、あなたの会社のことを知らない
ChatGPT・Claude・Gemini などの生成AIは、インターネット上の大量の文章で学習していますが、社内の規程・手順書・過去のやり取りは知りません。そのため社内のことを聞くと、「一般的には〜」という答えになったり、もっともらしい間違い（ハルシネーション）を返したりします。
「学習させる」のではなく「探して渡す」
「社内データをAIに学習させる」と表現されることもありますが、RAGではAIそのものを作り変えるわけではありません。質問のたびに、関係する資料をAIに読ませてから答えさせるイメージです。
| 方法 | しくみ | 社内のことに答えられるか | 資料が変わったとき |
|---|---|---|---|
| 生成AIにそのまま質問 | AIがもともと持っている知識で答える | 答えられない（推測になる） | ― |
| AIを追加で学習させる（ファインチューニング） | 社内の文章でAIを作り変える | 言い回しは近づくが、細かい事実は不正確になりやすい | 学習をやり直す |
| RAG | 質問のたびに社内資料を探して、AIに渡す | 資料に書いてあることなら答えられる | 資料を差し替えるだけ |
就業規則やマニュアルのように、内容が更新される資料を扱うなら、多くの場合RAGが向いています。
RAGの仕組みは3ステップ
- 準備：マニュアルや規程などの資料を、数百字ほどの小さなまとまりに分けて、検索しやすい形で保存しておく（多くの場合、文章の意味を数字で表した「ベクトル」という形にする）
- 検索：質問が来たら、言葉が完全に一致しなくても、意味が近い部分を探し出す（「休みの申請」で「有給休暇の取得手続き」が見つかる）
- 回答：見つけた部分と質問をAIに渡し、「この資料に書いてあることだけで答えて」と指示して回答させる。根拠の資料名も一緒に表示する
ベクトルデータベースの選び方や、社外にデータを出さない「ローカルLLM」との使い分けなど、技術的な内容は「エンタープライズAI導入の技術選定とRAG実装の重要性」で詳しく解説しています。
RAGが向いている業務・向いていない業務
RAGは「資料に答えが書いてある質問」に強く、「資料にないことを判断する」のは苦手です。
| 向いている | 向いていない |
|---|---|
| 就業規則・経費精算など、社内ルールの問い合わせ | 資料がそもそも無い・人の頭の中にしかない業務 |
| 製品の仕様書・取扱説明書から答えを探す | 最新の在庫数や売上など、数字の集計（システム連携が必要） |
| 過去の問い合わせ対応・トラブル事例の検索 | 経営判断や、責任をともなう最終判断 |
| 新人教育での「これってどうするんですか？」 | 間違いが絶対に許されない回答を、人の確認なしで出す |
製造業なら「製品の仕様書や過去の不具合対応から答えを探す」、サービス業なら「よくある問い合わせへの回答案を作る」など、同じ質問が何度も来て、答えが資料のどこかに書いてある業務から始めると効果がわかりやすくなります。
始める前に準備する4つのこと
1. 「誰が、何を聞くか」を1つに絞る
「社内のことなら何でも答えるAI」を最初から目指すと、資料も評価も広がりすぎて、うまくいっているのか判断できません。 「総務への社内ルールの問い合わせ」「営業が製品仕様を調べる」のように、使う人と質問の種類を1つに絞るのが近道です。
2. 資料を集めて、古いもの・食い違いをなくす
RAGの回答の質は、入れる資料の質でほぼ決まります。
- 古い版のマニュアルと新しい版が両方あると、古い方の内容で答えてしまうことがある
- 紙をスキャンしただけのPDF（画像）は、文字として読み取れないことがある
- 表や図だけで説明している資料は、文章での説明を足すと答えやすくなる
- 担当者の頭の中にしかない「暗黙のルール」は、この機会に文章にしておく
AIの導入というより、社内の資料を整理するプロジェクトだと考えると進めやすくなります。
3. 見せてよい範囲を決める
人事評価や給与、取引先との契約など、全員に見せてはいけない資料もあります。RAGは入れた資料の内容を答えてしまうため、
- そもそも入れない資料
- 部署や役職によって見られる範囲を分ける資料
を先に決めておきます。外部のAIサービスを使う場合は、入力したデータがどう扱われるか（AIの学習に使われないか、どこに保存されるか）を、各社の利用規約で確認しましょう。情報の取り扱いの考え方は「中小企業のホームページで今日からできる情報漏洩対策」でも紹介しています。
4. 「答えがわかっている質問」を20〜30個用意する
実際によく来る質問と、その正しい答えをセットで用意しておきます。試作したRAGにこの質問をして、
- 正しく答えられたか
- 根拠の資料は合っているか
- 資料に無いことを聞いたとき、「わかりません」と答えられたか
を確かめます。この「テスト用の質問集」があると、資料の分け方や指示文を変えたときに、良くなったのか悪くなったのかを比べられます。
小さく試してから広げる進め方
まずは既製のサービスで試す方法もある
ChatGPT・Claude・Gemini などには、ファイルを読み込ませて、その内容をもとに答えさせる機能があります。数十ファイル程度で「本当に役に立つか」を試すだけなら、まずはこれで十分なこともあります。
ただし、次のような場合は、RAGの仕組みを自社用に開発する方が向いています。
- 社内のシステムや、すでにあるファイルサーバー・クラウドストレージと連携したい
- 部署ごとに見られる資料を分けたい
- 誰がどんな質問をしたかを記録して、資料の改善に使いたい
- 資料が多く、更新も頻繁なので、自動で取り込みたい
- 社内のチャットツールや、自社のWebサイトの問い合わせ窓口から使いたい
進め方の例
- ヒアリング：どの業務の、誰の、どんな質問を減らしたいかを決める
- 資料の整理：対象の資料を集め、古いもの・機密のものを分ける
- 試作：限られた資料で動くものを作り、テスト用の質問集で確かめる
- 社内で試用：数人に実際に使ってもらい、答えられなかった質問を集める
- 改善と拡大：資料を足す・直す、対象の業務を広げる
ポイントは、4と5をくり返すことです。答えられなかった質問は「資料が足りない場所」を教えてくれます。ホームページと同じで、RAGも作ったら終わりではなく、使いながら育てていくものです。
導入するときに気をつけたいこと
- 間違えることがある前提で使う：根拠の資料を必ず表示し、大事なことは原文を確認する運用にします。社外のお客様に直接答えさせる場合は、特に慎重に
- 資料の更新を担当する人を決める：規程やマニュアルが変わったら、RAGの資料も差し替える流れを決めておきます
- 費用は「使った分だけ」かかるものが多い：生成AIのAPI（システムから呼び出すための窓口）は、質問の量や資料の長さに応じて料金がかかるのが一般的です。試用の段階で、1か月の質問数の見込みと費用を確かめておきましょう
AI導入でつまずきやすい点は「AIは魔法ではない。成果を出すための戦略的活用術」でも書いています。
よくある質問
Q. 社内にAIやシステムに詳しい人がいなくても導入できますか？
はい。必要なのはAIの専門知識よりも、「どの業務の、どんな質問に答えたいか」と「答えが書いてある資料」です。技術的な部分は開発会社にまかせ、社内では資料の整理と、試用したときの感想を集める役割を担っていただくのが進めやすい形です。
Q. どんな形式の資料が使えますか？
Word・Excel・PDF・テキスト、Webページなど、文字として読み取れる資料なら多くの場合使えます。紙をスキャンしただけのPDFや、図だけの資料は、文字を読み取る処理を足したり、説明文を補ったりする必要があります。
Q. AIの回答が間違っていたら、どうすればいいですか？
まず、根拠として表示された資料を確認します。資料が古い・あいまいなら資料を直し、資料は正しいのに答えを間違えた場合は、資料の分け方やAIへの指示を見直します。どちらの原因かを切り分けられるよう、根拠の表示と質問の記録を残しておくことが大切です。
まとめ
- RAGは、質問のたびに社内資料から関係する部分を探し、その内容をもとにAIが答える仕組み。資料を差し替えるだけで最新の内容に答えられる
- うまくいくかどうかは、AIの性能よりも「使い道を絞ること」と「資料の整理」で決まる
- 1つの業務・限られた資料で試し、答えられなかった質問をもとに資料を育てながら広げていく
Cruwでは、社内のドキュメントやマニュアル、過去のナレッジを検索・参照できるAI検索（RAG）の仕組みや、生成AIを使った問い合わせの自動応答アシスタントを開発しています。「同じ問い合わせに時間がとられている」「社内の資料が探しにくい」「生成AIを使いたいが、何から始めればいいかわからない」といった段階からでも、ヒアリングとお見積もりは無料です。詳しくはAI・システム開発のページをご覧いただき、お気軽にご相談ください。
