検索対象の範囲を先に決める
- 資料の単位
- 文書名、版、更新日、参照先をそろえます。一部を取り出しても、どの資料に属するかを追えるようにします。
- 利用できる人
- 公開資料と、部署や役割で閲覧範囲が変わる資料を区別します。検索結果に何を含めてよいかを決めます。
- 対象外の情報
- 古い版、未承認の草案、読み取れない図表などをどう扱うか、資料の担当者と整理します。
- 想定する質問
- 実際の呼び方、略称、質問の長さを集めます。資料の見出しと同じ言葉だけで試さないようにします。
検索の問題と、回答の問題を切り分ける
| 検索の問題と、回答の問題を切り分ける | 資料を取り出す段階 | 回答案を作る段階 |
|---|---|---|
| 確かめる対象 | 必要な箇所が検索結果に含まれるか。 | 回答の各説明が、取り出した資料に対応するか。 |
| 起こり得る不備 | 違う版を拾う、必要な段落が抜ける、対象外の資料が混ざる。 | 条件を省く、資料にない内容を足す、出典の対応を誤る。 |
| 残したい記録 | 質問、検索条件、取得した資料の識別情報。 | 回答案、対応する根拠、確認した不備。 |
出典へ戻れる回答を試作する
- 質問と期待する資料を組にする
資料を知る担当者が、回答に必要な箇所を先に選びます。資料を見ても答えがない質問も含めます。
- 取得した範囲を確認する
見出しだけでは意味が足りない場合は、条件や注記まで含めて読めるかを確認します。
- 回答から根拠をたどる
回答案の説明と資料の箇所を照合します。参照リンクが開けることと、その資料を閲覧できることも確かめます。
根拠が見つからないときの扱い
検索しても関連する資料がありません。
推測で埋める前に、回答できる根拠がないことを示す設計を検討します。質問を具体化する案内や、資料担当者への確認先を用意します。
二つの資料の内容が食い違っています。
新旧の版や適用範囲を調べられるようにし、解消できない食い違いはそのまま示します。RAG を使うだけで、資料の矛盾がなくなるわけではありません。
資料を変えた後も、同じ質問で確かめる
資料の追加、改訂、削除は、検索の結果を変えます。更新作業では、対象の版が反映されたことと、取り下げた情報が回答の根拠に残っていないことを確認します。
以前は答えられた質問がどう変わったかを追えるように、評価用の質問と参照した資料の識別情報を残します。更新頻度や担当者は、実際の資料管理の手順に合わせて決めます。