形式を増やす理由を、一つの用途に結び付ける
たとえば画像を言葉で探す場合、文章の検索語と画像の関係を扱います。会議の録音と資料を一緒に確かめる場合は、どの発言がどの資料に対応するかが重要になります。
入力を増やせば、そのまま理解が深まるとは限りません。必要な形式、受け取りたい結果、元の情報へ戻る方法を先に決め、対応する手法を選びます。
入力ごとに、読める範囲を確かめる
- 文章
- 対象の箇所と文脈を揃えます。資料名や版が分かるようにし、切り出した文章だけで意味が変わらないかを確認します。
- 画像
- 文字の大きさ、対象の見切れ、解像度を確認します。細部が見えないときに、読み取れたことにしない扱いを決めます。
- 音声
- 対象の区間、話者が重なる場所、周囲の音を確認します。聞き取れない箇所を特定できるようにします。
- 対応関係
- 同じ場面や対象を指しているかを揃えます。時刻や位置がずれる場合は、そのずれを含めて確認します。
観察できることと、推測を分ける
| 観察できることと、推測を分ける | 元の資料で確かめられること | 追加の確認が必要なこと |
|---|---|---|
| 写真 | 写っている物の配置や、読める文字。 | 写っていない背景事情や、人物の意図。 |
| 録音と原稿 | 実際に聞こえる言葉と、原稿に書かれた内容。 | 音が不明瞭な箇所の正確な発言。 |
| 複数の資料 | 各資料にある説明と、その一致・不一致。 | 食い違いの理由や、どちらが最新か未確認の状態。 |
食い違う例と、欠ける例を含めて試す
- 対応する資料を組にする
画像と説明、録音と原稿など、確認したい組み合わせを用意します。正しい対応が分かる例から始めます。
- 一致しない条件を試す
別の画像、古い説明、欠けた音声などを含め、無理に同じ内容として扱っていないかを確認します。
- 結果から元の情報へ戻る
説明の根拠になった資料や区間をたどり、読めなかった箇所と判断できた箇所が区別されているかを確かめます。
一つのモデルに、すべてを任せる前に
どのモデルでも、画像・音声・文章を同じように扱えますか。
扱える形式や入出力の組み合わせは手法によって異なります。検索、認識、生成を区別し、必要な処理を個別に確認します。
結果だけを保存すれば十分ですか。
あとで照合できるよう、入力の識別情報と、結果が参照した範囲を結び付けます。元資料を残せる条件や閲覧できる人も、対象の運用に合わせて決めます。