誰が、どこで使う回答なのかを決める
まず、評価したい仕事を一つに絞ります。たとえば問い合わせ先の案内なら、言い回しの違いで必要な窓口へ辿り着けなくならないかを確認します。
単に出力が違うことと、不利益につながる差があることは同じではありません。仕事に関係する違いと、関係しない違いを分けて検討します。
比較する入力を、対にして残す
- 依頼の内容を揃える
求める案内、与える資料、出力の形式を揃えます。どこを変更したかが分かる入力の組を作ります。
- 確認したい条件を変える
丁寧な文章と短い文章など、実際にあり得る言い方を選びます。一度に変える条件を増やしすぎないようにします。
- 差とその影響を見る
案内先、説明の量、断定の強さ、回答しない場合の理由を記録します。結果が揺れる場合はその揺れも残します。
件数の集計と、回答の読み直しを組み合わせる
| 件数の集計と、回答の読み直しを組み合わせる | 集計で探す | 個別の回答で確かめる |
|---|---|---|
| 見るもの | 条件別の成功・失敗・保留の件数。 | 何を案内し、何を説明しなかったか。 |
| 役割 | 差が目立つ条件を見つける。 | その差が利用者へ与える影響を考える。 |
| 注意点 | 少ない件数から全体を断定しない。 | 印象的な一例だけを代表にしない。 |
改善の前後に、同じ問いを残す
- 変更点
- 資料、指示、画面、モデルのどこを変えたかを区別します。複数を変えた場合は、その範囲を記録します。
- 再確認
- 問題が出た入力に加えて、以前問題がなかった入力でも結果を比べます。
- 対象範囲
- 試していない言語や利用者の条件を明示します。確認していない範囲まで改善したとは扱いません。
- 判断者
- 実際の利用に詳しい担当者が影響を検討します。評価者同士で判断が異なる場合も理由を残します。
比較結果を読むときの疑問
回答を全部同じにすればよいのでしょうか。
依頼内容に応じた違いは必要です。業務上必要な理由で違うのか、関係のない条件で扱いが変わるのかを確かめます。
小さな試験で差がなければ、偏りはないと言えますか。
その試験で目立つ差が見つからなかったと記録します。対象、件数、確認方法の限界を添え、利用時の反応も見直しに使います。