比較表を作る前に記載すること
- 対象
- 製品名だけでなく、実際に試した版や設定を区別します。別の版の結果を同じ欄へ混ぜません。
- 入力と用途
- 試験に使った資料や場面の範囲を示します。少数の例や特定の分野に偏っている場合は、その制約を添えます。
- 実施条件
- 環境、実施時点、繰り返し方など、結果へ影響し得る条件を残します。条件を揃えられなかった箇所も記します。
- 判定方法
- 自動で測る値と、人が表現や使いやすさを確認する項目を分けます。何を満たせば十分かを用途から決めます。
一つの指標で、すべてを代弁しない
| 一つの指標で、すべてを代弁しない | 確認したい点 | 一緒に見る条件 |
|---|---|---|
| 処理の時間 | 決めた開始点から終了点までの経過。 | 準備時間を含むか、入力の大きさ、実行環境。 |
| 出力の妥当性 | 指定した項目が満たされ、根拠へ戻れるか。 | 正解や確認基準、判定できないケースの扱い。 |
| 制作物の伝わり方 | 意図した内容を理解できるか。 | 見る人、表示条件、素材、視聴した範囲。 |
| 運用の負担 | 確認や修正を含めて仕事を進められるか。 | 自動処理だけでなく、人の作業も含めた対象範囲。 |
結果から選定へ進むときの順番
- 条件が比べられるかを確認する
共通の条件と異なる条件を読みます。比べられないものは無理に一つの順位へ並べません。
- 平均以外の結果にも戻る
失敗例や結果のばらつき、対象別の違いを確認します。詳細が公開されていない場合は、分からない部分として扱います。
- 使いたい場面で確かめる
公開された比較を候補選定の材料にし、実際に使う入力と制約で別途確認します。元の評価と追加確認の結果を混ぜずに記録します。
未測定と、不合格を区別する
まだ測っていない項目、条件が合わず比較できない項目、試した結果が基準を満たさなかった項目は別の状態です。空欄を都合の良い値で埋めたり、測定していない候補を低い点数として扱ったりしません。
このページに性能順位や実測値は掲載していません。具体的な比較結果を掲載する際は、対象の版、条件、測定記録、確認範囲を揃えて示す必要があります。
評価結果を選定に使う前に
公開ベンチマークで上位なら、そのまま選べますか。
候補を絞る材料にはなります。評価された仕事と、自分たちの入力・用途・確認方法が合うかを別に見ます。
人が付けた評価は数値と並べられますか。
何をどう判断したかを明記すれば比較材料になります。客観的な測定値と同じ性質だと扱わず、確認者や対象、評価基準を添えます。