始める前に、試験の形を決める

  1. 答えたい問いを一文にする

    たとえば「同じ資料から必要な箇所を探すとき、案内の形式で確認のしやすさが変わるか」のように、観察する対象を限定します。

  2. 揃えるものと変えるものを分ける

    入力資料、評価する人、実施環境などを整理します。複数の条件を変える必要がある場合は、何の影響を区別できないかも書きます。

  3. 見る点と止める条件を先に置く

    出典が辿れるか、説明の不足がないかなど、確認点を決めます。想定外の外部操作や扱えない情報が現れた場合の中止方法も用意します。

結果に添える、やり直すための情報

入力
実際に使った資料と指示を版で区別します。共有できない内容は、保管場所と閲覧できる人を記録します。
条件
使用した道具やモデルの版、変えた設定、実施した環境を分かる範囲で残します。確認できない値は未確認とします。
出力
うまくいった候補だけを選ばず、実際に得た結果を入力へ結び付けます。中断やエラーも別に残します。
観察
確認者、見た範囲、気になった箇所を記録します。動画なら時間位置を添え、静止画だけの確認と通常速度での視聴を区別します。

見えたことと、そこから考えたことを分ける

見えたことと、そこから考えたことを分ける観察として残すこと判断に進む際の注意
回答の違い同じ入力で得た出力を並べる。一度の差だけで常に優れるとは決めない。
失敗止まった工程と、その前後の状態を記録する。原因を推測した場合は、確定事項と分ける。
制作物の確認見たファイルと範囲、見つけた箇所を示す。画像の確認から動画の動きや音の品質まで認定しない。

同じ条件でも揺れる結果は、そのまま扱う

生成を含む試作では、同じ条件でも結果が変わることがあります。変動が判断に影響する場合は、試す回数や見方を計画に含め、良い例だけを代表として示さないようにします。

条件を変えてやり直した場合は、先の結果に上書きせず別の試験として残します。再現できなかったことも、次に条件を見直す材料になります。

試作を進める際の疑問

一度の試作で方針を決めてもよいですか。

確認した範囲で暫定判断することはできます。どの条件まで見たかを添え、広い用途への適用や安定した性能の確認とは分けます。

失敗した結果も共有しますか。

判断に関係する失敗は残します。共有先に必要な情報へ絞り、未公開素材や個人情報が出力に含まれていないか確認してから渡します。