AIの回答を、実際の仕事の一問で確かめる

AIの回答が速くなったとき、以前必要だった情報まで省かれていないかは、別に確認したい点です。Lyqaの開発でも、速さ、情報の漏れ、背景の残し方を一緒に見る必要がありました。

チームで回答を試すときは、実際に判断したい一問と、確認できる原文を用意すると、評価を具体的にできます。

回答を見る前に、必要な材料を書いておく

たとえば「この案件の開始日を、お客様へ伝えてよいか」という質問を使います。これは仮の例ですが、答えには、準備の完了状況、残っている確認、開始日を決める人の合意などが必要でしょう。

事前に必要な項目を書いておくと、文章が自然だから十分だと受け取るのを避けやすくなります。答えが分からない項目も、「未確認と示してほしい」と決めておけます。

同じ条件で、四つを見る

確認する点	見るところ
必要な情報	判断を変える条件が残っているか
根拠	引用先が、その説明を支えるか
不確かな点	分からない部分が分かるか
待ち時間	この仕事の場面で待てるか

根拠が付いていても、リンク先の一部だけを都合よく読んでいないかを確かめます。条件や例外が省かれていれば、その箇所を記録します。

速さを比べるなら、質問と参照する資料の範囲をそろえます。試す途中で資料が変わった場合は、その変化も残します。一度の観察だけで、いつも同じ品質や待ち時間になるとは判断できません。

良し悪しを、次の行動で記録する

「良かった」だけより、「回答だけで確認相手を決められた」「未確定の期限を確定と書いていた」のような記録が役立ちます。何が足りず、どんな判断に困ったかを具体化できます。

最初から大量の質問を作る必要はありません。よくある一問、条件が変わった一問、答えがまだない一問など、性質の異なる場面を少しずつ残せます。

回答を使ったあとに、結局どこを人に確認したかも記録してみてください。そこが、次の評価で見落としたくない項目になります。