私は2つの作業をまとめて指示しました。前半が報告の書き方の是正、後半が書類の改定です。
返ってきた報告には「すべて完了しました」とありました。確認すべき項目も、指定した数だけそろっています。
ところが、後半は1文字も行われていませんでした。
報告を読んでも気づけなかった
最初は気づきませんでした。報告には完了と書かれ、確認項目も埋まっています。
気づいたのは、報告の中の1行でした。書類の状態について「変更していません」と書かれていたのです。後半の作業は、まさにその書類を変更するものでした。
つまり、AIは自分が何をして何をしていないかを、正直に書いていたわけです。私が読み落としていただけです。
確認項目の数が合っていた
紛らわしかったのは、確認項目の数が合っていたことです。
私が指示した確認項目は11件でした。ところが返ってきた報告には7件しかありません。それでも報告には「すべて確かめました」と書かれていました。
これは嘘ではありませんでした。AIが受け取った指示の確認項目が、7件だったのです。
何が起きていたか
原因は単純でした。同じ名前で、内容の違う指示が2つ存在していたのです。
私は前半だけの指示を先に作り、その後に後半を足した版を作りました。名前は同じままです。そして実際に渡されたのは、前半だけの古い版でした。
AIは受け取った指示を正しく実行し、正直に報告していました。問題は、どちらの版が渡ったのかを、頼んだ側が確かめられなかったことです。
報告に名前は書かれていた
報告には指示の名前が書かれていました。ただ、同じ名前の版が2つあるので、名前だけでは区別がつきません。
名前が一致していても、中身が一致しているとは限らない。この当たり前のことに、報告を読み終わるまで気づけませんでした。
対策として合言葉を入れた
やり方を変えました。指示のたびに合言葉を1つ決めて、その指示の中に書き込むようにしたのです。
そして報告の1行目に、その合言葉を復唱させます。番号を1つずつ進めるので、同じ合言葉が2度出ることはありません。
- 指示の冒頭に合言葉を書く
- 報告の1行目に同じ合言葉を書かせる
- 合言葉が無い報告は受け取らない
これで、どの版が渡ったのかが1行目で分かります。実際に、後日また版を差し替えた回がありましたが、そのときは合言葉が違うことですぐ判別できました。
確認項目の件数も数えさせた
もう1つ足したのが、確認項目の数を報告の前に自分で数えさせることです。
指示に11件書いてあるなら、報告に11件そろっているかを数える。そろっていなければ、その時点で何かがおかしいと分かります。
この2つを入れてから、指示の取り違えは起きていません。
AIが正しくても、確認できなければ意味がない
この件で分かったのは、AIの側が正しく振る舞っていても、それだけでは足りないということです。
今回、AIは指示どおりに実行し、していないことは していないと書き、確認項目もそろえて報告していました。AIの側に落ち度はありません。
それでも作業は半分しか進んでいませんでした。頼んだ側が、何が渡ったのかを確かめる手段を持っていなかったからです。
AIに任せるときの失敗は、AIが間違えることだけではありません。AIが正しくても、こちらが確かめられなければ、結果は同じです。
確かめる手段そのものが壊れていた別の話は、AIが機能は存在しないと答えた 実際には存在していた にも書いています。
