AIに作業を頼むとき、指示を書いて渡します。渡したものが正しく届いたかどうかを、私は長いこと確かめていませんでした。
届いていないことに気づいたのは、作業が半分しか終わっていなかったときです。
同じ封筒が2通あった
今回は手紙のたとえで通します。
大事な用件を手紙で送ります。返事が来て、読むと、こちらが書いた内容と噛み合っていません。
送った手紙を確かめると、机の上に同じ封筒が2通ありました。書き直した新しいほうと、古いほう。送ったのは古いほうでした。
相手は届いた手紙を正しく読んで、正しく返事をしています。読み間違えていません。届いたものが違っただけです。
前半だけ実行されて、後半が丸ごと落ちた
起きたことは、これでした。
ある依頼を2つの部分に分けて書きました。前半が報告の出し方を直すこと、後半が決まりの改定です。
返ってきた報告を読むと、前半だけが実行されていました。後半は丸ごと行われていません。
作業した側は、与えられた内容を正しく実行し、正直に報告していました。嘘も手抜きもありません。渡された指示に、後半が入っていなかったのです。
私は書き直した版を作っていて、渡したのは古いほうでした。
厄介なのは、報告を読むまで気づけなかったことです。報告には依頼書の名前が書いてありました。ただ、同じ名前で中身の違う版が2つあったので、名前だけでは区別がつきません。
合言葉を入れることにした
対策は単純でした。
依頼書に合言葉を書いて、報告の1行目でそれを復唱させます。合言葉は依頼ごとに変えます。
こうすると、返ってきた報告の1行目を見るだけで、どの版が届いたかが分かります。復唱されているのが古い版の合言葉なら、渡し間違いです。
手紙に通し番号を振って、返事にその番号を書いてもらうようなものです。中身を読む前に、どれへの返事かが分かります。
いまも毎回入れています。渡し間違いは、それ以来起きていません。
指示した位置が、そもそも壊れていた
もう1つ、指示の中身が誤っていた件もあります。
書類のある場所に見出しを足すよう指示しました。「表の直後に足すこと」と書いて、目印として1行を示しました。
その行は、表の最後から2番目の行でした。指示どおりに実行すると、表が途中で分断されます。
AIは実行せずに止まり、疑問として報告してきました。指定どおりにやると壊れます、と。
原因は、私が書類の実際の並びを確かめずに位置を指定したことです。手元の記憶で「たしかこのあたり」と書いていました。
このときAIが指示に忠実だったら、表は割れていました。決まりのほうに「壊れると分かる指示は、壊さない側に倒して報告する」と書いてあったので止まった、という話です。
探し方が違って、無いと報告しかけた
3つ目は、確かめる側の誤りです。
書類の中に、ある記載があるかを確かめさせました。「保存しません」という言い方で探して、0件という結果が返ってきます。
記載が無い、と報告する寸前でした。
実際の本文は「保存する仕組みは設けていません」でした。同じ内容が、別の言い方で書かれていたのです。
探す側が想定した言い方だけで探していました。このときは14通りの言い方で探し直して、見つかっています。
手紙で言えば、「至急」と書いてあるはずだと思って探して、実際には「なるべく早く」と書かれていた、というようなものです。
届いたかどうかは、中身とは別に確かめる
3つとも、AIの側に落ち度はありませんでした。
届いた指示を正しく実行し、指定どおりにやると壊れることに気づいて止まり、指示された言い方で探した。どれも指示のとおりです。
問題は、指示を出す側にありました。古い版を渡し、確かめずに位置を指定し、1つの言い方だけで探させた。
いま、指示を出すときに3つ確かめています。
どの版が届いたか。これは合言葉で分かります。
指定した場所が実在するか。書き込ませる前に、目印がそこにあるかを先に確かめさせます。無ければ、何も書き換えずに止まる形です。
探させるときは、何通りの言い方で探したかを書かせます。1通りなら、それは探したうちに入りません。
指示を書く時間より、確かめる時間のほうが長い
いま、依頼書を1つ書くのに、確かめる項目を40ほど付けています。
多すぎるように見えますが、これを付けるまで、直す作業のほうが多く発生していました。半分しか実行されていない、壊れた場所を直させた、無いものを無いと結論した。どれも、後から気づいて直しています。
手紙を出す前に封筒を確かめるのは面倒ですが、間違った手紙が届いてからやり直すより早い。
いまも新しい間違え方が出てきます。そのたびに、確かめる項目が1つ増えます。
