AIに実務をやらせていると、確かめるための道具が増えていきます。私のところには今、170ほどあります。
その道具が壊れていました。1つではなく、何度もです。
厄介なのは、壊れていても数字が出ることでした。0件と表示され、異常なしと出る。画面を見ているかぎり、正常に動いているのと区別がつきません。
体温計が壊れていても、数字は出る
今回は体温計のたとえで通します。
熱があるか調べるとき、体温計を使います。36度5分と出れば、平熱だと判断します。
その体温計が壊れていたとします。故障の仕方によっては、電池切れのように何も表示されないこともありますが、いつでも36度5分と表示するだけの壊れ方もあります。
後者のほうが困ります。数字が出ているので、測れたと思う。実際には測っていません。
私の道具が壊れたときの出方は、いつもこちらでした。
違反を仕込んでも、0件と返した
最初に気づいたのは、見た目を点検する道具です。
決めた色以外が使われていないか、禁止した形が出ていないか。そういうものを見る道具を使っていました。動かすと、いつも0件と返ってきます。
ある日、試しにわざと違反を混ぜたファイルを作って、それを見せました。
0件でした。
通知も何も出ません。ただ0件と返すだけです。以前は照合の方法が変わったという知らせが出ていたのですが、それも出なくなっていました。
困ったのは、いつから壊れていたか分からないことです。それまでの点検結果が、どこから信用できないのか。分かりませんでした。
いまは、この道具を使っていません。手で1項目ずつ照らし合わせる形に戻しました。
41字に対して、123と答えた
もう1つ、はっきりした形で壊れていたものがあります。
私は、報告の中に特定の記号が入っていないかを数えさせていました。日本語の書類には使ってほしくない記号があるためです。
その命令が、記号を1つも含まない日本語の文章に対して、6947件と返しました。
明らかにおかしい数です。調べると、日本語の文字は内部で複数の部品に分かれていて、そのうちの1つが、数えたい記号と共通していました。そのため、ふつうの日本語がすべて当たっていたのです。
このとき、実は気づく機会がありました。動くかどうかを確かめる試験で、記号を41字だけ置いたファイルを見せていたのです。命令は123と答えました。ちょうど3倍です。
その時点で私は「0ではない数が出た。動いている」と判断して先へ進みました。数が合っているかは見ていませんでした。
体温計を試すのに、お湯に入れて数字が動くのを見て、それで満足したようなものです。何度になるはずか、決めていませんでした。
道具が2つあったから気づけた
3つ目は、たまたま助かった話です。
控えのファイルを探させる作業で、道具を2つ使っていました。ファイルの名前で探すものと、拡張子で探すものです。
結果が食い違いました。片方は0件、もう片方は見つかったと言っています。
調べると、名前で探すほうが誤っていました。何も見つけられない状態なのに、0件という結果だけを正常に返していたのです。
このとき道具が1つしかなければ、0件をそのまま信じていました。壊れていることに気づけたのは、比べる相手がいたからです。
いま、道具に入れている3つの仕掛け
これらを踏まえて、点検の道具を作るときに3つ入れています。
1つ目。わざと当たるものを見せて、当たることを確かめる。
道具を動かす前に、必ず引っかかるはずのものを1つ用意します。それを見つけられなければ、その道具は使いません。
体温計なら、お湯に入れて反応するかを見る段階です。
2つ目。何件返すべきかを、先に決めておく。
これが41字と123の教訓です。0でない数が出たことは、動いていることの証明になりません。41置いたら41と返るべきで、123なら壊れています。
見込みの数を先に書いておいて、合わなければ止まる形にしました。
3つ目。当たってはいけないものも見せる。
ふつうの日本語の文章を見せて、0件になることを確かめます。何にでも反応する道具も、また壊れているからです。
体温計で言えば、室温で測って36度5分と出ないことを確かめる、ということです。
数が合わないとき、道具を先に疑う
もう1つ、使い方の側で変えたことがあります。
書類に書いてある数字と、実際に数えた数字が食い違ったとき、以前は書類のほうが古いと判断していました。たいていはそうだからです。
いまは、道具のほうを先に疑います。
実際、この数か月で、道具の側が誤っていたことが5回ありました。書類の数字は正しかったのに、数え方が変わっていたり、探す目印が古くなっていたりした。そのまま書類を直していたら、正しい数字を壊すところでした。
食い違いは、どちらが間違っているかを教えてくれません。数字だけ見て、書類のほうを直すのは、体温計の数字を見て体のほうを疑うようなものです。
道具は増えるが、点検は増えない
道具が増えると、確かめられる範囲は広がります。ただ、道具そのものを確かめる手間も一緒に増えます。
私はその手間を、道具の中に入れることにしました。動かすたびに、まず自分自身を試してから本番に進む形です。手動で確かめる工程を別に作ると、そちらをやらなくなるからです。
170ある道具の多くが、この形になっています。それでも、まだ気づいていない壊れ方があると思っています。今日も1つ見つけました。
