数えてみたら、8回ありました。
AIに作業を任せて、その報告を信じて、後から間違いだと分かった回数です。ただし、間違っていたのはAIではありませんでした。8回とも、確かめ方のほうがずれていたのです。
しかも、そのたびに対策を作っています。それでも次は別の形で起きました。
1回目 点検の命令が動いていなかった
書類の中に使ってはいけない記号が無いかを点検させ、0件という報告を受けました。
実際には、点検の命令そのものが動いていませんでした。この環境では対応していない書き方で、実行するとエラーになります。ところが書き方の都合で、エラーが起きても結果が空のまま返ってきました。
空の結果を、そのまま0件として読んでいたわけです。
対策として、0件だったときは同じ範囲で必ず見つかる文字を探し、件数が出ることを示す手順を決めました。探せていたことの裏づけです。
詳しくは AIに点検させたら異常なしと出た 点検自体が動いていなかった話 に書いています。
2回目 試験は通ったが、数が合っていなかった
対策を決めてしばらく回っていましたが、後日、同じ点検が6947件という数字を返しました。記号が1つも入っていないはずの書類です。
命令に別の誤りがありました。複数の記号をまとめて指定する書き方が、文字ではなく内部の符号の単位で動いており、日本語の文章がすべて当たっていたのです。
問題は、この誤った命令が対策の1段階目を通過していたことでした。
記号を並べたファイルで試すと、確かに数が出ます。検出できているように見えます。ただ、そのとき出た数は41字に対して123でした。ちょうど3倍です。
0でない数が出たことだけを見て、数が合っているかを見ていませんでした。
足りなかったのは「当たってはいけないもの」の試験
作り直した試験では、4つのファイルで確かめる形にしました。記号だけを並べたもの、ふつうの日本語の文章、両方が混ざったもの、表の記法を含むもの。
2つ目と4つ目が、以前は無かった試験です。見つけられるかだけを試して、余計なものを拾わないかを試していませんでした。
3回目 探す言葉が違っていた
書類の中に特定の記載があるかを確かめる作業で、想定した言い方で探して0件という結果を得ました。
記載が無かったのではありません。実際の本文が、別の言い方で書かれていたのです。記載が無いと報告する寸前でした。
14通りの言い方で探し直し、そのうえで本文そのものを読み上げて確かめています。
4回目 探す道具が試験に落ちた
控えのファイルが残っていないかを調べる作業で、名前で探す道具を作りました。この道具が、何も見つからないのに0件と出る状態でした。
気づけたのは偶然です。別の方法で探す道具も動かしていて、片方だけが0件になったためです。
名前で探す道具しか作っていなければ、そのまま0件と報告していました。
この経験から、いまは重要な点検を2つの方法で行い、結果を突き合わせています。片方だけが0件になったら、道具を疑います。
5回目 対策はしたが、目的は果たせていなかった
サイトの構成の情報が外から分かる状態を直すため、該当するファイルを1つ消しました。削除は成功しています。
ところが、別の経路から同じ情報が出ていました。塞いだのは1つだけで、目的は果たせていなかったのです。
このときは6通りの見方で調べ直し、9か所から出ていることが分かりました。最初の見方では1件しか見つかっていません。
気づけたのは「あるはずの記述はあるのに、探している値は0件」という食い違いが出たためです。結果を疑うのではなく、見方の側を疑いました。
6回目 測る範囲が狭かった
色の決まりを守っているかを、毎回測っていました。0件という報告が続いていました。
測っていたのは記事の中身だけでした。サイト名や上の帯は範囲の外だったのです。決まりの外の色が11種類あることに、記事を11本公開するまで気づきませんでした。
同じ形の見落としを、後日また見つけています。本名がテーマのファイルの中に書かれており、外から誰でも読める状態でした。本名の確認は画面に出る文字だけを見ており、ファイルそのものは一度も見ていませんでした。
0件という報告を何度も出していましたが、測る範囲の外にありました。
7回目 表示される大きさを確かめていなかった
記事の一覧に出す画像を作りました。文字だけの図で、大きさは横1200と決めています。
1枚作って実際の画面を見たところ、幅375の画面では元の11パーセントまで縮み、文字がまったく読めませんでした。
作る大きさは決めましたが、表示される大きさを確かめていませんでした。設計そのものが成り立っていなかったわけです。
8回目 数えずに数字を書いた
記録の件数を、書類に34件と書きました。実際は32件です。
数えずに、記憶で書きました。しかもその数字は、判断の材料として使われるものでした。
指摘されなければ、そのまま通っていました。
8回に共通していたこと
並べてみると、間違っていた場所は毎回違います。
- 測る道具そのものが壊れていた
- 道具は動いていたが、数が合っていなかった
- 探す言葉が実際と違っていた
- 測る範囲が狭かった
- 塞いだ経路が1つだけだった
- 作ったものは見たが、表示されたものを見ていなかった
- 測らずに書いた
共通しているのは、AIの側に落ちがあったわけではないことです。指示されたとおりに実行し、結果を正直に報告していました。間違っていたのは、確かめ方を設計した側です。
そして、もう1つ共通点があります。対策を作るたびに、次は別の形で起きました。1回目の対策は2回目を防げませんでしたし、2回目の対策は3回目を防げませんでした。
いまやっていること
8回を経て、いま決めているのは次の形です。
同じ対象を2つの方法で測る
これがいちばん効いています。4回目に気づけたのは、たまたま道具が2つあったからでした。
異なる方法で測って、結果が食い違ったら道具を疑う。1つしか無ければ、その道具が壊れていても気づけません。
0件を報告するときに、範囲を書く
何を見たかだけでなく、何を見ていないかを書きます。
調べた範囲、意図的に外した範囲、範囲を決めた理由。範囲の外にあるものは、どれだけ丁寧に調べても見つかりません。
当たってはいけないものを試験に入れる
見つけられるかだけでなく、余計なものを拾わないかも試します。
2回目の誤りは、この試験が無かったために通過しました。
書いたものではなく、出てきたものを測る
指定どおりに書いたのに、実際の画面では違うものが表示されていたことがあります。書いた内容を読んで確かめても、この食い違いは見つかりません。
「規程どおりに書きました」は、確認の証拠になりません。
それでも、9回目は起きると思っています
正直に書くと、この4つを決めた後にも、また別の形で起きました。
目で見て同じに見える色が、測ると決まりの外の色だったという件です。薄い灰色の帯で、画面を見ているだけでは気づけませんでした。
対策を4つ持っていても、まだ足りません。次に何が起きるかは、起きてみないと分かりません。
ただ、8回を経て変わったこともあります。0件という報告を見たときに、まず疑うようになりました。
無いから0件なのか、探せていないから0件なのか。この2つは、報告の上ではまったく同じ形をしています。
存在しないという結論そのものを疑った話は、AIが機能は存在しないと答えた 実際には存在していた にも書いています。
AIに任せるときに、確かめる仕組みを持っているか
この8回で分かったのは、次のことです。
AIに任せて困るのは、AIが間違えることではありませんでした。AIは指示どおりに実行し、正直に報告していました。
困ったのは、その報告が正しいかどうかを確かめる仕組みを、こちらが持っていなかったことです。
作業を任せるとき、多くの人は成果物のほうを見ます。正しく動いたか、指示どおりにできたか。確認の手段そのものが正しいかは、あまり疑いません。
私は8回それを疑わずに来て、8回とも間違っていました。
