サイトを作るとき、外から何かを持ってくる場面があります。仕組みの部品や、見た目のひな型です。
その取得先を、AIが示してくれます。私はシステム開発の技術者ではないので、どこが正しい配布元かを自分では判断できません。示されたものを、そのまま使うことになります。
示された住所が、廃止済みでした。
電話帳が古いままだった
今回は電話帳のたとえで通します。
店に電話をかけたいとき、電話帳を引きます。番号が書いてあるので、それをかける。
つながりません。番号が変わっていたのか、店が移転したのか。電話帳が古かった、というだけの話です。
電話帳が悪いわけではありません。作られた時点では正しかった。ただ、それから時間が経っていました。
AIが持っている知識も、これに近い面があります。
承認を求められて、承認して、404だった
起きたことは単純です。
サイトの見た目のもとになるものを、外から取ってくる必要がありました。AIが取得先の住所を示して、「これが唯一の公式配布元です」と言いました。
このとき、AIの側の仕組みが作業を止めました。外部から取ってきたものを本番へ入れる作業は、取得先を人が承認していない状態では実行できない、という判定です。
私は住所を見て、承認しました。公式だと言われているし、他に判断材料もありません。
実行したところ、404でした。その住所は、すでに廃止されていました。
正しい取得先は別の場所にあり、公式の案内ページを読んで初めて分かりました。承認を取り直すことになり、二度手間です。
止まったこと自体は、正しく働いていた
この件で、1つだけ良かったことがあります。
仕組みが止まって、人に承認を求めた点です。
外部から取ってきたものを本番で動かす作業は、取得先しだいで結果が変わります。もし住所を作業する側が自分で選んで、そのまま実行していたら、私はその選択を見ないまま結果だけを受け取っていました。
正しくない場所から取ってきていても、動いてしまえば気づきません。
止められたことで、私は住所を目にしました。結果としてその住所は間違っていましたが、間違っていたことに気づけたのは、目にしたからです。
電話帳を渡されて「この番号にかけますよ」と一声かけられたようなものです。番号が古いことには気づけませんでしたが、かけた先が違うと分かったとき、何が起きたかを追えました。
「唯一の」という言い方
引っかかったのは、示され方でした。
「これが唯一の公式配布元です」という言い方です。断定されると、確かめようという気持ちが起きにくくなります。
実際には、確かめていない住所でした。記憶にある住所を、そのまま最新のものとして示していたのです。
これは、AIが嘘をついたのとは違います。示した時点では、それが正しいと思っていた。ただ、実際に開いて確かめてはいなかった。
いまは、外部の住所を使うときに、先に開いて確かめさせています。承認を求める場面ではとくに、承認を求める前に到達を確かめる。断定した言い方で示す前に、実物を見る、ということです。
「存在しない」と言われたが、あった
逆の形も起きています。
ある機能について、AIが「存在しない」と結論して報告してきました。その前提で、決まりの改定まで提案されました。
実際には存在していました。他のサイトで現に動いています。
このときの調べ方は、1つの言い方で探して、見つからなかったから無い、というものでした。別の言い方で書かれている可能性は考えていません。
面白いのは、同じ日に「無いと結論する前に3段階で確かめる」という決まりを作っていたことです。点検の作業では守っていたのに、調べものの作業では守っていませんでした。
存在しないという結論は、存在するという結論より強い主張です。存在するほうは1つ見つければ済みますが、存在しないほうは全部を見なければ言えません。その意識がありませんでした。
あると言われても、無いと言われても
2つの話は、逆向きですが同じ形です。
あると言われたものが無かった。無いと言われたものがあった。どちらも、実際に確かめずに結論が出ていました。
いま、AIが何かの有無について報告してきたときは、確かめ方を聞くようにしています。どこを見て、何を探して、そう結論したのか。
住所であれば、実際に開いたかどうか。機能であれば、いくつの言い方で探したか。
結論そのものより、そこへ至った手順のほうを見ます。手順が書かれていない結論は、いったん保留にする。
電話帳を信じるかどうかは、番号を見ても分かりません。いつ作られたものかを見るしかありません。
