「AIは自分が知らないことを知っているか」英語圏の検証を3本読んだ

「自信の度合いも一緒に答えて」と指示すると、数字が返ってきます。あの数字をどこまで信じていいのか、英語圏では10年近く検証が積まれています。日本語の実務記事ではあまり訳されていないので、要点だけ持ってきました。

日本の実務に効く部分

ここが実務での分かれ目です。一般的な知識を一般的な聞き方で尋ねるかぎり、自信の度合いはそこそこ当てになります。ところが自社の就業規則を貼る／地方の条例を聞く／今年変わった制度を聞くといった、形式も内容も学習時から離れた質問ほど、当てにならなくなります。実務で聞きたいのは、たいてい後者です。

編集部つまり「自信の度合いを聞けば安全」は、いちばん危ない場面でだけ外れます。効かない指示の一種として、この媒体の分類では「効かなかった指示」に入れています。

訳すときに落とさないようにしたこと

原文の主張は「ある程度は当たる」であって「当たらない」ではありません。日本語の紹介記事では、この手の結果が「AIの自己申告は無意味」と要約されがちですが、それは訳しすぎです。条件つきの結論を条件つきのまま訳す、というのがこの連載の方針です。

原文へのリンクは、編集部が全文を開いて該当箇所を確認してから貼ります。出典が付いているのに中身が違う、というのが当媒体のいちばん扱っている題材なので、そこで手を抜くわけにいきません。