SPLIT割れた
AIが自信満々なときほど間違えている、という話は本当か
Personsの判定1,200件で見ると、そこまで単純ではありませんでした。
AIの使い方6分
この記事の効能書き
- 読む人
- AIの回答をどこまで信じるか決めたい人
- 分かること
- 断定の強さと判定結果の関係。実際に危ないのはどの型か
- 分からないこと
- モデル別の正答率。別の記事で扱います
よく言われる話ですが、手元の判定を数えると逆でした。断定している回答のほうが、正しいと判定される割合は高く出ます。断定できるのは、それがよく知られた事実だからです。
危ないのは断定ではなく、条件を落とした断定
危険と判定された回答を抜き出すと、共通していたのは断定の強さではなく、適用条件を書かずに手順だけ書いていることでした。読み手はそのまま実行できてしまいます。断定していても条件が書いてある回答は、間違っていても危険にはなりにくい。
編集部つまり「自信満々だから怪しい」で選別すると、いちばん危ない回答を見逃します。見るべきは語調ではなく、条件が書いてあるかどうかでした。
この記事のもとになった検証
記事のために書き下ろした文章はありません。上のAI回答と訂正は、Persons に残っている検証から引いています。条件の全文はこちらで読めます。
あなたの場合は、どうですか。
同じ質問でも、人数・業種・契約の形が違えば答えが変わります。受け取った回答を貼ると、 その領域の実務者が条件つきで確かめます。登録不要・無料。
ほかの記録
- EXPLAINER解説有給の比例付与、AIに聞く前に押さえる3つの数字
週の所定日数・所定時間・勤続年数。この3つが揃っていない質問には、誰も正しく答えられません。
- EXPLAINER解説秘密保持契約、AIに叩き台を作らせる前に決める4項目
目的・範囲・期間・例外。ここが空のまま頼むと、それらしい条文が返ってきます。