AIを業務に入れたあとに、ここで詰まります
どれか1つでも当てはまるなら、判定の対象になります。
自信たっぷりに間違える
出力に「たぶん」が付かないので、担当者は正しいか判断できません。もっともらしい一般論が、条件を落としたまま社内に回ります。
社内にレビューできる人がいない
労務・税務・契約は、判断できる人が限られます。その人に全部の出力を見せる時間はなく、結果として誰も確認していない状態になります。
更新して良くなったか分からない
モデルもプロンプトも頻繁に変わりますが、前より悪化していないかを確かめる基準がありません。気づくのは事故が起きてからです。
公開されているケースとの違い
やっていること（主張ごとに人が判定する）は同じで、対象と扱いが違います。
| 公開ケース | 法人向け | |
|---|---|---|
| 評価する対象 | 誰でも検索する一般的な問い | 自社AIが実際に返した回答 |
| 公開範囲 | 公開（人の判断が入ってから） | 非公開。社外には出しません |
| 判定する人 | 参加した実務者・専門家 | 確認済みの実務者・専門家をこちらで手配 |
| 受け取るもの | 誰でも読めるページ | 危険な回答と条件漏れのレポート |
| 使いどころ | 自分が判断するため | 導入判断・社内説明・モデル更新の確認 |
| 費用 | 無料 | 有料（評価件数） |
小さく始めて、続けられる形にします
- 1
回答10件でパイロット
実際にAIが返した回答を10件お預かりします。主張ごとに分解し、確認済みの実務者が「現場では違う」を書き足します。まず精度と使い勝手を見てください。
- 2
定点で評価を続ける
同じ問いのセットで継続的に判定します。件数と頻度は業務に合わせて決めます。判定の履歴が残るので、社内説明や監査の材料になります。
- 3
モデル更新のたびに回帰テスト
モデルやプロンプトを変えたとき、同じ問いを新旧で判定して差分を出します。良くなった点と悪化した点が分かってから切り替えられます。
なぜPersonsが判定できるのか
公開側で、実務者が「どの主張をどう判断したか」を条件つきで積み上げています。 だから評価の基準が一般論ではなく現場の運用です。 資格・実務経験を確認した人のネットワークがあるので、領域に合う判定者を手配できます。
評価に使う形式も公開側と同じ（主張ごとの判定）なので、 公開ベンチマークと並べて読めます。
評価について相談する
自社AIの回答を、公開ケースと同じ「主張ごとに人が判定する」形式で評価します。 まずは10件のパイロットから。
内容は公開されません。
課金は法人側だけです（評価件数・継続評価・レポート）。 公開側の読者・実務者・専門家は無料のままにします。 取引を仲介して手数料を取るモデルは採りません。