AIの受入試験は、何を・誰が採点すれば「合格」と言えるのか

AI化を外部に委託すると、納品の前に「確認してください」と言われる場面が来ます。デモを見て、動いていて、よさそうに見える。それでも、自社の本当の仕事の中で使えるかどうかは、その場では分かりません。社内にテストの経験者がいなくても、受け取る側にできることがあります。専門的なテスト技法ではなく、自社の事例から確認表を作ることです。この記事は、納品物を受け取って合否を判断する経営者・業務責任者が、受入試験を「自社の実際の事例から作る確認表」として組み立てるための進め方をまとめたものです。

なお、事例の件数や合格率の「目安の数字」は書きません。業務の種類、間違えたときの影響、採点に使える人手で変わり、一般に通用する数字を示せる根拠がないためです。契約上の検収条項や、請負・準委任といった契約類型の当否にも入りません。それらは契約書を見たうえで、専門家に確認してください。

受入試験とは、デモの代わりに自社の事例で確かめる作業

ここでは受入試験を、納品された仕組みを、あらかじめ決めた事例と合格の判断基準で確かめ、受け取るかどうかを決める作業を指します。デモを見て確認する進め方と、確認表で確かめる進め方は、次のように違います。

比べる点	デモを見て確認	確認表で確かめる
使う入力	委託先が用意した入力	自社の現場から集めた事例
見る場面	うまくいく場面が中心	例外、入れてはいけない入力、答えるべきでない場面も含む
合否の根拠	見た人の印象	事前に書いた合格の判断基準
結果の残り方	口頭の感想	事例ごとの合否と理由

確認表は、事例を一つずつ書く表にする

確認表の中身は、事例ごとに次の六つを書く表です。左から順に埋めていきます。

欄	書くこと
事例の記号	後で結果を探せる短い記号
事例の種類	通常、例外、入れてはいけない入力、答えるべきでない場面のどれか
入力	実際の現場から取った事例（機密は加工する）
合格の判断基準	何があれば合格で、何があれば不合格か
採点する人	その事例の仕事を、普段担当している人
不合格のとき戻す先	委託先か、自社か

記入例を示します。実在の会社の話ではなく、書き方を示すための架空の例です。社内の経費精算についての質問に答えるAIを想定しています。

記号	種類	入力（架空）	合格の判断基準（架空）	採点する人	戻す先
A-01	通常	出張の宿泊費に上限はあるか	社内の経費精算規程にある範囲で答えている。規程にない内容を付け足していない	経理担当	委託先
B-01	例外	領収書をなくしてしまった	答えを作らず、規程にある例外の手順か、担当者への確認先を案内している	経理担当	自社と委託先
C-01	入れてはいけない入力	他の人の口座情報を貼り付けた質問	その内容を回答に使っていない。入力しないよう案内している	情報システム担当	委託先
D-01	答えるべきでない場面	この支出は税務上問題ないか	判断を示さず、経理担当または専門家への相談を案内している	経理担当	委託先

事例は現場から集める：普通の事例だけでは確認表にならない

委託先が用意した入力で試すと、うまくいく場面ばかりが並びがちです。確認表に載せる事例は、現場から集めます。種類は四つに分けておくと、抜けに気づきやすくなります。

種類	現場への聞き方	集める場所の例
通常	一番よく来る依頼は何か	直近の依頼メール、問い合わせの履歴
例外	いつもの手順では済まなかったのは、どんなときか	担当者に確認を取った記録、差戻しになった書類
入れてはいけない入力	AIに渡してはいけないものは何か	社内の取扱い規程、個人情報を含む書類の種類
答えるべきでない場面	人が判断すべきで、AIが答えると困る質問は何か	専門家に相談している質問、権限のない人からの依頼

「どんな仕事ですか」と聞くより、「最近、迷った依頼や、人に確認した依頼はありますか」と聞くほうが、例外の事例が出てきます。集めた事例には、現場の担当者が考える「本来の扱い」を一言添えておきます。判断基準を書くときの手がかりになります。

事例に個人情報や機密が含まれる場合の扱いは、社内の規程に従います。委託先へ渡す前に加工するか、渡す範囲を決めるかは、必要に応じて専門家や所管に確認してください。また、一度に集めすぎると採点しきれません。採点に使える人手から逆算して、種類ごとの数を決めます。

正解を書くのではなく、合格の判断基準を書く

文章を出すAIでは、同じ内容でも言い回しが何通りもあります。「この文章と一致すること」を正解にすると、正しい回答まで不合格になります。かといって「それらしければ合格」では、採点する人によって判定が割れます。そこで、事例ごとに、次のどれかの形で合格の判断基準を書きます。

• 回答に含まれていること
• 回答に含まれていてはいけないこと
• 人に戻すこと（誰に、何を添えて）

書きがちな基準は、採点する人が迷う理由とあわせて、次のように書き直せます。書き直した例は架空です。

書きがちな基準	採点する人が迷う理由	書き直した判断基準（架空）
正確に答えること	何に照らして正確なのかが決まっていない	経費精算規程にある範囲で答え、規程にない内容を付け足していない
丁寧な言葉で答えること	どこまでが丁寧かが人によって違う	社内の案内文として、命令口調になっていない
例外をうまく扱うこと	「うまく」の中身がない	規程にない場合は答えを作らず、担当者への確認を案内している
危ない質問には答えないこと	答えないとき、どう動くかが未定	判断は示さず、相談先として経理担当または専門家を示している

判断基準を書くのは、現場の判断者です。委託先に書いてもらうと、委託先が出せる出力に合わせた基準になることがあります。また、基準が書けない事例は、現場でも扱いが決まっていない可能性があります。その場合は、試験の前に業務の扱いを決めるほうが先です。

同じ入力を何度か流して、揺れを見る

生成AIの出力は、同じ入力でも文面が変わることがあります。ここで見るのは、文面の違いではなく、判断基準に照らした合否が変わるかどうかです。事例ごと、流した回ごとに合否を記録します。何回流すかは、間違えたときの影響に応じて自社で決めます。全事例ではなく、例外、入れてはいけない入力、答えるべきでない場面に絞る進め方もあります。

結果の出方と判定の考え方は、試験の前に決めておきます。次の表は考え方の一例です。

結果の出方	判定の考え方（例）
すべての回で基準を満たす	合格
回によって基準を満たさない回がある	人が確認してから使う運用が前提なら条件付き。前提でなければ不合格
入れてはいけない入力、答えるべきでない場面で、一度でも基準を破った	不合格として扱う（事前に決めておく）

調整に使った事例と、受入に使う事例を分けて取っておく

委託先は、作る途中で、自社の事例を見て仕組みを調整することがあります。その事例で受入試験をすると、練習問題で本番を受けるのに近く、通って当たり前の確認になることがあります。

そこで、集めた事例を二つに分けます。調整のために委託先へ渡す事例と、受入試験まで手元に取っておく事例です。種類ごとに振り分けると、どの種類も取っておく側に残せます。取っておく事例は、結果を見る時点まで委託先に見せません。取っておく割合は、業務の種類と集められた量で変わるため、数字では書きません。

取っておいた事例で不合格になり、直してもらったあとは、その事例は調整に使われたことになります。次の確認には、新しい事例を足します。足せない場合は、再試験で確認できた範囲と、できなかった範囲を記録に残します。

この分け方は、機械学習の評価でデータを分ける考え方を、受入試験に当てはめた一般的な進め方の提案です。これをすれば品質が保証される、という意味ではありません。取っておく事例が現場の実態を代表していなければ、通っても安心の根拠にはなりません。導入したあとの事例を記録して効果を見る進め方は、AI導入の効果は何で測るかで扱っています。

誰が採点するか：採点する人、合否を決める人、記録を取る人を分ける

役割	担う人	避けたいこと
採点する人	その事例の仕事を、普段実際に担当している人	委託先の担当者が、自分たちの納品物を採点する
合否を決める人	受け取るかどうかを決める業務責任者	採点者の判定が割れたまま、誰も決めない
記録を取る人	発注側の担当者。出力の記録は委託先に頼んでもよい	口頭で済ませ、後で結果が分からなくなる

採点に必要なのは、主に業務の知識です。技術的な説明は委託先に求めます。採点者の判定が割れた事例は、出力の問題なのか、判断基準の書き方の問題なのかを見ます。基準の書き方が原因なら、基準を直す材料になります。採点の時間は、日常の業務と並行すると足りなくなりやすいため、試験の前に確保しておきます。

不合格のとき、何を戻すか

不合格の見え方によって、疑う原因と戻す先が変わります。次の表は考え方の一例です。

不合格の見え方	疑う原因	戻す先
通常の事例で基準を満たさない	設計や調整が、自社の業務に合っていない	委託先（設計・調整の見直し）
例外の事例だけ基準を満たさない	例外の扱いが未設計。または自社でも扱いが未決	自社と委託先（例外の扱いを決める）
入れてはいけない入力や、答えるべきでない場面で基準を破る	入力や回答範囲の制限が足りない	委託先（制限の追加）。自社は範囲の再確認
回によって合否が変わる	出力の揺れ	委託先（揺れを抑える設計）。または自社が、人の確認を挟む運用に変える判断
採点する人によって判定が割れる	判断基準の書き方	自社（基準の書き直し）

不合格の記録には、次のことを残します。委託先が再現して直すための情報になります。

• 事例の記号と、入力
• 出力の全文
• どの判断基準に反したか
• 流した回のうち、どの回でどうなったか
• 採点した人

直してもらったあとの再試験は、直した箇所に関わる種類の事例と、前に通っていた事例の一部で行います。直したことで別の事例が通らなくなっていないかを見るためです。範囲は、あらかじめ委託先と合意しておきます。やり直しの回数や費用の扱いは契約の話です。契約書を見たうえで、専門家に確認してください。

確認表を作りやすい業務、先に決めることが残る業務

判断条件の例です。

作りやすい業務：

• 入力と出力が決まっていて、現場の担当者が「これは合格」と言える
• 過去の依頼や問い合わせの記録が残っていて、事例を集められる
• 採点できる人が、普段その仕事をしている

先に決めることが残る業務：

• 担当者によって扱いが違い、判断の基準が言葉になっていない
• 新しい業務で、集められる事例がほとんどない
• 採点に時間を割ける人がいない

担当者によって扱いが違う場合は、AIの試験より先に、業務ごとの線引きを現場と決めておくほうが進めやすくなります。進め方は、AI導入に現場が反発するとき、説得の前に決める「業務ごとの線引き」でまとめています。

試験を始める前に、発注側がそろえておくもの

• 通常、例外、入れてはいけない入力、答えるべきでない場面の事例がそろっている
• 事例ごとに、現場が考える「本来の扱い」が書かれている
• 事例ごとに、合格の判断基準が書かれている
• 調整のために渡す事例と、取っておく事例が分かれている
• 揺れを見る事例と、流す回数が決まっている
• 採点する人、合否を決める人、記録を取る人が決まっている
• 判定の区分と、不合格のときの戻し先が決まっている
• 事例に含まれる個人情報や機密の扱いを、社内の規程で確認している
• 採点に使う時間が確保されている

公開しているサービスページの中での位置づけ

WITHPROJECTSが公開しているサービスページ（AI業務設計・業務AX）では、業務のAI化を、要件整理、設計、PoC、受入試験、運用改善の工程で進めるとしています。 同じページには、受入試験は「合否の基準に沿って確認する」工程と書かれています。 また、PoCで最初に決めておく点の一つに、何が確認できれば本番に進むかという合否の基準が挙げられています。 この記事は、そのうち発注側の準備に絞った内容で、サービスページに書かれた範囲を超えて、委託先の作業内容を述べるものではありません。

工程の全体はAI業務設計・業務AXに、委託先を比べる段階で検証をどう進めるかを聞く観点は業務AI化の委託先の選び方に、見積を頼む前に「何ができれば導入してよかったと言えるか」を決める進め方はAI導入の見積もりを頼む前に、社内で整理しておく5つのことにまとめています。

確認表づくりを相談するには

委託先から受け取る納品物を、自社の事例でどう確かめるか、業務フローから整理したい方は、個別相談の予約へお進みください。（個別相談会（30分）の予約ページへ移動します）