AIの出力を人が確認している業務で、その確認が形骸化していないかは、どう点検するのか

AIが作った結果を、人が確認してから使う。そう決めて確認者を置くと、「確認済み」の印が残るようになります。ところが、その印だけでは、確認者が中身を見たのかどうかは分かりません。差し戻しが出ない状態が続いているとき、AIの出力が合っているのか、確認が形だけになっているのかを、業務責任者が自分で見分ける手立ては、確認者を置いた時点では用意されていないことがあります。

この記事は、確認者を置いて稼働している業務を対象に、その確認が実際に働いているかを、稼働中に点検する組み立てを示します。誰を確認者にするか、確認をどこに置くかは、AI導入に現場が反発するとき、説得の前に決める「業務ごとの線引き」とRPAと生成AIの違いは「工程のどこに使うか」で決まるにあります。ここでは重ねません。誤りが社外に出てしまった後の対応も扱いません。抜き取りの割合や差し戻しの割合の目安は示しません。業務の種類と誤りの重さで、自社が決める部分だからです。点検の目的は、確認者を評価することではなく、確認の仕組みを見直すことです。

「確認済み」の印は、確認が働いていることの証拠にならない

この記事で形骸化とは、確認者を置き、確認済みの印も残っているのに、誤りを見つける働きが弱くなっている状態を指します。形だけになる道筋には、たとえば次のものがあります。

• 見る項目が決まっておらず、「おかしくなさそうなら通す」になっている。
• AIの出力が合っている状態が続き、一件ずつに向ける注意が薄れている。
• 兼任や、扱う案件の多さで、一件に使える時間がない。
• 画面に出ているのがAIの出力だけで、照らし合わせる元の資料が別の場所にある。
• 出力の文章が整っているため、誤りが目に入りにくい。

どれも、AIの確認では必ず起きる、という話ではありません。起きていることがある、という程度に受け止めてください。起きているかどうかは、印を数えても分かりません。点検には、性格の違う三つの手がかりがあり、一つだけでは足りません。

点検の手がかり	分かること	分からないこと
確認の記録から読む兆候	時間の経過、確認者、案件の種類による出方の変化や偏り	その変化の理由。AIの出力が合っているのか、確認が働いていないのかは、記録からは決まらない
元の資料に戻した、確認済みの案件の見直し	確認を通った案件に見逃しがあったか。あったなら、どの種類か	見直した範囲の外のこと。見直す人の時間がかかる
確認者に、見ている点を聞く	どの点を見ているつもりか、迷う点はどこか	実際に見ているか。言葉と実際の動きが違うこともある

三つのうち、記録で兆候を探し、元の資料で確かめる、という二段で使うのが、手間と確かさの釣り合いを取りやすい組み合わせだと考えられます。聞き取りは、その結果を読み解く材料にします。

記録から兆候を読む：差し戻しがないことの、読み違いを避ける

兆候を読むには、確認の記録が要ります。案件、確認者、確認の日時、結果（そのまま通した／直して通した／差し戻した）、直した箇所、取れるなら確認にかかった時間、の項目があると足ります。確認の記録そのものの残し方は、AI化した業務を、担当者が替わっても回し続けるためにの「確認の記録」にあります。まだ取っていない業務は、点検より先に取り始めてください。

兆候には、形だけになっている可能性と、そうでない別の理由の両方があります。記録だけで決めず、次に何を確かめるかまでを表にしておくと、読み違いを減らせます。

兆候	形だけの可能性として読める点	別の理由として考えられる点	次に確かめること
直しも差し戻しもない状態が続く	見る項目がなく、通すことが習慣になっている	その種類の入力ではAIの出力が合っている	元の資料に戻した見直しで、通った案件に見逃しがないか
確認にかかった時間が、極端に短い	出力を開いて、中身を読まずに通している	見る点が絞られていて、短く済む案件である	時間の短い案件を選んで、見直す
確認者ごとに、直す・差し戻す出方が違う	一人は見る基準が弱い	受け持つ案件の種類が違う。見る基準が書かれておらず、人によって違う	同じ種類の案件を、確認者どうしで揃えて比べる
件数の多い日や時間帯に、まとめて通している	忙しい時に確認を飛ばしている	まとめて処理する運用で、実際は一件ずつ見ている	その日の案件から見直す
直しが、特定の種類の誤りに偏る	他の種類は見ていない	その種類の誤りが、実際に多い	他の種類の項目に誤りがないか、見直す

比べる相手は、数字の基準ではなく、同じ業務の以前の出方、確認者どうし、案件の種類ごとです。「何割を下回ったら形だけ」という線は、この記事では示しません。変わったことに気づき、変わった理由を次の見直しで確かめる、という使い方です。

元の資料に戻して、確認済みの案件を別の人が見直す

兆候は、疑う場所を絞る材料にすぎません。確認が働いているかを確かめるには、確認を通った案件を、元の資料に戻して見直します。

手順1：確認が済んだ案件から、点検の対象を選ぶ。無作為に選ぶだけでなく、案件の種類、確認者、件数の多かった日、直さずに通った案件が、偏らずに含まれるようにします。件数と選ぶ頻度は、業務の量と誤りの重さに合わせて自社で決めます。

手順2：確認者とは別の人が、元の資料を見て、その案件の結果を確かめる。AIの出力と確認者の判断を先に見ずに、元の資料から自分で結果を作ってから照らす進め方と、先に見比べる進め方があります。先に見ないほうが、AIの出力につられにくくなる場合がありますが、手間は増えます。どちらにするかは、案件の難しさで決めます。

手順3：確認者が通した結果と照らし、違いを次の区分で記録する。

• 確認者が正しく通していた。
• 確認者が見逃していた。
• 点検する人と確認者の判断が割れた。どちらが正しいかを決める基準が、書かれていない。
• 元の資料の側に問題があった。足りない、古い、読みにくい、など。

手順4：区分ごとに数え、直し先に回す。「見逃していた」の件数だけで、確認者の良し悪しを決めません。「判断が割れた」は、業務のルールがまだ言葉になっていない場合があります。

使い方の例を、通常の段落で示します。架空の例です。取引先から届く請求書をAIが項目に整理し、経理の担当者が確認して会計の入力に回す業務を考えます。確認の記録を見ると、担当者二人のうち一人は、直しがほとんど入らない状態が続いていました。ただし、その担当者が受け持つ取引先は、書式がいつも同じです。そこで、記録だけで判断せず、その担当者が通した案件のうち、書式の違う取引先のものも混ぜて、別の人が請求書の原本に戻して見直しました。すると、金額は合っていたものの、支払期日の欄に読み取りの誤りが残っている案件が見つかりました。確認の画面は金額欄が大きく、支払期日は小さな表示でした。この場合は、担当者の注意不足と決めず、画面の表示の順や大きさを直す候補として扱います。

見直しには、あらかじめ誤りを仕込んだ案件を流して、確認者が気づくかを見る方法もあります。ただし、仕込んだ案件が取引先や社外へ出る経路に流れないようにすること、確認者に事前に知らせておくことが前提になります。この記事の手順には含めません。

見逃しが見つかったら、確認者ではなく、確認の置き方に戻す

見逃しが見つかったとき、最初に問うのは「なぜ見なかったのか」より、「見落としやすい置き方になっていなかったか」です。区分した結果を、疑う場所に振り分けます。

見逃しの様子	疑う場所	直し先の例
見る点が決まっておらず、全体の印象で通した	確認の基準	見る項目を短く書き、通す・直す・戻すの判断を明確にする
案件が多く、一件に時間をかけられなかった	件数と時間	確認の対象を絞る、確認する人を足す、確認を置く場所を変える
元の資料が別の画面にあり、照らしていなかった	表示	元の資料を横に出す、見る項目を画面で先に示す
出力が整っていて、違和感が出なかった	確認のやり方	文章を読むだけでなく、元の資料と項目ごとに照らす形にする
同じ見逃しが、特定の種類の案件で続く	確認の範囲	その種類の確認を厚くする、その種類をAIに任せる範囲から外す

直したあとは、同じ種類の案件を、次の点検でもう一度見ます。直したのに同じ見逃しが続くなら、疑う場所の見立てが違っています。

点検の結果は、確認者の評価や処遇の材料にしないと、点検を始める前に確認者へ伝えておくことを勧めます。結果が評価に結びつくと、見逃しを隠す、見直しを避ける、記録が取りにくくなる、といったことが起きる場合があるためです。見逃しが見つかったときに、確認者がそれを報告しやすい状態が、点検を続けられる条件になります。

点検する人、頻度、記録の置き方

点検する人は、確認者とは別にします。自分の確認を自分で点検すると、見たつもりのまま通りやすいためです。候補は、業務責任者自身、副担当、同じ業務を知る別の部署の人です。人手が足りない場合は、確認者どうしが、自分の案件を除いて互いの案件を見直す形も考えられます。

頻度は、固定の数字を示しません。点検を増やすきっかけを先に決めておく考え方が使えます。たとえば、AIの指示や設定、利用しているサービスが変わったとき、扱う案件の種類が増えたとき、確認者が替わったとき、件数が急に増えたとき、記録に兆候が出たとき、です。出方が落ち着いたら、間隔を延ばします。

点検の記録には、誰が、いつ、どの範囲の案件を見たか、区分ごとの結果、直したこと、次に確かめる点を残します。次の点検で、直した点から確かめられます。

この点検が向く業務、先に整えることがある業務

判断条件の例です。

点検が向いている業務：

• 元の資料が残っていて、確認済みの案件に戻って見直せる。
• 確認の記録が取れている、または取り始められる。
• 点検する人を、確認者以外から出せる。

先に整えたほうがよい業務：

• 元の資料が残らない業務。見直す相手がないため、まず元の資料を残す方法を決めます。
• 確認の記録を取っていない業務。兆候を読めないため、記録から始めます。
• 確認者が一人で、点検者を別に立てられない業務。業務責任者が少量を見る、または確認の範囲を狭めることから考えます。
• 確認の方法が、法令や契約で定められている業務。その定めが先です。個別の扱いは、所管や専門家に確認してください。

設計の段階で決めることと、稼働後の点検

WITHPROJECTSが公開しているサービスページ（AI業務設計・業務AX）では、責任分界として、AIの出力を誰が確認し、誰が最終判断するかを設計の中で決めること、工程の最後に運用改善として、稼働後の誤りや例外を見て直すことを挙げています。 この記事の点検は、その稼働後の場面での一般的な進め方の提案であり、WITHPROJECTSが提供する支援の内容や納品物を示すものではありません。

工程の全体はAI業務設計・業務AXにまとめています。

確認の点検の組み立てを相談したいとき

確認者を置いた業務で、確認が働いているかを点検する組み立てを、業務フローに沿って整理したい方は、個別相談の予約へお進みください。（個別相談会（30分）の予約ページへ移動します）