デザイン・WEB・
システム/アプリ開発
日本伝統文化事業

AI導入の効果は何で測るか:作業時間だけで見ず、差戻し・例外・待ちを導入前に測っておく

AI

「AIを入れたのだから、現場は楽になったはず。ただ、何がどう良くなったのかと聞かれると、うまく答えられない」。導入を終えた業務、あるいはこれから導入する業務で、こうした場面は少なくありません。

つまずきやすい点は二つあります。一つは、導入前の状態を記録しておらず、比べる相手がないこと。もう一つは、見るものが作業時間に偏り、確認や手直し、待ちへ時間が移っただけの状態を見落とすことです。この記事は、業務責任者やDX推進担当の方が、導入前に何を測っておくか、測った結果から「続ける・直す・止める」をどう決めるかを整理したものです。減らせる幅や改善率の目安は示しません。

見積もりを依頼する前に完成条件を置く方法は、AI導入の見積もりを頼む前に、社内で整理しておく5つのことで扱っています。この記事は、導入したあとに測り続ける指標と、その結果の使い方に絞ります。

作業時間だけで見ると、見落としやすいこと

AIが下書きや仕分けを受け持つと、担当者が手を動かす時間は短く見えます。ただ、出力の確認、誤りの手直し、判断に迷う案件の引き取り、後工程からの差戻しが増えていれば、仕事の総量はあまり動いていないかもしれません。

もう一つ、見えにくいのが「待ち」です。依頼してから着手されるまで、確認を頼んでから返事が来るまでの経過は、手を動かす時間には含まれません。担当者の感覚では速くなっても、依頼した側から見た完了までの長さは変わらない、ということが起こります。

そこで、作業時間だけでなく、件数・差戻し・例外・待ちを合わせて見ます。

導入前に取っておく5つの記録

ここでは、差戻しとは、後工程や確認する人から戻された案件や、手直しが入った案件を指します。例外とは、通常の流れでは処理できず、人の判断や対応が入った案件のことです。待ちとは、人が手を動かしていない経過を指します。この定義は自社の業務に合わせて書き直してください。

記録数えるもの導入前に取る理由先に決めておくこと
件数一定の期間に処理した案件の数。通常の時期と忙しい時期を分ける時間の増減が、件数の増減によるものかを切り分ける一件の単位(メール一通か、案件ひとつか)
所要ひとつの案件に、人が実際に手を動かした時間導入後に同じ条件で比べる出発点になる記録から取るのか、本人の申告か
差戻し戻された案件、手直しが入った案件作業が早くなった分が、手直しに回っていないかを見るどの工程からの戻りまで数えるか
例外人の判断や対応が入った案件AIに任せる範囲の線引きが合っているかを見る何を例外と呼ぶか(文章にする)
待ち依頼から着手まで、確認依頼から返答までの経過作業時間に表れない遅れを見る起点と終点(どの連絡・操作の時点か)

待ちは、起点と終点を先に決めないと、人によって数え方が変わります。たとえば、起点を「依頼の連絡を送った時点」、終点を「担当者が最初に返信または操作した時点」のように、連絡や操作の時点で書き、作業時間とは別の欄に記録します。

最初からすべてを細かく取る必要はありません。取れない項目は、取れていないと明記して残します。何が分かっていないかが見えるだけでも、導入後の見方が変わります。

測る前に、そろえておくこと

  • 同じ定義で数える:導入前と導入後で、差戻しや例外の定義、数える範囲、数える人を変えません。定義が揺れると、数字の増減が業務の変化なのか数え方の違いなのか区別できなくなります。
  • 偏らない期間を取る:通常の時期だけでなく、忙しい時期や担当者が入れ替わる時期も含めます。一度きりの計測は、その週の事情に引きずられます。
  • 記録の負担を増やしすぎない:対象は一つの業務に絞ります。記録に追われて本来の仕事が止まれば、測ること自体が負担になります。

数字にしにくい効果の扱い

担当者の負担感、特定の人に偏っていた作業の引継ぎやすさ、判断のばらつきなどは、導入の目的に入っていても数字になりにくいものです。無理に金額や点数へ換算せず、同じ問いを、同じ人に、同じ時期に聞いて記録します。

たとえば「この人が休むと止まっていた作業は、いまどうなっているか」のように、場面を特定した問いにすると答えやすくなります。意見が割れたら、割れたまま残します。なお、金額換算(費用対効果の試算)は、費用や人件費の置き方が会社ごとに異なるため、この記事では扱いません。

「続ける・直す・止める」の判断条件を、導入前に書いておく

結果を見てから基準を決めると、都合のよい数字を選びやすくなります。導入前に、次の表を自社の言葉で埋めておきます。

判断条件の書き方の例判断したあとにすること
続ける差戻しと例外が、事前に書いた許容の範囲に収まり、待ちが増えていない対象を広げる前に、数え続ける担当者と頻度を決める
直す所要は短くなったが、差戻しや例外が増えた。または待ちが後工程へ移った原因を、入力・指示・例外の扱い・確認の手順のどこにあるかに切り分ける
止める直したあとも、導入前より確認や手直しの負担が下がらない。または誤りの影響を確かめる手段がないあらかじめ決めた手順で元の運用に戻す。測った記録は次の検討に残す

許容の範囲を示す数値は、この記事では挙げません。誤りが出たときの影響の大きさを踏まえて、業務の責任者が決めるものです。

この表には、条件だけでなく、次の項目を対にして書いておきます。

  • 元に戻す手順:AI導入前の担当者・手順・連絡先へどう切り替えるか。「止める」と決めてから考えると、決断が遅れます。
  • 判断する時期:いつ、どの記録がそろった時点で判断するか。
  • 最終的に決める人:意見が割れたとき、誰が決めるか。
  • 直す場合の切り分け先:入力・指示・例外の扱い・確認の手順のどこから見直すか。

「止める」を選択肢に入れておくことで、導入を続けること自体が目的になるのを防げます。

進め方:導入前から判断まで

手順1:対象を一つの業務に絞り、始まりと終わりを決めます。

手順2:5つの記録を、導入前に一定の期間取ります。取れない項目は、取れていないと書きます。

手順3:続ける・直す・止める条件と、判断する時期、決める人を書きます。

手順4:導入後、同じ定義で測り、導入前の記録と並べて比べます。

手順5:書いておいた条件に照らして判断し、理由を記録します。直す場合は、直した内容と次に見直す時期も残します。

こうなると、効果が説明できなくなる(よくある失敗パターン)

  • 導入後に初めて測り始め、比べる相手がない
  • 作業時間だけを見て、差戻しや例外、待ちを見ていない
  • 差戻しや例外の定義が人によって違い、数が比べられない
  • 結果を見てから基準を決め、続ける理由探しになる
  • 止める選択肢を最初から外し、元に戻す方法も決めていない
  • 数字にならない効果を、無かったことにしてしまう

この記事が向いている人、向いていない人

向いている人:AIを導入済み、または導入予定の業務について、効果を社内に説明する立場の業務責任者やDX推進担当の方。

向いていない人:製品や施策の費用対効果を、金額の算式で出したい方。この記事は金額換算を扱いません。

当社の進め方との関係

当社が公開しているAI業務設計のページでは、業務のAI化を、要件整理、設計、PoC、受入試験、運用改善の工程で進めるとしています。受入試験は合否の基準に沿って確認する工程、運用改善は稼働後の誤りや例外を見て直す工程と説明しています。PoCで終わらないよう、合否の基準を最初に決めておく点も、同ページで挙げています。

工程の全体はAI業務設計・業務AXに、委託先に検証や運用をどこまで任せるかを考える観点は業務AI化の委託先の選び方にまとめています。

次の一歩

AIを入れた業務の効果の測り方を、自社の業務フローから整理したい方は、個別相談の予約へお進みください。(個別相談会(30分)の予約ページへ移動します)

CONTACT

お問い合わせ・資料請求