デザイン・WEB・
システム/アプリ開発
日本伝統文化事業

AIの提案書に並ぶ「PoC」「精度」「RAG」「ファインチューニング」「エージェント」は、委託先に何を聞き返す言葉なのか

AI

AI化の提案書や見積書を受け取ると、「PoC」「精度」「RAG」「ファインチューニング」「エージェント」のような言葉が、説明なしに並んでいることがあります。意味を調べれば入門の解説は見つかります。ただ、意味が分かっても、いま手元にある提案書の相手に何を聞き返せばよいのかは、提案書ごとに変わるため、迷うことはないでしょうか。

この記事の答えは、提案書の言葉を一語ずつ、「自社の業務のどの部分の話か」「委託先に聞き返すこと」「答えが曖昧なときに、自社でまだ決まっていないこと」の三つに分けて読む、というものです。用語の意味を解説する記事や、委託先を比べる質問表、提案書の読み方を扱う記事は、すでに別に公開されています。この記事は、提案書の一語から聞き返す質問を作るところに絞り、五つの言葉を同じ形で並べます。

次の一節は、読み方を示すために作った架空の例です。実在する提案書の文ではありません。

「社内の規程や過去の対応履歴をRAGで参照できるようにし、必要に応じてファインチューニングで貴社の言い回しに合わせます。まずPoCで高い精度を確認したうえで、エージェントによる自動処理へ広げます。」

この一節だけでは、何がいつ決まるのかが分かりません。言葉ごとに、何を聞けば決まるのかを、以下で並べます。

扱わないことも先に書いておきます。仕組みの技術的な説明、特定の製品やサービスの仕様と優劣、費用の比較、精度の数値の目安は書きません。ここにある質問は、聞き返すための材料です。答えの出し方で委託先の良し悪しが決まる、という基準ではありません。委託先の回答の適否も、この記事では判断しません。契約や見積の条件に関わる部分は、専門家に確認してください。委託先を比べる四つの領域は別の記事で扱っているので、ここでは重ねません。

五つの言葉を、業務のどの部分の話かで並べる

言葉業務のどの部分の話か最初に聞く一問
PoC本格的に作る前に、小さな範囲で確かめる工程何が確かめられたら、先へ進むと決めていますか
精度出力が合っているかを、何で数えるかの話その数字は、何を何と照らして数えたものですか
RAG資料を調べて答える部分どの資料を、いつの版で、どう読みに行きますか
ファインチューニング文体・用語・出力の形を自社に合わせる部分何を変えるために行い、変えたあとは誰が直しますか
エージェント複数の操作を続けて行う部分どこまで自分で行い、どこで人に戻しますか

五つの言葉は、書き手によって指す範囲に幅があります。聞き返す前に、その言葉を提案書がどういう意味で使っているのかを、提案書の言葉で書いてもらうと、以降の質問がかみ合います。

「PoC」は、何を確かめて、何が分かれば先へ進む工程なのか

PoCとは、本格的に作り込む前に、対象を絞って、使えるかどうかや続ける価値を確かめる工程を指します。概念実証と訳されます。

自社の業務で言えば、どの仕事の、どの範囲を、どのデータで試すかの話です。PoCという言葉は、動くところを見せる試作を指す場合も、実際の業務の事例で合否を見る検証を指す場合もあります。提案書に「PoCを実施します」とだけあっても、どちらなのかは分かりません。

提案書にこの言葉があるとき、次のことを聞き返します。

  • このPoCで確かめたいことは何ですか。動くかどうか、自社の業務で使えるか、続ける価値があるか、のどれですか
  • 試す業務の範囲と、使うデータは何ですか。自社の実際の資料ですか、用意された例ですか
  • 合否の基準は、着手の前に文書で決めますか。誰が決めますか
  • 基準に届かなかったときは、やり直し、範囲の見直し、中止のどれになりますか。その費用はどう扱いますか
  • PoCで作ったものは、本番でも使いますか。作り直しますか

答えが曖昧なとき、自社でまだ決まっていないのは、合否を判断する人と、その基準のもとになる実際の事例、そして先へ進めるか止めるかを決める人です。ここが決まっていないと、PoCは「動いた」という報告で終わりやすくなります。合否の基準を自社の事例から作る進め方は、AIの受入試験の記事で扱っています。

「精度」は、何を何と照らして数えた数字なのか

精度は、AIの出力がどれだけ合っているかを表す言葉として使われます。ただ、何を「合っている」と数えるかで、同じ言葉でも意味が変わります。たとえば、正しい答えと一致した割合を指す場合もあれば、拾うべきものを見落とさなかった割合を指す場合も、担当者が直さずにそのまま使えた割合を指す場合もあります。数字だけでは判断できないという指摘は、他の解説にも見られます。

自社の業務で言えば、出力を、誰が、何と照らして「合っている」と決めるかの話です。提案書に「高い精度」と書かれているときは、次のことを聞き返します。

  • その精度は、何を数えた数字ですか。「合っている」は、何を基準に決めましたか
  • 正解は、誰が決めましたか
  • 測ったのは、どのデータですか。自社の実際の事例ですか、用意された例ですか。調整に使った事例とは別のものですか
  • 間違いの中身は、分けて見ていますか。言い回しの違い、事実の誤り、出してはいけない内容、などです
  • 測り直すのは、いつですか。資料や運用が変わったあとにも測りますか

答えが曖昧なとき、自社でまだ決まっていないのは、間違えても許せる範囲と許せない範囲、正解を決める現場の人、測るための自社の事例です。この記事では、精度の目安になる数字は示しません。業務の種類と、間違えたときの影響で変わるためです。

「RAG」は、自社の資料を、いつ、どの版で読みに行く仕組みなのか

RAGとは、質問を受けるたびに、指定した資料から関連する部分を探し、その内容を材料にして回答を作る仕組みを指す、と説明されます。仕組みの細部には入りません。

自社の業務で言えば、資料を調べて答える部分の話です。社内の規程、商品の資料、過去の対応記録などが、答えの材料になる仕事が当たります。回答が参照する資料の質や整理に左右される、という説明は、複数の解説に見られます。つまり、RAGと書かれていることは、回答が正確になることを意味しません。何を読みに行くのか、それを誰が保つのかによって、結果が変わります。

提案書にこの言葉があるとき、次のことを聞き返します。

  • 読みに行く資料は、どれですか。自社のどの資料を、どの範囲で対象にしますか
  • 資料が更新されたとき、誰が、いつ、どうやって反映しますか
  • 古い版や、似た内容の別の文書が混ざっているとき、どちらを読みに行きますか
  • 回答には、どの資料のどこを読んだのかが示されますか
  • 資料の中に見つからない質問には、どう答えますか。答えを作らずに、人に戻しますか
  • 部署ごとに見てよい資料が違う場合、その違いをどう扱いますか

答えが曖昧なとき、自社でまだ決まっていないのは、どの資料が正式版か、資料を更新する担当は誰か、見つからなかった質問をどこへ戻すか、です。資料の側の点検は、AIに社内文書を読ませる前の点検で扱っています。

「ファインチューニング」は、何を変えるために行い、変えたあとを誰が直すのか

ファインチューニングとは、追加の例を使って、AIの出力の形式や振る舞いの傾向を調整する方法を指す、と説明されます。

提案書には、「社内データを学習させます」という言い回しが出てくることがあります。この「学習」は、RAGのように資料を読みに行かせる作業を指す場合と、追加の例でAIを調整する作業を指す場合の、どちらもありえます。同じ言葉で別の作業を指していることがあるため、「学習」と書かれた作業が、資料を参照させるものなのか、AIそのものを調整するものなのかを、先に分けて聞きます。

自社の業務で言えば、文体、用語、出力の形を自社に合わせる部分の話です。最新の資料を参照させたいだけなのか、出力の形を揃えたいのかで、必要な手段は変わる、と説明する解説があります。提案書にこの言葉があるときは、次のことを聞き返します。

  • 何を変えるために行いますか。資料を参照させる案や、指示文を整える案を使わない理由は何ですか
  • 調整に使う例は、誰が、何を用意しますか。自社の資料や記録を使いますか。その扱いはどう決めますか
  • 調整したあとに、業務の扱いや資料が変わったとき、直すのは誰で、いつですか。費用が増えるのは、どんな条件のときですか
  • 調整の前と後で、出力がどう変わったかを、どの事例で確かめますか
  • 調整の前の状態に戻せますか

答えが曖昧なとき、自社でまだ決まっていないのは、変えたい対象(文体なのか、判断の傾向なのか)、調整のもとになる事例を出す人、直したいときに依頼を出す窓口、です。

「エージェント」は、どこまで自分で動き、どこで人に戻すのか

エージェントとは、目標、手順、使える道具、権限、止める条件を与えると、複数の操作を続けて進めるAIを指す、と説明されます。ただ、どこまでを指すのかは、提案書によって違うことがあります。

自社の業務で言えば、複数の操作を続けて行う部分の話です。たとえば、資料を集める、数字を突き合わせる、下書きを作る、担当者に知らせる、までを一続きの仕事として任せるイメージです。任せる範囲が広くなるほど、どこで止めるかが重要になります。提案書にこの言葉があるときは、次のことを聞き返します。

  • 自動で行う操作は、何から何までですか。一覧にしてもらえますか
  • その操作で使えるシステムと権限は、どこまでですか。読むだけですか、書き込みや送信までですか
  • 人の承認が入るのは、どの操作の手前ですか。送信、支払い、削除のように取り消せない操作は、どう扱いますか
  • 止める条件は何ですか。想定外の入力や誤りに気づいたとき、誰に戻りますか
  • 実行した内容の記録は残りますか。誰が見ますか

答えが曖昧なとき、自社でまだ決まっていないのは、任せる操作の範囲、承認する人、止めたあとに引き取る人、です。業務をルール処理・AI・人に分ける考え方はRPAと生成AIの違いの記事に、人の確認が形だけにならないための点検は人の確認の点検の記事にあります。

聞き返しても答えがぼんやりしていたら(架空の例)

提案書に「RAGで社内資料を参照し、高い精度を実現します」とあり、聞き返すと「資料は順次取り込みます」という返事が来た、という場面を考えます。これは架空の例です。

この返事から読み取れるのは、「順次」がいつなのか、どの資料から入れるのか、取り込みの作業を誰が持つのかが、まだ決まっていないことです。委託先が決めていないのかもしれませんし、自社が資料の一覧を出していないために決められないのかもしれません。どちらなのかは、この返事だけでは分かりません。そこで、自社の側から、対象にしたい資料の一覧と、それぞれの正式版がどれかを先に渡し、そのうえで、取り込みの時期と担当を書面で出してもらいます。

聞き返しの答えが「未定」であること自体は、すぐに問題とは言えません。ただ、未定のままの項目が、誰の、いつまでの宿題なのかが書かれていないと、そのまま契約の後ろに残ります。

答えを受け取る前に、自社で決めておくこと

五つの言葉の「答えが曖昧なとき」に挙げた項目は、重なっています。聞き返す前に、自社の側で用意できるものを用意しておくと、委託先の返事を読みやすくなります。

  • 合否を判断する現場の人と、正解を決める人
  • 試すための自社の実際の事例。調整のために渡すものと、確認用に手元に取っておくものは分ける
  • 読ませる資料の一覧と、それぞれの正式版、更新する担当
  • 任せる操作と、人が承認する操作の線引き
  • 先へ進めるか止めるかを決める人

返事は、口頭ではなく文書で受け取ります。見積に反映する項目と、まだ決まっていない項目を分けて控えておくと、見積の比較にも使えます。見積を頼む前の整理は見積もりを頼む前の記事にあります。

当社の公開ページに書いていること

当社は、委託先の候補にもなりえます。当社が公開している業務AI化の説明では、要件整理、設計、PoC、受入試験、運用改善の工程を挙げています。PoCは小さな範囲で使えるかを確かめる段階とされ、PoCで終わらないよう、合否の基準、本番で使うデータ・権限・環境への切り替え方、稼働後の運用の三点を最初に決めておく、としています。

一方、RAG、ファインチューニング、エージェントといった個別の技術をどう使い分けるかは、当社の業務AI化の公開ページには書いていません。この記事の質問は、当社を含め、どの候補にも同じように聞いてください。進め方の全体はAI業務設計・業務AXに掲載しています。

提案書の言葉を、自社の業務に当てはめて整理したい方へ

どの言葉から聞き返すかは、提案書の中身と、自社の業務で変わります。提案書の一節を持ち寄って、自社の業務に沿った質問に整理してから進めると、見積の比較もしやすくなります。

AIの提案書にある用語を、自社の業務に沿った聞き返しの質問に整理したい方は、個別相談の予約へお進みください。(個別相談会(30分)の予約ページへ移動します)

CONTACT

お問い合わせ・資料請求