フィジカルAIのPoCで使う現場データの取り方：何を撮るか・失敗をどう残すか・誰のデータか

PoCのために現場の作業を記録し始めたあとで、「映像と設備の信号が同じ時刻で揃っていない」「失敗した回を捨ててしまっていた」「作業者が映っているが、このまま使えるのか分からない」と気づくことがあります。フィジカルAIの現場データでは、こうした行き違いが起きやすく、撮り直しには現場の稼働を止める調整が要ります。

この記事は、PoCの依頼側・現場側の担当者が、収集を始める前に決めておく項目を整理したものです。遠隔操作やセンサー、シミュレーションといった収集手法の紹介ではなく、発注側の目線で「何を記録し、失敗をどう残し、誰のデータとして扱うか」を扱います。特定の機器や会社の比較・推奨はしません。

現場データの収集とは

現場データの収集とは、この記事では、PoCで確かめたい作業について、AIが学習や評価に使える形で、状況・動作・結果を実際の現場で記録することを指します。映像があるだけでは足りません。いつ、どの条件で、どう終わったのかが付いていて初めて、あとから別の人が同じ意味で読み取れるデータになります。

撮る前に決める5項目

項目	決めること	決まらないと起きやすいこと
対象タスクと切れ目	どの作業の、どこからどこまでを1回分として記録するか。対象にしない作業は何か	記録の単位が揃わず、あとから切り分けられない
記録するものと配置	映像、設備の信号、操作の記録など、何をどこから記録するか。作業者の顔や音声など、不要なものを記録に入れない配置にできるか	必要な情報が足りない。または、不要な情報まで残る
時刻の揃え方	すべての記録が同じ時刻の基準で残るか。ずれをどこまで許すか。ずれを確かめる手順は何か	映像と動作の対応が崩れ、学習にも評価にも使えない
成功と失敗の定義	何をもって成功・失敗とするか。誰が、いつ判定し、どこに記録するか	判定する人ごとに基準が違い、ラベルが当てにならない
付帯情報	日時、設備の状態、対象物の違い、条件の変更を、記録ごとに残す。作業者は氏名ではなく符号で扱えるか	条件が分からず、結果の原因を追えない

時刻の揃え方は、撮り終えてからでは直せないことが多い項目です。記録装置ごとに時計が別だと、同じ動作でも映像と設備の信号の対応がずれます。「基準にする時計を決める」「開始時に共通の合図を入れて確かめる」など、ずれをあとから確認する手段を、収集の前に決めておきます。どこまでのずれを許すかは作業の速さによって変わるため、この記事では数値を示しません。

成功と失敗の定義は、現場の担当者と、データを使う側とで、事前に文章で合わせておきます。「うまくいった」という印象だけを残すと、あとで見返す人によって判断が分かれます。

失敗と例外を、意図して残す

成功した回だけを集めると、PoCでは動いても、現場で起きる例外に出会った途端に止まる、ということが起こり得ます。失敗や例外は、起きるに任せず、「どれを意図して残すか」を決めます。

失敗を3種類に分けて記録する

種類	例	残し方
作業の失敗	つかみ損ね、位置ずれ、途中で止まった	失敗として残す。立て直した場面は、その部分も区切って残す
現場の例外	対象物のばらつき、設備の停止、人の割り込み	条件を付帯情報に書いて残す
記録そのものの欠陥	記録の欠落、時刻のずれ、装置の不具合による途切れ	作業の失敗とは別に印を付ける。使うかどうかは、事前の基準で決める

作業の失敗と記録の欠陥を混ぜて保存すると、「AIが苦手な場面」なのか「記録が壊れた回」なのかが、あとから分からなくなります。

• どの失敗・例外を意図して残すかを、対象タスクごとに先に書く
• 取り除く記録がある場合は、基準を先に書き、取り除いた回とその理由も記録に残す
• 安全に関わる失敗をわざと起こす試験は、現場の安全管理者・専門家の確認を前提にする

誰のデータか：権利と、作業者の映り込み

権利の論点

論点	決めること
帰属	収集したデータと、そこから作る加工データ・学習の成果物は、誰のものか
利用目的	このPoCの検証だけに使うのか、他の案件や製品の学習にも使うのか
第三者への提供	支援側・大学・設備メーカーに、どこまで渡すか
取引先・設備に関わる情報	取引先の部品や図面、設備メーカーの情報が映る場合に、契約上の制約があるか
保管と削除	保管場所、期間、PoC終了後の扱い、削除の確かめ方

どれも、収集を始める前に書面にしておく項目です。契約や知財の個別の判断は、法務・知財の専門家に確認してください。

作業者の映り込み

作業者の映像や音声が記録に入る場合の扱いは、個別の事情によって判断が分かれます。この記事では適否の判断をしません。参考として、個人情報の保護に関する法律（個人情報保護法）は、個人情報を、生存する個人に関する情報で、氏名などの記述等により特定の個人を識別できるもの等と定めています（第2条第1項）。

個人情報を取り扱う事業者について、同法は、利用目的をできる限り特定すること（第17条第1項）、個人情報を取得した場合に、あらかじめ公表している場合を除き、速やかに利用目的を本人に通知または公表すること（第21条第1項）などを定めています。例外の定めもあるため、PoCでの収集に当てはまるかどうかは、法務の専門家または所管の窓口に確認してください。

実務では、次のように、そもそも論点を減らせないかを先に考えます。

• 画角や配置を工夫して、作業者の顔が入らないようにできるか
• 音声は必要か。必要でなければ記録しない
• 作業者には、何のために記録するか、誰が見るか、いつまで保管するかを、記録の前に説明する
• 社内の取り決めとの関係は、人事・法務に確認する

データを社外へ出す際の考え方は工場データを外に出す「精製」の記事、知財の整理はフィジカルAIの特許戦略の記事で扱っています。

受け取るデータの仕様を、発注側で決める

収集を外部の支援側に頼む場合、受け取ったデータが使えるかどうかは、事前に書いた仕様で決まります。

項目	書いておくこと
記録の単位と名前	1回分の区切り、番号やファイル名の付け方
中身の説明	各項目の意味、単位、座標の取り方、時刻の基準を書いた説明書
成功・失敗のラベル	定義、判定する人、判定する時点
付帯情報	日時、条件、設備の状態、作業者の符号
欠落・破損の扱い	見つけたときの印の付け方と、報告のしかた
受け渡しと保管	渡し方、保管場所、見られる人、削除の手順
受け入れ確認	受け取ったときに、誰が何を確かめるか（再生して時刻が合っているか、ラベルが定義どおりか、など）

ファイルの形式はあとから変換できる場合がありますが、時刻の基準やラベルの定義は、撮り終えたあとでは直せないことがあります。

判断条件：集め始めてよい状態、まだ早い状態

向いている状態：

• 対象タスクの始まりと終わりを、言葉で説明できる
• 成功と失敗を誰が判定するのかが、決まっている
• 記録の時刻の基準と、ずれの確認方法がある
• 作業者や取引先に関わる情報の扱いを、社内で確認している

まだ早い状態：

• 何を確かめるPoCなのかが定まっていない（PoCの前に決める条件は、PoC支援の記事で整理しています）
• 記録や撮影に関する社内の確認が済んでいない
• 受け取ったデータを誰が見て、使えるかを判断するのかが決まっていない

進め方（手順）

1. PoCで確かめることを、一文で書く
2. 対象の作業を、1回分の単位に区切る（作業の分解は工場自動化の記事で扱っています）
3. 「撮る前に決める5項目」を、文章にする
4. 失敗と例外のうち、意図して残すものを決める
5. 権利と作業者の扱いを確認し、書面にする
6. 少量を試しに記録し、時刻のずれ・欠落・ラベルの付き方を確かめてから、本格的に集める
7. 受け入れ確認の結果を記録し、仕様を見直す

失敗しやすいパターン

• 成功した回だけを集め、失敗した回を捨てている
• 時刻はあとで合わせればよいと考え、基準を決めずに記録を始める
• 記録の欠陥と作業の失敗を区別せずに保存する
• 作業者の映り込みに、撮り始めてから気づく
• データの帰属とPoC後の使い道を決めないまま、支援側に渡している
• 受け取ったデータを確認せずに、PoCの結果の評価に進む

WITHPROJECTSが扱う範囲

WITHPROJECTSは、フィジカルAI事業化・FDE支援のページで、PoCの設計と、現場データについて何を守り、何を精製し、何を価値化するかの設計を、支援内容として掲げています。

同ページは、データを外に出すことを勧める支援ではなく、出さないという結論も設計の結果としてあり得る、としています。

支援の全体はフィジカルAI事業化・FDE支援をご覧ください。

次の一歩

PoCのための現場データを、何を・どう集めるかの設計から相談したい方は、個別相談の予約へお進みください。（個別相談会（30分）の予約ページへ移動します）