デザイン・WEB・
システム/アプリ開発
日本伝統文化事業

採用にAIを使うときの公平性は、導入後どう点検するか:入力項目・出力の偏り・人の最終判断の記録

AI

採用の一次返信や書類の整理にAIを使い始めると、しばらくして「このAIは公平なのか」と聞かれる場面が出てきます。ツールを選ぶ段階で確認して終わりにしていると、運用が始まったあとに何を見ればよいのかが決まっておらず、答えに詰まることがあります。この記事は、人事責任者・採用担当の方向けに、導入後に運用側が定期的に見る4つの観点(AIに渡す入力項目、出力の偏り、人の最終判断の記録、見直しのきっかけ)を、点検の表にまとめる進め方を整理したものです。「偏りがない」「公平である」と言い切るための記事ではなく、見るもの、見る人、残す記録を先に決めておくための記事です。

法令上の適否や、特定の製品が公平かどうかは、この記事では判断しません。個別の判断は、社内の法務や専門家、所管の窓口に確認してください。

先に確認しておきたい、公開資料の記載

以下は、公開資料の本文で確認できた範囲の整理です。

  • 厚生労働省「公正な採用選考の基本」は、採用選考の基本を、応募者の基本的人権を尊重することと、応募者の適性・能力に基づいた基準で行うことの2点としています。適性・能力に関係のない事項を応募用紙や面接で把握しないようにすることが重要で、把握すれば採否の決定に影響し、就職差別につながるおそれがあるとしています。
  • 同じページは、面接を行う場合について、職務遂行に必要な適性・能力を評価する観点から、あらかじめ質問項目や評価基準を決めておくことを挙げています。
  • 職業安定法第5条の5は、労働者の募集を行う者などに対し、求職者等の個人情報について、業務の目的の達成に必要な範囲で、目的を明らかにして集めること、集めた目的の範囲内で保管・使用することを定めています。本人の同意がある場合などは例外です。さらに、集めた個人情報を適正に管理する措置を講じることも、同条に定められています。
  • 個人情報保護法第20条第2項は、個人情報取扱事業者に対し、人種、信条、社会的身分、病歴などの要配慮個人情報について、法令に基づく場合など一定の場合を除き、あらかじめ本人の同意を得ないで取得してはならないとしています。要配慮個人情報は同法第2条第3項で定義されており、人種、信条、社会的身分、病歴、犯罪の経歴などのほか、政令で定める記述等が含まれる個人情報とされています。
  • AI事業者ガイドライン(第1.2版・総務省・経済産業省)は、法的な拘束力を持たないソフトローとして示されたものです。公平性の項では、各主体が、特定の個人や集団への不当で有害な偏見や差別をなくすよう努めることと、回避できないバイアスがあることを認識したうえで、それが許容できるかを評価して利用することを挙げています。
  • 同ガイドラインは、AIの出力が公平性を欠かないよう、AIに単独で判断させるだけでなく、適切なタイミングで人間の判断を介在させる利用を検討することを挙げています。その際、人間の判断が自動化バイアスに左右されないよう対策を講じるべきだとしており、注記では、人間がAIの判断を承認するときには、承認する理由や根拠を人間自身が独自に考えてから承認すべきだという提案を紹介しています。
  • 同じ項の注記は、人種や性別などの明らかな属性を取り除いたデータでも、関連する情報から属性が類推されてしまう場合や、複数の属性の組み合わせでバイアスが生じる場合があるとしています。AI利用者向けの項は、公平性が担保されたデータの入力を行い、プロンプトに含まれるバイアスに留意して、責任をもってAIの出力結果の事業利用判断を行うことを挙げています。
  • 同ガイドラインのAI提供者向けの項には、AIモデルの入出力と判断根拠を定期的に評価し、バイアスの発生をモニタリングする旨の記載があります。利用者側で点検する場合は、提供者や委託先にどこまで確認できるかを、あわせて確かめることになります。

この記事では、これらの記載から、特定の統計の基準や数値の目安を導くことはしません。

点検の4つの観点を、1枚の表にする

観点見るもの主に見る人残す記録見るきっかけ
①入力項目AIに渡している項目の一覧、指示文(プロンプト)、評価基準の設定採用担当者、情報システム担当項目の一覧と、各項目を使う理由項目や指示文を変えたとき、ツールが更新されたとき
②出力の偏り工程ごとの結果の内訳、AIの評価が低かった応募の読み直し人事責任者、採用担当者見た期間・切り口・件数と、気づいた点定期の点検日、応募経路や職種を変えたとき
③人の最終判断の記録AIの出力と、人の結論の関係判断者、人事責任者判断者、判断日、結論、理由、AIの出力と異なる結論にしたか定期の点検日、記録の抜けに気づいたとき
④見直しの仕組み点検の結果を、誰がどう受けて直すか人事責任者、経営層点検の記録、直した内容、次回の点検日応募者からの申出、委託先やツールの変更

どの観点も、「問題があるかないか」を言い切るためではなく、「何を、いつ、誰が見て、何を残したか」を後から説明できるようにするための表です。

①AIに渡している入力項目を点検する

最初に、実際にAIに渡っている項目を一覧にします。設計書や導入時の説明ではなく、現在の設定や連携の中身から起こします。

点検すること確かめ方の例見つかったときの扱い
渡している項目と、使う理由項目ごとに「選考のどの判断に使うか」を一言で書く理由が書けない項目は、外すか、人だけが見る側に移すかを検討する
適性・能力に関係のない事項の混入応募フォームの自由記述欄、提出書類、面接メモに、家族・住宅・生活環境などの記述が含まれていないかAIに渡す前に除く、渡しても評価に使わない、人に戻す、のどれにするかを決める
属性が類推される情報氏名、住所、出身地、顔写真、職歴の空白など、属性を推測させうる項目が入っていないか属性の項目を外してあっても偏りが消えたとは限らないため、②の出力の点検とあわせて見る
指示文・評価基準の変更変更の履歴(いつ、誰が、何を変えたか)が残っているか変更したら、変更後の出力を②の観点で見直す
ツール側の更新委託先やツール提供元から、モデルや設定の変更が通知される経路があるか通知がないなら、変更を事前に知らせてもらう取り決めを検討する

応募者が自由記述欄に自分から書いた内容も、AIに渡る情報です。「項目として聞いていないから入らない」とは限らない点を、一覧を作るときに確かめます。

②出力の偏りを、どう見るか

出力の偏りは、AIの判定結果そのものより、「AIを使った工程の結果が、どんな内訳になっているか」から見ます。

  1. 見る範囲を決める。工程(書類の整理、一次の振り分け、日程調整など)と、期間を決めます。
  2. 切り口を決める。職種、応募経路、募集の時期、担当者など、社内で把握してよい情報から選びます。
  3. 内訳を並べ、差の有無を記録する。差があれば、その理由として考えられることを書き出します。
  4. AIの評価が低かった応募の一部を、人が元の書類で読み直す。AIの出力を見ずに自分で読み、結論が分かれる案件がないかを見ます。
  5. 結論でなく、観察として記録する。件数が少ないうちは、偶然のばらつきと区別できません。

属性を点検のために集めるか、は別に決める

応募者の性別や年齢などの属性ごとに結果を見たくなることがあります。ただ、そのために属性を新たに集めることは、応募者の情報の取得・利用目的に関わる、別の論点です。前の節で見た公開資料の記載(適性・能力に関係のない事項を把握しないこと、目的の範囲内で収集すること、要配慮個人情報の取得の扱い)と、どう整合させるかを、点検を始める前に社内の個人情報の担当者や専門家と整理してください。この記事は、集めてよいかどうかを判断しません。

集めない場合でも、②の1〜5の見方(工程ごとの内訳、読み直し)は使えます。ただし、見られる範囲には限りがあることを、点検の記録に書いておきます。

偏りが疑われたときの動き

状況動きの例記録すること
理由の説明がつかない差が見えた対象の工程を絞って人の確認を厚くする。入力項目(①)に原因がないか見る見た内容、絞った工程、判断者
AIの評価の根拠が確認できない委託先やツール提供元に、入出力と判断の根拠を確認する問い合わせの日付と回答
評価項目の言葉が曖昧で、解釈が分かれている評価項目の定義を見直す(面接の記録は面接メモをAIに整形させる前に決めておくも参考になります)見直した版と日付
対応が決まるまで判断がつかないAIによる自動の振り分けを止め、人が見る運用に戻す止めた日、再開の条件

「偏りは見つからなかった」場合も、その結果は「この期間、この切り口、この件数で見た範囲では」という限定つきで記録します。

③人の最終判断を、後から追える形で残す

AIの出力を人が確認する運用でも、確認が形だけになることがあります。AI事業者ガイドラインの注記は、人間がAIの判断を承認するときに、承認する理由や根拠を人間自身が独自に考えてから承認すべきだという提案を紹介しています。次の項目は、それが行われたかを後から確かめる手がかりになります。案件ごとに残せるようにします。

項目内容
対象の案件応募ごとの識別番号(氏名ではなく番号で追える形)
AIの出力推奨や要約の内容と、出力した日時、そのときの指示文・評価基準の版
人の結論結論、判断者、判断日
理由結論の理由を、判断者自身の言葉で
AIの出力との関係AIの出力と同じ結論か、異なる結論か。異なる場合はその理由
見た順番自分の評価を書いたのが、AIの出力を見る前か後か

この記録から、次のような点検ができます。

  • 理由欄が空、または定型句ばかりになっていないか
  • AIの出力と異なる結論が、ほとんどない(または偏って出ている)か。これは良し悪しの結論ではなく、確認が機能しているかを見直す合図です
  • 異なる結論が出た案件で、理由が評価基準に沿っているか

記録には応募者の個人情報が含まれます。保管場所、閲覧できる人、保管期間と削除の考え方は、不採用者の応募者データは、いつ・どこから消すかの観点で決めておきます。

④見直しの頻度ときっかけを決める

頻度の数値は、この記事では示しません。扱う応募の量や、AIを使う工程の数によって、現実的な間隔が変わるためです。決めておくのは、次の3つです。

決めること内容の例
定期の点検社内で守れる間隔と、点検の担当者・承認者。点検の日付を先にカレンダーに置く
随時の点検のきっかけツールやモデルの更新、指示文・評価基準の変更、募集する職種や応募経路の変更、委託先の変更、応募者からの申出や問い合わせ
結果の報告先人事責任者、経営層など、見直しを決められる人。報告の記録

応募者からの申出や問い合わせは、運用側では見つけにくい問題に気づく手がかりになります。窓口の考え方は、採用でAIを使うとき、応募者に何をどこまで伝えるかにまとめています。

判断条件:点検を始めやすい運用、先に整えたい運用

点検を始めやすい運用:

  • AIに渡している項目を、一覧にして示せる
  • 人の最終判断が、結論・理由・判断者とともに記録されている
  • AIの入出力や設定の変更履歴を、自社で見られる、または委託先に求められる

先に整えたい運用:

  • AIに渡る項目が、委託先の設定の中にあり、自社では把握できていない
  • 人の判断が、承認ボタンの操作だけで、理由が残らない
  • 属性を点検のために扱う方針が決まっていない
  • 点検の担当者と、結果を受けて直す人が決まっていない

後者がある場合は、点検の表を作る前に、依頼前の整理(採用AI化の依頼前に、人事が整理しておく5つのこと)や、委託先との取り決め(採用AIの委託先の選び方)から確認するほうが進めやすくなります。

点検を始める手順

手順1:AIを使っている工程を書き出し、工程ごとにAIに渡している項目を一覧にする。

手順2:各項目に、使う理由を書く。理由が書けない項目と、適性・能力に関係のない事項が混ざりうる入力経路を洗い出す。

手順3:人の最終判断の記録項目(上の表)を決め、記録できる状態にする。

手順4:出力の内訳を見る切り口を決める。属性を扱うかどうかは、個人情報の担当者や専門家と整理してから決める。

手順5:定期の点検日、随時のきっかけ、担当者、結果の報告先を決め、最初の点検は小さい範囲(1つの工程、1つの職種)で試す。

手順6:点検の記録を残し、直した内容を次回の点検で確かめる。

うまくいかない点検のパターン

  • 導入時の確認だけで、運用が始まったあとの点検が決まっていない
  • 点検の対象が、AIの判定結果だけで、AIに渡している項目や指示文の変更が含まれていない
  • 人の確認があるとされているが、結論も理由も記録に残らない
  • 件数が少ない段階の結果から、「問題なし」「問題あり」と結論してしまう
  • 点検のために属性を集めることを、個人情報の面から整理しないまま始める
  • 偏りが見つかったときの動き(絞る、止める、確認する)が決まっていない
  • 点検の記録がなく、担当者が替わると前回の点検の内容が分からなくなる

WITHPROJECTSの進め方

WITHPROJECTSの公開ページは、採用AXについて、採否そのものをAIに任せる意味ではないと説明しています。また、同ページでは、AI化の工程の一つとして、稼働後の誤りや例外を見て直す運用改善を挙げています。

採用業務のどこをAI・ルール・人に分けるかは採用AXとはにまとめています。

次の一歩

採用業務のどこをAI化できるか、人が確認する場面と記録の残し方から整理したい方は、個別相談の予約へお進みください。(個別相談会(30分)の予約ページへ移動します)

CONTACT

お問い合わせ・資料請求