顔認識の試験導入の進め方
有用な試験導入とは、購入側自身のカメラ、対象者、しきい値のもとで、開始前に合意した基準に照らして評価するものです。要点は受入基準を先に書くことです。実施した側が事後に判断する試験導入は、基準のほうが動くため、常に成功に見えます。
精度の数値を比べるのではなく試験導入を行うのはなぜか。
精度の数値は現場間で持ち越せないからです。同じアルゴリズムでも、ビザ写真、逮捕時写真、国境通過時の画像では誤り率が異なり、被写体が立ち止まるゲートと斜めに歩いて通過する通路とでもまた異なります。データセット、しきい値、撮影条件を伴わない数値は、購入判断に使える主張ではありません。
試験導入は、ベンダーの条件を購入側の条件に置き換えます。それによって結果は具体的で使えるものになり、同時に居心地の悪いものにもなります。だからこそ主張する価値があります。自社のカメラでの試験導入を渋るベンダーは、そのこと自体で何かを語っています。
- 当サイトが精度の数値を公表しない理由詳しい論拠と、何を聞いても数値で答えるベンダーに何を尋ねるべきか。
試験導入の開始前に何を合意すべきか。
以下はすべて、機器を設置する前に文書化し、双方が合意しておくべき事項です。試験導入が判断材料を生むか、議論を生むかを決める段階です。
- 対象とする課題。1:1認証、1:N識別、ウォッチリスト警報のいずれか。それぞれ異なる問題であり失敗の様相も異なります。特定しない試験導入は、最も結果の良かったものを測ることになります。
- 対象となる人々とその規模。登録者数と、試験期間中に撮影地点を通過する実人数。
- 撮影地点。その幾何条件と照明を記録し、試験期間中は変更しないことを合意します。
- しきい値、またはその決定手順。試験の途中でベンダーがしきい値を調整すれば、その前後の結果は比較できません。
- 受入基準。方向を伴う数値として。どの程度の誤照合率と未検出率が、どの処理量のもとで許容されるか。
- 代替手順。認識が失敗したときに何が起き、誰が対応し、その所要時間が測定対象に含まれるかどうか。
- 取得データの帰属、保存期間、そして廃棄の時期。
しきい値の項目は、最も未決のまま残されやすく、最も結果を左右します。しきい値を上げれば誤照合は減り未検出は増え、下げれば逆になります。データを見た後で決めてよいベンダーは、ほとんどどんな試験導入でも成功として提示できます。
対象は何人、期間はどれだけ必要か。
正直な答えは、検出したい誤り率によるということ、そして多くの試験導入は、優れたシステムと平凡なシステムを区別するには小さすぎるということです。推測ではなく計算する価値があります。
- ある失敗をそもそも観測するには、それが数回起こると期待できるだけの試行回数が必要です。未検出が100回に1回程度と見込まれるなら、50回の試行ではしばしば1件も出ず、何も証明しません。
- 誤照合は未検出よりはるかに多くのデータを要します。より稀だからです。誤照合の問題を検出するには、通常、2週間の試験導入が自然に生み出す以上の登録規模と非該当試行の量が必要です。
- 1日および1週間の全周期にわたって実施してください。就業時間中のみの試験導入は、出入口を壊す照明条件を見逃します。
- うまくいかない層を含めてください。子ども、車椅子利用者、宗教上の頭部の覆いを着用する方、マスクや度の強い眼鏡を着用する方。25歳から50歳の社員の志願者だけで構成した試験導入は、性能を過大に評価します。
統計的に意味のある誤照合の測定に必要な量が現実に得られない場合は、標本が支持しない数値を報告するのではなく、その旨を報告書に記してください。「これは測定できなかった」と結論する試験導入のほうが、裏付けのない率を報告するものより有用です。
何を測定すべきか。
| 測定項目 | 重要な理由 | よくある誤り |
|---|---|---|
| 未検出（本人拒否・偽陰性識別） | 1件ごとに、システムが認識できなかった人がいて、要員の対応時間が発生します。 | 結果が出た試行だけを数え、顔が検出されなかった試行を除外してしまうこと。 |
| 誤照合（他人受入・偽陽性識別） | 1件ごとに、別人として誤認された人がいます。最も影響の大きい誤りです。 | この低い率を検出できない小さな標本で測定し、ゼロという結果に意味があるかのように報告すること。 |
| 取得失敗 | カメラが使える顔を得られなかった状態。アルゴリズムの失敗ではありませんが、来訪者の体験としては同じです。 | アルゴリズムの誤りとして記録し、対策を誤った箇所に向けてしまうこと。 |
| 処理量 | 代替手順の待ち行列を含む、撮影地点あたりの毎分通過人数。 | 成功した経路のみを測定すること。それは現場が実際に経験する処理量ではありません。 |
| 失敗の解消に要する時間 | 有人の代替手順に要する時間。これが要員数を決め、事業性を決めます。 | まったく測定しないこと。この作業全体で最も多い欠落です。 |
| 対象層による差 | 全体の率は、システムがうまく機能しない層を覆い隠します。多くの場合、そこが最も重要な数値です。 | 全員について1つの代表値を報告すること。 |
結果はどう報告すべきか。
購入側が判断に使える報告書には型があります。条件、数値、その数値が及ばない範囲、この順です。条件を伴わずに読まれた数値こそが、この業界にあふれる精度の主張を生んでいるからです。
- 条件。カメラ、設置位置、照明、しきい値、登録規模、実施日時。
- 生の件数。試行、照合成立、未検出、誤照合、取得失敗。率はここから導きます。率のみを公表することは標本規模を隠すことです。
- 標本が許す限りでの、対象層ごとの内訳。
- 測定できなかった事項と、その理由。
- 受入基準を満たさなかった場合、満たすには何を変える必要があるか。
試験導入の結果は、実施した現場に帰属します。別の建物、別のカメラ構成、別の対象者には転用できません。ベンダーが貴社の試験結果を次の顧客に引用するなら、それは不正確な表示です。そのベンダーがAyonixであっても同じです。
試験導入では分からないことは何か。
- 本番規模での挙動。登録500件と50万件は別の問題であり、識別の誤り率は登録規模とともに上昇します。
- 劣化の仕方。2週間では、登録画像の経年、対象者の入れ替わり、カメラのピントのずれが何をもたらすかは見えません。
- 攻撃下での挙動。提示型攻撃への耐性は、偶発的な観察ではなく意図的な敵対的試験を要します。
- 運用者が設計どおりに使うかどうか。自動化バイアスは時間的な圧力の下で現れますが、観察者が同席する試験導入ではその圧力が生じにくいものです。
これらは試験導入を省く理由ではなく、導入後の見直しを計画する理由です。試験導入はここで機能しうるかに答え、見直しは今も機能しているかに答えます。
よくある質問
- 顔認識の試験導入はどれくらいの期間必要ですか。
- その現場の1日および1週間の全周期を、1日のうち最も条件の悪い時間帯の照明も含めて網羅できる長さで、かつ関心のある失敗が数回起こると期待できるだけの試行数が得られる長さです。2週間が一般的ですが、十分かどうかは暦ではなく量で決まります。
- 試験導入には何人の対象者が必要ですか。
- 多くの試験導入が用いる人数より多くです。未検出が100回に1回程度と見込まれるなら、50回の試行ではしばしば1件も出ず、何も証明しません。誤照合はさらに稀で、短期の試験導入が自然に生む以上のデータを要します。その場合は裏付けのない率を報告せず、測定できなかったと記すべきです。
- 試験導入中、照合しきい値は誰が決めるべきですか。
- 開始前に合意しておくか、決定手順を合意しておくべきです。データを見た後で調整してよいベンダーは、ほとんどどんな試験導入でも成功として提示できます。しきい値を上げれば誤照合が減り、下げれば未検出が減るため、唯一の正しい設定は存在しないからです。
- 顔認識の試験導入にはどんな受入基準を設けるべきですか。
- 開始前に文書化した、方向を伴う数値です。許容される誤照合率、許容される未検出率、必要な処理量、そして有人の代替手順で失敗を解消するまでの最大時間。事後に合意されたものは基準ではありません。
- 複数ベンダーの試験導入結果を比較できますか。
- 条件が同一であれば可能です。同じカメラ、同じ設置位置、同じ登録データ、同じしきい値方針、同じ対象者、同じ日程。そうでなければ比較しているのはシステムではなく現場です。同一の設置環境で順に実施するほうが、異なる現場で実施するより公平な比較に近づきます。
- 試験導入が成功すれば本番規模でも機能しますか。
- いいえ。識別の誤り率は登録規模とともに上昇するため、登録500件での結果は50万件での結果を予測しません。試験導入はこの条件下でこの現場で機能しうるかに答えるものです。規模、登録画像の経年、現実の時間的圧力下での運用者の行動については、導入後の見直しが必要です。