他人受入率（FAR）と本人拒否率（FRR）
他人受入率（FAR）は、別人同士を一致と判定する頻度です。本人拒否率（FRR）は、同一人物を一致と判定できない頻度です。両者は照合閾値に応じて逆方向に動くため、システムは唯一の正解値ではなく、それぞれの誤りがもたらす損失に合わせて調整します。
照合閾値はFARとFRRをどう相反させるのか
顔照合器が出力するのは判定ではなく類似度スコアです。閾値は、一致と不一致を分ける線を運用者がどこに引くかを表します。閾値を上げれば他人の受け入れは減り、正規の利用者が拒否される場面が増えます。下げれば逆になります。両方の誤りを同時に減らす閾値は存在せず、システムを一つの数値で表せないのはこのためです。
| 閾値 | 他人受入 | 本人拒否 | 適した用途 |
|---|---|---|---|
| 緩い | 多い | 少ない | 再試行の負担が小さい利便性重視のロック解除 |
| 中間 | 中程度 | 中程度 | 代替手段を併用する社員の入退室管理 |
| 厳しい | 少ない | 多い | 誤入場が許容されない高セキュリティ区画 |
単一の精度パーセンテージに意味がない理由
閾値、データセット、登録件数、画質、属性別の内訳を伴わない精度の数値は、再現も比較もできません。同じアルゴリズムでも、これらのいずれか一つを変えるだけで、はるかに高精度にも低精度にも表現できます。そして見出しの数値には、そのどれも現れません。
- 閾値：トレードオフを決める設定であり、最も省略されやすい項目です。
- データセット：証明写真品質の正面画像とCCTVのフレームでは、同じシステムでも結果が異なります。
- 登録件数：1,000件で成立した1:Nの誤り率が、100万件でも成立するとは限りません。
- 属性：誤り率は属性グループによって異なり、全体の集計値はその差を覆い隠します。
- 撮影条件：姿勢、照明、遮蔽の影響は、多くの場合アルゴリズム間の差より大きくなります。
Ayonixが自社製品の精度をパーセンテージで公表していないのは、まさにこの理由によります。導入先の環境を表す数値は、実際のカメラでの実証によってのみ得られると考えています。
生体認証の報告書に登場するその他の指標
- FMR・FNMR：誤一致率と誤不一致率。取引単位ではなく比較単位で測定する指標で、NISTが報告に用います。
- FPIR・FNIR：1:N検索における識別版の指標で、誤検出識別率と検出漏れ識別率です。
- 等誤り率（EER）：FARとFRRが等しくなる点。アルゴリズムの比較には有用ですが、運用点としては使えません。
- 登録失敗率：そもそも登録できない人の割合。照合系の指標では捉えられません。
NISTの報告書がFMRとFNMRを用いるのは、比較すなわちアルゴリズムの挙動を測るためです。一方、実運用で測るのは取引であり、再試行、撮影失敗、担当者の判断が含まれます。どちらも正当な指標ですが、一方を他方として引用することが、ベンチマーク値が実際に運用するシステムを表さなくなる最も一般的な原因です。なおNISTは特定のベンダーを推奨するものではなく、認証制度も設けていないため、報告書はアルゴリズムに関する証拠であって推薦ではありません。
よくある質問
- 生体認証のFARとFRRとは何ですか。
- 他人受入率（FAR）は、別人同士を一致と判定する頻度です。本人拒否率（FRR）は、同一人物を一致と判定できない頻度です。両者は照合閾値を介して相反し、閾値を厳しくすると他人受入が減り本人拒否が増えます。したがって、誤りの損失を抜きにした唯一の正解はありません。
- 入退室管理に適したFARはどの程度ですか。
- 誤入場の損失と拒否の損失によって変わります。代替手段のある社員用扉は、サーバー室より緩い設定を許容できます。有用な問いはどの数値が良いかではなく、その現場がどちらの誤りを吸収できるかです。閾値は両方を動かし、両方を下げることはできません。
- 等誤り率（EER）とは何ですか。
- 等誤り率は、他人受入と本人拒否が同じ頻度で発生する閾値です。論文でアルゴリズムを比較する際の単一指標としては便利ですが、実システムの運用点としては適しません。2種類の誤りを同等に評価する導入現場はほとんど存在しないためです。
- FAR・FRRとFMR・FNMRはどう関係しますか。
- FMRとFNMRは個々の比較を測る指標で、FARとFRRは取引を測る指標です。取引には複数回の比較、再試行、撮影の工程が含まれます。NISTの報告書がFMRとFNMRを用いるのはアルゴリズムの性質を表すためであり、この2組の数値は直接読み替えられません。
- Ayonixが精度の数値を公表しないのはなぜですか。
- 閾値、データセット、登録件数、属性別内訳を伴わないパーセンテージは再現できず、購入判断にも使えないためです。アルゴリズムの比較には第三者評価を、導入先を表す数値には実際のカメラでの実証をご案内しています。
- 誤り率は属性グループによって異なりますか。
- 第三者評価では異なることが繰り返し確認されており、その差の大きさはアルゴリズムによって大きく変わります。全体の精度値はこの差を平均で覆い隠すため、属性別の内訳は別途報告され、調達時の確認事項として扱うべき項目です。