NIST顔認識評価におけるAyonix

NISTの顔認識評価とは何か

米国立標準技術研究所（NIST）は、顔認識アルゴリズムに対する独立した継続的評価を運営しています。開発者はコンパイル済みソフトウェアとしてアルゴリズムを提出し、NISTは開発者が閲覧できない大規模な非公開データセットで実行し、比較報告を公表します。本プログラムはFRVT、近年はFRTEの名称で運営されています。

この評価が重要なのは、この市場に独立した指標がほとんど存在しないためです。ベンダーが公表する精度の数値は、ベンダー自身が、ベンダーが選定したデータで、ベンダーが決めた閾値において測定したものです。NISTはこの3つの自由度を同時に取り除きます。

• 提出者が見たことのないデータで試験されるため、試験データへの過適合ができません。
• 提出されたすべてのアルゴリズムが同一データに対して試験されるため、ベンダー横断の比較が成立します。
• 属性グループ別の誤り率を含め、結果が公開されます。
• 提出には日付が付くため、結果は特定時点の特定バージョンに紐づきます。

Ayonixの参加が意味すること

Ayonixのアルゴリズムは、本人特定、本人確認、属性分析を含む複数の試験サイクルにわたり、NISTの顔認識評価の刊行物に掲載されています。主張はこれがすべてであり、本ページはこれを超える解釈を行いません。

Ayonixは、NISTの指標であるか否かを問わず、本サイトで精度の数値を公表していません。データセット、運用閾値、属性別の内訳を伴わない誤り率は、購入判断に使える事実ではなく、NIST報告書の有利な一部を引用することが、その文脈が失われる最も一般的な経路です。比較可能な数値が必要な場合は、報告書を直接ご参照ください。

NIST顔認識報告書の読み方

1. トラックを特定します。1:1本人確認と1:N本人識別は別の課題であり報告書も別です。一方の良好な結果は他方をほとんど示しません。
2. アルゴリズムの提出日を確認します。報告書は年月をかけて蓄積され、引用されている行のアルゴリズムが現行版とは限りません。
3. 誤照合率と誤非照合率を併せて読みます。一方を良く見せるために他方を犠牲にした調整が可能です。
4. 属性別差異の節を確認します。誤り率は年齢、性別、肌の色調によって変動し、単一の代表値はそれを完全に覆い隠します。
5. データセットを確認します。査証写真、逮捕時写真、出入国時の画像では、同一アルゴリズムでも数値が大きく異なります。
6. 結果はアルゴリズムに関する証拠であり、貴組織の導入環境の予測ではないと捉えます。カメラ設置、照明、対象集団が異なります。

NISTの結果は、ベンダーが外部の検証を受け入れたことを示す強い信号です。同時に、特定の建物の特定の扉で、特定の集団が通過するときの挙動を予測する力は弱い指標でもあります。この2つは同時に成り立ちますが、ベンダーは前者のみを引用しがちです。

Ayonixが精度の数値を公表しない理由

精度のパーセンテージは、生体認証において最も要望が多く、最も有用性の低い数値です。同一のアルゴリズムが、データセット、照合閾値、対象が本人確認か本人識別かによって、99.9パーセントとも95パーセントとも、いずれも虚偽なく説明できてしまいます。

• 閾値：上げれば誤照合が減り、見逃しが増えます。唯一の正解はなく、見逃しと誤警報のどちらの損失が大きいかによります。
• 登録件数：100人に対する識別と1,000万人に対する識別は別の課題です。
• 画質：協力的に撮影された旅券写真と、斜めから低照度で捉えた顔は、比較可能な入力ではありません。
• 属性：集計値はグループ間の差を隠します。公平性の観点では、通常その差こそが重要な数値です。

Ayonixは代わりに、顧客の拠点で、顧客のカメラと対象集団を用いた実証をご提案しています。その方法で得られる数値は、購入検討者が実際に知りたいこと、すなわち設置予定の場所でどう動作するかに答えます。

FRVTとFRTEはどう違うのか

同じプログラムの、二つの名称です。NISTは長らく顔認識評価をFRVT（Face Recognition Vendor Test）として実施してきましたが、現行のトラックはFRTE（Face Recognition Technology Evaluation）に改称され、認識以外の解析課題はFATEが扱っています。旧来の報告書やURLには今もFRVTの名が残っており、検索で両方が出てくるのはそのためです。FRVTを引用しているからといって、廃止された評価を指しているとは限りません。

• FRTE 1:1 — 本人確認。2枚の画像は同一人物か。FMRとFNMRで報告されます。
• FRTE 1:N — 識別。登録済みN名のうち誰か、あるいは該当なしか。FPIRとFNIRで報告されます。
• FATE — 品質評価、モーフィング検知、年齢推定など。認識とは別に評価されます。

4つの誤り率は区別しておく価値があります。ベンダーは自社に有利なものを引用するからです。FMRは他人受入率、すなわち別人同士を同一人物と判定する割合。FNMRは本人拒否率、すなわち同一人物を認識できない割合。FPIRとFNIRはその識別版であり、FMRやFNMRと違って検索対象となる登録件数の規模とともに変化します。本人確認の結果から識別の性能を推し量れないのは、このためです。

Ayonixの結果を自ら確認する方法

NISTは参加者一覧とアルゴリズムごとの報告カードを公開しています。本ページの記載を含め、ベンダーの参加に関する主張はベンダーのサイトではなくNISTでご確認ください。そのため、以下では説明ではなく該当する記録そのものを示します。

• NIST FRTE 1:1 本人確認 — 参加者一覧Ayonixは Ayonix (JP) として掲載されています。
• ayonix_000（1:1本人確認）のNIST報告カード開発者名、アルゴリズム種別、提出日はカード冒頭に記載されています。
• NIST FRTE 1:N 識別 — 結果と報告カードayonix_0、ayonix_1、ayonix_2を含む各アルゴリズムの報告カードへのリンクがあります。
• NIST Face Technology Evaluations（FRTE・FATE）プログラムプログラム本体。現行の評価トラックと公開報告書が掲載されています。