NIST FRVT（顔認識ベンダーテスト）
NIST FRVTは、米国国立標準技術研究所（NIST）が実施する顔認識ベンダーテストで、提出された顔認識アルゴリズムを非公開データセット上で継続的に測定する評価です。結果はアルゴリズムとデータセットごとに報告されます。NISTは特定のベンダーを推奨するものではなく、認証も発行しません。
NIST FRVTは実際に何を測定するのか
参加者はアルゴリズムをコンパイル済みライブラリとして提出します。NISTは参加者が見たことのないデータセット上で、条件を固定し、NISTのハードウェアで実行し、データセット別、タスク別、属性グループ別に誤り率を報告します。自己申告の要素がないことが、ベンダー間の比較を可能にしています。
- 1:1本人確認：査証、マグショット、出入国、撮影条件が整わない画像群での誤り率。
- 1:N本人識別：数百万件規模までのギャラリーに対する検索精度。
- 属性の影響：性別、年齢層、出生国別に分解した誤り率。
- 提示攻撃検知およびモーフ検知：別トラックとして評価されます。
- テンプレート生成時間と検索時間：全参加者が同一ハードウェアで測定されます。
NIST認証を取得できる企業が存在しない理由
NISTは計測機関であり、認証機関ではありません。その評価が生み出すのは、特定の時点の特定のデータでアルゴリズムがどう動いたかを記述した報告書です。合格基準も、証明書も、認定ベンダー一覧も存在しないため、NIST認証やNIST承認という主張は、存在しないものを指しています。
ベンダーが正当に述べられるのは、どのアルゴリズムをいつ提出し、名前を挙げたデータセットでどの位置だったかまでです。推薦の形を取った表現は、NISTがいかなる相手についても行っていない主張です。
購入者はFRVTの報告書をどう読むべきか
- 企業名ではなくアルゴリズム識別子を確認します。1社が多数のアルゴリズムを提出しており、結果はそれぞれ異なります。
- 提出時期を確認します。数年前の首位の結果は、その後繰り返し更新されています。
- 自社の条件に対応するデータセットを読みます。査証品質の正面画像は、通路に設置した広角カメラの結果を何ら予測しません。
- 全体値ではなく属性別の内訳を読みます。全体値は、運用上重要な差を覆い隠します。
- 総合順位ではなく自社に該当するデータセットでの順位を比較します。すべてのトラックで首位のアルゴリズムは存在しません。
順位は実験室条件下でのアルゴリズムに関する証拠であり、この分野で入手できる独立した証拠としては最良のものです。一方それは、特定の現場の特定のカメラでシステムがどう動くかの予測ではありません。それを測るのが実証導入です。
よくある質問
- NIST FRVTとは何ですか。
- NIST FRVTは、米国国立標準技術研究所が実施する顔認識ベンダーテストです。提出されたアルゴリズムを、条件を固定した非公開データセット上で継続的に測定します。結果はアルゴリズム、データセット、属性グループごとに公表され、NISTは特定のベンダーを推奨するものではありません。
- 顔認識でNIST認証を取得した企業はありますか。
- 存在しません。NISTは計測機関であり認証機関ではないため、証明書ではなく評価報告書を公表し、認定ベンダー一覧も設けていません。NIST認証やNIST承認は存在しない制度を指す表現であり、宣伝資料でこの語を見た場合は、実際の報告書の提示を求める理由になります。
- FRVTへの参加は任意ですか。
- 任意です。ベンダーが自らアルゴリズムを提出し、結果は内容にかかわらず公表されます。提出し、結果を見てから公表を取り下げることはできません。この点が、独立した証拠としての価値を支えています。
- FRVTで上位なら自社の現場でも機能しますか。
- そのデータセットで実験室条件下において良好だったことを意味します。現場での性能は、カメラの設置位置、顔の解像度、照明、処理量、登録件数に左右され、いずれも評価の対象外です。順位は候補の絞り込みに役立ち、導入先を表す数値は自社カメラでの実証から得られます。
- FRVTはどのくらいの頻度で更新されますか。
- 年1回といった固定周期ではなく、新たな提出が評価されるたびに報告書が更新される継続的な運用です。そのため結果は必ず日付とともに読む必要があります。過去の報告での上位は、その後何度も更新されている可能性があります。
- FRVTは属性による差を測定しますか。
- 測定します。NISTは性別、年齢層、出生国などの属性別に誤り率を分解して報告しており、属性による差の大きさがアルゴリズムによって大きく異なることを示しています。調達時に読むべきは全体の数値ではなく、この内訳です。