Ayonixにおける精度とライブネス

Ayonixが精度のパーセンテージを公表しない理由

パーセンテージが事実といえるのは再現できる場合に限られ、再現には測定時の閾値、データセット、登録件数、画質、属性別の内訳が必要です。見出しの数値にはそのいずれも現れず、どれか一つを変えるだけで、同じシステムを優秀とも実用不能とも記述できるほど結果は動きます。

• 閾値：他人受入と本人拒否を相反させる設定であり、最も省略されやすい項目です。
• データセット：査証品質の正面画像と通路のカメラでは、同一のソフトウェアでも結果が異なります。
• 登録件数：1,000件で測定した識別の誤り率は、100万件には転用できません。
• 属性：誤り率はグループによって異なり、全体値はその差を平均で覆い隠します。
• 撮影条件：姿勢、照明、遮蔽の影響は、多くのアルゴリズム間の差より大きく結果を動かします。

公表された数値を評価する実務的な基準は、その横に印刷された情報だけで購入者が測定を再現できるかどうかです。再現できないなら、その数値は結果の形をした宣伝上の主張です。

個別の導入で精度をどう確定するのか

1. カメラの調査：画面中央ではなく、人が実際に通過する位置での顔の画素数を測定します。
2. 運用と同じ条件で登録します。演出された撮影ではなく実際の手順を反映させるためです。
3. 定めた期間、ライブ映像で稼働させ、警報だけでなくすべての比較を記録します。
4. 2種類の誤りを数えます。照合できなかった人と、別人と照合された人です。片方だけでは何も表しません。
5. その現場で各誤りが生む損失に合わせて閾値を調整し、最終値とその理由を記録します。
6. カメラの設置位置、照明、登録手順を変更したら測定をやり直します。

この手順が生み出すのは、一つの設置環境を記述する数値であり、購入者が実際に判断に使える唯一の精度の値です。拠点間で比較できるものではなく、Ayonixもそのようには提示しません。

顔認識アルゴリズムに関する独立した証拠

この分野で最も強い独立した証拠は、米国国立標準技術研究所による評価です。提出されたアルゴリズムを条件を固定した非公開データで測定し、結果の内容にかかわらず公表します。NISTは特定のベンダーを推奨するものではなく、認証も発行しないため、報告書は供給者の推薦ではなくアルゴリズムに関する証拠です。

実験室の結果と現場の結果は、別の問いに答えます。評価はそのデータでアルゴリズムがどう動いたかを、実証はこのカメラ、この照明、この利用者のもとでこの設置環境が何をするかを示します。調達判断には双方が必要であり、一方が他方の代わりにはなりません。

ライブネスをどう確認するのか

ライブネスの主張は、器具名を明示した攻撃に対してのみ意味を持ちます。ISO/IEC 30107-3は提示攻撃検知の試験方法と報告方法を定めているため、確認すべきは、どの器具を、どの水準で、誰が提示したのかであって、名称の示されない攻撃に対する検知率ではありません。

ISO/IEC 30107-3準拠は試験方法論の説明であり、合格基準ではありません。取得すべき証明書は存在しないため、認証を掲げるベンダーは存在しないものを説明しています。

顔認識ベンダーに確認すべきこと

• 第三者評価に提出したアルゴリズム識別子と、その提出時期はいつですか。
• 提示している数値は、どの閾値で、どのデータセットに対して測定したものですか。
• 公表している全体値の背後にある、属性別の内訳はどうなっていますか。
• ライブネスはどの提示攻撃器具に対して、どの試験機関で試験しましたか。
• 当方のカメラで実証を実施し、一致だけでなく失敗も報告していただけますか。
• テンプレートはどこに保存され、インターネット接続が切れたとき認識はどうなりますか。

6問すべてに答えられるベンダーは根拠を持っています。いずれかへの答えがパーセンテージであるなら、それは主張を裏づけたのではなく言い換えたにすぎません。このページが示そうとしているのは、その区別です。