Resultados do NIST mais uma vez demonstram a consistência e equidade do SAFR entre grupos raciais

14 de Agosto de 2019 por Reza Rassool, CTO, RealNetworks

A WIRED destacou recentemente níveis inaceitáveis de viés nas soluções de reconhecimento facial no artigo The Best Algorithms Struggle to Recognize Black Faces Equally. Eles citaram as notas baixas nos testes dos principais fornecedores de reconhecimento facial, conforme relatado pelo Instituto Nacional de Padrões e Tecnologia (NIST) em seus resultados de Julho de 2019. A WIRED focou especificamente na Idemia, mas generalizou suas preocupações. Aqui está o que eles disseram:

“O teste do NIST desafiou os algoritmos para verificar se duas fotos mostravam a mesma face, semelhante à maneira como um agente de fronteira verifica os passaportes. Em configurações de sensibilidade em que os algoritmos da Idemia correspondiam falsamente a diferentes rostos de mulheres brancas com uma taxa de 1 em 10.000, correspondiam falsamente a rostos de mulheres negras cerca de 1 em 1.000, 10 vezes mais frequentemente. A taxa de 1 em 10.000 falsas correspondências é frequentemente utilizada para avaliar sistemas de reconhecimento facial.”

“O relatório de julho do NIST abrangeu testes de código de mais de 50 empresas. Muitos dos melhores nesse relatório identificaram falhas de desempenho semelhantes à diferença de 10 vezes na taxa de erro da Idemia para mulheres negras e brancas “.

O que o artigo da WIRED não apontou é que alguns algoritmos têm um desempenho muito melhor em relação ao viés. O algoritmo SAFR da RealNetworks correspondia falsamente aos rostos das mulheres negras cerca de 1 em 3.162 – aproximadamente 3 vezes mais frequentemente do que as mulheres brancas. Embora isso seja competitivamente melhor que a taxa de 10 vezes da Idemia, a RealNetworks está comprometida em reduzir ainda mais o viés. A baixa taxa de viés do SAFR é consistente nos últimos três relatórios do NIST.

Na RealNetworks, definimos critérios de projeto medidos pelo NIST para precisão, velocidade, tamanho e baixo viés:

  • Precisão – O reconhecimento facial deve ter FNMR <3,5% (@FMR 1: 10K);
  • Velocidade – (para acompanhar o vídeo ao vivo) > 3 reconhecimentos por segundo;
  • Tamanho – (para melhor capacidade de incorporação) <100 MB tamanho do modelo;
  • Viés/equidade – (por falta de polarização através do tom de pele e do gênero) <0,25% (@FMR 1: 1K).

Como as empresas de reconhecimento facial se comparam com o SAFR em relação a esses critérios

Precisão, velocidade, tamanho, viés/equidade conforme medido pelos testes do NIST de Julho de 2019.

A Idemia defendeu seus resultados de viés citando variações em seu algoritmo testado pelo NIST versus oferecido comercialmente. Por que a discrepância? Em um esforço para obter as pontuações mais altas possíveis do teste NIST, várias empresas não utilizam os algoritmos que eles enviam ao NIST em seus produtos comerciais de reconhecimento facial. Esses algoritmos testados pelo NIST podem se mostrar com baixo viés ou alta precisão, mas muito lentos ou muito grandes para uso prático. A RealNetworks, por outro lado, envia ao NIST o mesmo algoritmo SAFR que é enviado em seus aplicativos comerciais – as baixas taxas de polarização do SAFR medidas pelo NIST são as mesmas baixas taxas de polarização experimentadas pelos usuários no mundo real.

O viés baixo é um elemento fundamental para a confiança e a excelência no reconhecimento facial. A RealNetworks é uma empresa norte-americana comprometida em identificar e erradicar viés em seus algoritmos e fornecer tecnologia que tenha um desempenho igualmente bom com qualquer tom de pele ou sexo – garantindo que o reconhecimento facial funcione para todos em nossa sociedade.