Como funciona a IA (introdução técnica à comparação facial)
Quando você entrega a este site uma foto de um rosto, ele procura atrizes com traços parecidos entre cerca de 16,422 pessoas. Aqui explicamos como funciona e os limites que encontramos ao medir. Foi escrito do ponto de vista de quem criou, então é um pouco técnico.
O fluxo geral
- Encontrar o rosto na foto (detecção facial)
- Transformar o rosto em 128 números (vetor de características)
- Comparar com os números de cerca de 16.000 atrizes (comparação)
- Ordenar por proximidade e mostrar
Essas quatro etapas rodam inteiramente dentro do seu navegador. Os modelos são baixados para o navegador e executados com um motor de inferência sobre WebAssembly (ONNX Runtime Web), de modo que a foto que você envia nunca é transmitida a um servidor nem fica salva.
1. Detecção facial e vetores de características
Para a detecção facial usamos o YuNet, um modelo leve publicado no OpenCV Zoo, e para transformar o rosto em números usamos o SFace, da mesma origem. O rosto detectado é alinhado em orientação e tamanho a partir da posição dos olhos, recortado para 112×112 pixels e passado ao SFace. O que sai é uma sequência de 128 números (o vetor de características).
O modelo foi treinado para que o rosto da mesma pessoa produza sequências de números parecidas. Por isso, se dois rostos se parecem pode ser medido pelo quanto as duas sequências de números apontam na mesma direção (semelhança do cosseno).
2. Comparação com cerca de 16.000 atrizes
Os vetores das atrizes são calculados de antemão a partir das imagens de perfil delas. O seu navegador os baixa, compara todos com o vetor da sua foto e os ordena por semelhança. Não há nenhum processamento que consulte um servidor.
Também mostramos a «proximidade» por partes — olhos, nariz, boca e contorno —, mas é um método simples que divide os 128 números em intervalos e os compara. Ele não isola nem mede cada parte do rosto de forma estrita, então encare como uma referência aproximada.
Valores de referência da semelhança
Um número de semelhança não pode ser interpretado sem conhecer a referência. Por isso medimos a semelhança de 4.000 pares de pessoas diferentes escolhidos ao acaso das imagens de perfil. A média foi 0,105, o desvio padrão 0,117, 95% dos pares ficaram em 0,308 ou menos e o máximo foi 0,503. O limiar habitual para considerar que dois rostos são a mesma pessoa com o SFace fica em torno de 0,36.
Ou seja, valores em torno de 0,3 aparecem com frequência mesmo entre pessoas completamente diferentes. Ordenar «parecidas» com essa base produziria uma lista sem sentido. A porcentagem mostrada na tela é uma conversão para exibição baseada nessa distribuição, não uma probabilidade. Como ler os resultados do diagnóstico está resumido em Como funciona o diagnóstico de atrizes AV.
Como os rankings de traços faciais são medidos
Traços como o tamanho dos olhos ou o contorno são obtidos detectando os marcos faciais (478 pontos) e expressando-os como proporções divididas pela largura do rosto. Se fossem usadas medidas absolutas, elas dependeriam do tamanho da imagem, então tudo é normalizado pela largura do rosto. Além disso, incluímos dois tratamentos para dar confiabilidade ao resultado.
- Excluir fotos de perfil, olhando para baixo ou de olhos fechados.As fotos cujas proporções não podem ser medidas corretamente devolvem valores errados em vez de um erro. Cerca de metade de todas as fotos passou por essa condição
- Remover o efeito do sorriso.Ao sorrir, os olhos parecem mais estreitos e os lábios mais finos. Usamos os resíduos de uma regressão com a intensidade do sorriso como variável explicativa
Os resultados podem ser vistos no ranking por traços faciais e em buscar por traços faciais.
A foto de perfil e o rosto dentro das obras
A foto de perfil pode passar uma impressão diferente da das obras, por causa do retoque e das condições da sessão. Por isso também extraímos rostos das imagens de amostra das obras em que ela aparece e os comparamos.
Aqui havia uma armadilha. Mesmo quando um único rosto aparecia numa imagem de amostra, nas nossas medições 62,7% das vezes não era a própria atriz, porque as colegas de cena também aparecem. Por isso não tratamos um rosto extraído como sendo a pessoa sem mais: só usamos os rostos confirmados como dela ao compará-los com a imagem de perfil.
As 1,124 atrizes das quais conseguimos confirmar 15 ou mais rostos dentro das obras, ordenadas pelo quanto a impressão coincide com a da foto de perfil. Estes são exemplos do topo, em que a impressão coincide.
Ranking de coincidência entre a imagem de perfil e o rosto nas obras / Ranking de maior diferença de impressão
Limites
- O que se mede é uma fotografia. Ela é afetada pelo retoque, pelas modas de maquiagem e pela época em que foi tirada. Houve casos em que a média de um mesmo traço se moveu mais de 20 pontos conforme a época de estreia
- Rostos parecidos é diferente de ambiente ou tipo de corpo parecidos
- Mesmo que a semelhança seja alta, isso não garante que seja a mesma pessoa. É uma ferramenta de entretenimento
Este site é um site não oficial mantido por uma pessoa e não tem relação com a FANZA nem com a DMM.com. As fontes dos dados e a nossa forma de pensar a condução do site estão escritas em Sobre este site e em Perguntas frequentes.
Leia também
- Como funciona o diagnóstico de atrizes AV | 4 diagnósticos: foto, gostos, rosto ideal ou traços
- Ao coletar rostos das obras, 62,7% das imagens com um só rosto não eram ela | As armadilhas de coletar dados faciais
- Como encontrar uma atriz AV a partir de uma imagem | 5 passos quando você não sabe o nome