AI의 구조 (얼굴 대조 기술 소개)
이 사이트는 얼굴 사진 한 장을 건네면, 얼굴 생김새가 가까운 여배우를 약 16,422명 중에서 찾습니다. 그 구조와, 실측으로 알게 된 한계를 적습니다. 만든 사람의 시점이라 조금 기술 쪽으로 치우쳐 있습니다.
전체 흐름
- 사진에서 얼굴을 찾는다 (얼굴 검출)
- 얼굴을 128개의 숫자로 바꾼다 (특징량)
- 약 1.6만 명의 숫자와 비교한다 (대조)
- 가까운 순으로 정렬해 표시한다
이 네 가지는 모두 사용 중인 브라우저 안에서 동작합니다. 모델은 WebAssembly로 동작하는 추론 엔진(ONNX Runtime Web)으로 브라우저에 다운로드해 실행하므로, 업로드한 사진이 서버로 전송되거나 저장되는 일은 없습니다.
1. 얼굴 검출과 특징량
얼굴 검출에는 OpenCV Zoo에서 공개한 경량 모델 "YuNet"을, 얼굴을 숫자로 바꾸는 부분에는 마찬가지로 "SFace"를 사용합니다. 검출한 얼굴은 눈의 위치 등을 기준으로 방향과 크기를 맞추고, 112×112픽셀로 잘라내어 SFace에 전달합니다. 나오는 것이 128개 숫자의 나열(특징량)입니다.
같은 사람의 얼굴은 가까운 숫자의 나열이 되도록 학습된 모델입니다. 그래서 두 사람의 얼굴이 닮았는지는, 두 숫자 나열이 얼마나 같은 방향을 향하는지(코사인 유사도)로 잴 수 있습니다.
2. 약 1.6만 명과의 대조
여배우 쪽의 특징량은 미리 프로필 이미지에서 계산해 두었습니다. 브라우저는 그것을 다운로드해, 손에 든 사진의 특징량과 전부 비교하고 유사도가 높은 순으로 정렬합니다. 서버에 조회하는 처리는 없습니다.
눈·코·입·윤곽별 "닮은 정도"도 표시하고 있지만, 이는 128개의 숫자를 구간으로 나눠 비교하는 간이적인 방법입니다. 얼굴 부위를 엄밀하게 잘라내어 재는 것은 아니므로, 참고 정도로 봐주세요.
유사도의 기준값
유사도의 숫자는 기준을 모르면 읽을 수 없습니다. 그래서 프로필 이미지에서 무작위로 고른 타인 4,000쌍의 유사도를 쟀습니다. 평균은 0.105, 표준편차는 0.117, 95%의 쌍이 0.308 이하, 최대값은 0.503이었습니다. SFace에서 동일 인물로 보는 일반적인 기준은 0.36 전후입니다.
즉 0.3 전후는 타인끼리도 자주 나오는 값입니다. 이것을 근거로 "닮았다"고 나열하면 의미 없는 리스트가 됩니다. 화면의 퍼센트는 이 분포를 바탕으로 한 표시용 환산으로, 확률이 아닙니다. 진단 결과를 읽는 법은 AV 여배우 진단 방법에 정리했습니다.
얼굴 특징 랭킹을 재는 법
눈의 크기나 윤곽 같은 특징은 얼굴 랜드마크(478점)를 검출해, 얼굴 너비로 나눈 비율로 구하고 있습니다. 절대적인 길이로 하면 이미지 크기에 좌우되므로, 전부 얼굴 너비로 정규화합니다. 그 위에, 결과의 신뢰성을 위해 두 가지 처리를 넣었습니다.
- 옆모습·고개 숙인 모습·눈을 감은 사진을 제외한다.비율을 올바르게 잴 수 없는 사진은 오류가 되지 않고 잘못된 값을 반환합니다. 이 조건을 통과한 것은 전체의 약 절반이었습니다
- 미소의 영향을 제거한다.웃으면 눈이 가늘어지고 입술이 얇아 보입니다. 미소의 강도를 설명변수로 한 회귀의 잔차를 사용하고 있습니다
결과는 얼굴 특징별 랭킹과 얼굴 특징으로 찾기에서 볼 수 있습니다.
프로필 사진과 작품 속 얼굴
프로필 사진은 보정이나 촬영 조건 때문에 작품 속 인상과 다를 수 있습니다. 그래서 출연 작품의 샘플 이미지에서도 얼굴을 추출해 비교했습니다.
여기에 함정이 있었습니다. 샘플 이미지에 얼굴이 하나만 찍혀 있어도, 실측에서는 그 62.7%가 본인이 아니었습니다. 함께 출연한 사람이 찍혀 있기 때문입니다. 그래서 추출한 얼굴을 그대로 본인으로 취급하지 않고, 프로필 이미지와의 대조로 본인이라고 확인된 것만 사용하고 있습니다.
작품 속 얼굴을 15장 이상 확인할 수 있었던 1,124명을, 프로필 이미지 인상의 일치도로 정렬했습니다. 잘 맞는 상위의 예입니다.
대표 이미지와 작품 속 얼굴의 인상이 잘 맞는 랭킹 / 인상 차이가 큰 랭킹
한계
- 재고 있는 것은 사진입니다. 보정, 화장 유행, 촬영된 시대의 영향을 받습니다. 데뷔 연대에 따라 같은 특징의 평균값이 20포인트 이상 움직인 예도 있었습니다
- 얼굴이 닮았다는 것과 분위기나 체형이 닮았다는 것은 별개입니다
- 유사도가 높아도 같은 사람이라는 보장은 되지 않습니다. 오락으로 사용하는 것입니다
이 사이트는 개인이 운영하는 비공식 사이트로, FANZA/DMM.com과는 관계가 없습니다. 데이터 출처와 운영에 대한 생각은 이 사이트에 대해와 자주 묻는 질문에 적었습니다.