AI 的原理(人臉比對技術介紹)

本站在你給出一張人臉照片後,會從約 16,422 人中找出長相接近的女優。本文介紹這套機制,以及實測中發現的侷限。因為是從製作者的視角寫的,所以內容偏技術一些。

整體流程

  1. 從照片中找到人臉(人臉檢測)
  2. 把人臉變成 128 個數字(特徵量)
  3. 與約 1.6 萬人的數字逐一比較(比對)
  4. 按接近程度排序並顯示

這四步全部在你使用的瀏覽器內運行。模型會下載到瀏覽器中,用基於 WebAssembly 的推理引擎(ONNX Runtime Web)執行,因此你上傳的照片既不會傳送到伺服器,也不會被保存。

1. 人臉檢測與特徵量

人臉檢測使用 OpenCV Zoo 發布的輕量模型「YuNet」,把人臉變成數字的部分同樣使用「SFace」。檢測到的人臉會根據眼睛位置對齊方向和大小,裁剪為 112×112 像素後交給 SFace。輸出的就是 128 個數字的序列(特徵量)。

這個模型經過訓練,同一個人的臉會產生相近的數字序列。因此,兩個人的臉是否相似,可以用兩個數字序列方向的一致程度(餘弦相似度)來衡量。

2. 與約 1.6 萬人的比對

女優一方的特徵量是預先從個人資料圖片計算好的。瀏覽器會把它們下載下來,與你照片的特徵量逐一比較,按相似度從高到低排序。不會向伺服器發起任何查詢處理。

頁面上也會給出眼睛、鼻子、嘴巴、輪廓各自的「接近程度」,但這只是把 128 個數字按區間拆開比較的簡易方法,並不是嚴格地把臉部部位分割出來測量,請把它當作大致的參考。

相似度的基準值

不知道基準,相似度的數字就無從讀起。為此,我們從資料圖片中隨機選取了 4,000 組不同的人,測量了他們的相似度。平均值為 0.105,標準差為 0.117,95% 的組合在 0.308 以下,最大值為 0.503。SFace 中把兩張臉視為同一人的常用參考值在 0.36 左右。

也就是說,0.3 左右是不同的人之間也經常出現的值。如果以此為依據排列「長得像」,就會得到一份沒有意義的名單。頁面上顯示的百分比是基於這一分佈換算的展示用數值,並不是機率。診斷結果的讀法彙整在AV 女優診斷的做法中。

人臉特徵排行的測量方法

眼睛大小、輪廓等特徵,是透過檢測人臉關鍵點(478 個點),再除以臉寬得到比率來求出的。如果用絕對長度,會受圖片尺寸影響,所以全部以臉寬做正規化。在此基礎上,為了結果的可靠性,我們還加入了兩個處理。

  • 剔除側臉、低頭、閉眼的照片。無法正確測量比率的照片不會報錯,而是返回錯誤的值。通過這一條件的約佔全體的一半
  • 去除微笑的影響。微笑時眼睛會顯得更細,嘴唇會顯得更薄。我們使用以微笑強度為解釋變量的回歸殘差

結果可以在按人臉特徵排行和按人臉特徵查找中查看。

資料照片與作品中的臉

資料照片由於修圖和拍攝條件的不同,可能與作品中的印象不一樣。因此我們還從出演作品的樣圖裡提取人臉進行了比較。

這裡有一個坑。即使樣圖裡只出現了一張臉,實測中也有 62.7% 不是本人,因為畫面裡還有合演者。所以我們不會把提取到的人臉直接當作本人,只使用與資料圖片比對後確認是本人的那些。

我們把能夠確認 15 張以上作品中面孔的 1,124 人,按其與資料照片印象的一致程度排列。以下是一致程度較高的例子。

代表圖片與作品中面孔印象一致的排行 / 印象差距較大的排行

侷限

  • 我們測量的對象是照片,會受到修圖、化妝流行和拍攝年代的影響。曾出現過同一特徵的平均值因出道年代不同而相差 20 分以上的情況
  • 長相相似與氛圍、身材相似是兩回事
  • 即使相似度很高,也不能保證是同一個人。這只是一個娛樂用途的工具

本站是個人運營的非官方網站,與 FANZA/DMM.com 沒有關係。數據來源和運營理念寫在關於本站和常見問題中。

相關推薦

WEB SERVICE BY FANZA