AI 的原理(人脸比对技术介绍)
本站在你给出一张人脸照片后,会从约 16,422 人中找出长相接近的女优。本文介绍这套机制,以及实测中发现的局限。因为是从制作者的视角写的,所以内容偏技术一些。
整体流程
- 从照片中找到人脸(人脸检测)
- 把人脸变成 128 个数字(特征量)
- 与约 1.6 万人的数字逐一比较(比对)
- 按接近程度排序并显示
这四步全部在你使用的浏览器内运行。模型会下载到浏览器中,用基于 WebAssembly 的推理引擎(ONNX Runtime Web)执行,因此你上传的照片既不会发送到服务器,也不会被保存。
1. 人脸检测与特征量
人脸检测使用 OpenCV Zoo 发布的轻量模型“YuNet”,把人脸变成数字的部分同样使用“SFace”。检测到的人脸会根据眼睛的位置对齐方向和大小,裁剪为 112×112 像素后交给 SFace。输出的就是 128 个数字的序列(特征量)。
这个模型经过训练,同一个人的脸会产生相近的数字序列。因此,两个人的脸是否相似,可以用两个数字序列方向的一致程度(余弦相似度)来衡量。
2. 与约 1.6 万人的比对
女优一方的特征量是预先从个人资料图片计算好的。浏览器会把它们下载下来,与你照片的特征量逐一比较,按相似度从高到低排序。不会向服务器发起任何查询处理。
页面上也会给出眼睛、鼻子、嘴巴、轮廓各自的“接近程度”,但这只是把 128 个数字按区间拆开比较的简易方法,并不是严格地把面部部位分割出来测量,请把它当作大致的参考。
相似度的基准值
不知道基准,相似度的数字就无从读起。为此,我们从资料图片中随机选取了 4,000 组不同的人,测量了他们的相似度。平均值为 0.105,标准差为 0.117,95% 的组合在 0.308 以下,最大值为 0.503。SFace 中把两张脸视为同一人的常用参考值在 0.36 左右。
也就是说,0.3 左右是不同的人之间也经常出现的值。如果以此为依据排列“长得像”,就会得到一份没有意义的名单。页面上显示的百分比是基于这一分布换算的展示用数值,并不是概率。诊断结果的读法汇总在AV 女优诊断的做法中。
人脸特征排行的测量方法
眼睛大小、轮廓等特征,是通过检测人脸关键点(478 个点),再除以脸宽得到比率来求出的。如果用绝对长度,会受图片尺寸影响,所以全部以脸宽做归一化。在此基础上,为了结果的可靠性,我们还加入了两个处理。
- 剔除侧脸、低头、闭眼的照片。无法正确测量比率的照片不会报错,而是返回错误的值。通过这一条件的约占全体的一半
- 去除微笑的影响。微笑时眼睛会显得更细,嘴唇会显得更薄。我们使用以微笑强度为解释变量的回归残差
资料照片与作品中的脸
资料照片由于修图和拍摄条件的不同,可能与作品中的印象不一样。因此我们还从出演作品的样图里提取人脸进行了比较。
这里有一个坑。即使样图里只出现了一张脸,实测中也有 62.7% 不是本人,因为画面里还有合演者。所以我们不会把提取到的人脸直接当作本人,只使用与资料图片比对后确认是本人的那些。
我们把能够确认 15 张以上作品中面孔的 1,124 人,按其与资料照片印象的一致程度排列。以下是一致程度较高的例子。
局限
- 我们测量的对象是照片,会受到修图、化妆流行和拍摄年代的影响。曾出现过同一特征的平均值因出道年代不同而相差 20 分以上的情况
- 长相相似与氛围、身材相似是两回事
- 即使相似度很高,也不能保证是同一个人。这只是一个娱乐用途的工具
本站是个人运营的非官方网站,与 FANZA/DMM.com 没有关系。数据来源和运营理念写在关于本站和常见问题中。