如何识别AI伪造的人像?看眼睛!

科普中国
公众科普,科学传播。
收藏

下面这幅画名为《错误的镜子》,是由比利时超现实主义画家马格里特(1898-1967)在1928年所创作,目前收藏于美国纽约现代艺术博物馆。

图片

图1:比利时画家马格里特的作品《错误的镜子》[1]

从艺术视角,这幅画引发了人们对视觉感知本质的思考,每位观看者都有各自的解读。

不过从科学视角来看,画中的人眼与真实人眼在结构上其实非常相符。白色区域对应于人眼中的乳白色巩膜,蓝色白云的区域对应于人眼的虹膜,也就是平时所说的眼球(或者眼珠)。虹膜的颜色比巩膜深,因人种而异,可能是棕色或蓝色。但眼睛最深色的部分是虹膜中心的瞳孔,它大量吸收光线,看起来呈现漆黑色。人眼的几个基本组成部分,画中的眼睛也都一应俱全。

图片

图2:人眼的外部结构:巩膜(Sclera),虹膜(Iris),瞳孔(Pupil),角膜(Cornea)[2]

在画中,虹膜部分被蓝天白云填充,黑色的瞳孔仍然清晰可见。这种表现方式就与实际不符了,因为我们通常无法仅通过观察他人的眼睛就判断出他们所看到的具体内容。

图片

图3:人眼的内部结构[3]

人眼的工作原理类似于相机:瞳孔如同光圈,控制进入光线量;视网膜则相当于感光元件,接收光信号。由于瞳孔很小,且大部分光线被眼内组织吸收,我们难以从外部直接观察到视网膜上形成的图像。

图片

图4:人眼与相机的类比

当然有时我们也可以从眼睛外部获得内部的蛛丝马迹。一个例子是夜间使用闪光灯拍照时,常会出现“红眼”现象。这是因为在暗环境中瞳孔放大,闪光灯的强光被眼内充血的脉络膜反射,造成照片中眼睛呈现红色。

人眼的光学系统主要由角膜和晶状体组成,两者都是透明的,类似于相机的镜头组。角膜位于眼睛最外层,形状固定;而晶状体可以通过睫状肌的作用改变形状,从而调节焦距,使不同距离的物体都能在视网膜上清晰成像。如果透镜组调节功能变得失灵,远处物体的图像无法聚焦在视网膜上,只能聚焦在视网膜前方,视像变得模糊,眼睛就会发生近视。

回到刚刚所说的,通过别人眼睛的一张照片,判断出他正在观看什么东西,通常是无法做到的,但也并不是绝对的,某些情况下还是有可能的,这就要靠眼角膜大显身手了。角膜是一种理想的光学器件,其光滑表面能折射和反射光线,适当条件下可以作为一面微型镜子。这种反射形成的“镜中像”通常很小且不清晰,还会受到虹膜纹理的干扰(虹膜的独特纹理类似指纹,可用于身份识别)。

图片

图5:从眼睛角膜反射的“镜中像”中,恢复出一张尽可能清楚的照片[2]

研究者们通过设计复杂的计算机算法,尝试从眼睛反光中恢复周围环境的清晰图像[4]。他们建立了数学模型,校正了位置和角度,并去除了虹膜纹理的干扰,最终成功重建了周围环境的图像。研究者还发现,眼角膜的“镜中像”具有独特优势。角膜的弯曲表面可提供广角全景画面,而眼球的运动和身体的移动可捕捉多个视角。这些特性使得从眼角膜反射中重建三维场景成为可能,实现了普通相机难以达到的效果,实现了“通过别人眼睛看世界”的效果。

图片

图6:从一段包含人眼反射像的视频片段中,还原眼前的三维场景[4]

需要注意的是,这些研究是在理想的实验室条件下进行的,在日常环境中应用这项技术仍面临诸多困难。

眼角膜的反光还可以帮助我们辨别照片或视频的真伪。随着图像处理技术和人工智能的发展,虚假图像和视频变得越来越逼真,引发了社会忧虑和信任危机。为应对这一挑战,研究者开发了各种虚假图像视频检测技术。其中,通过分析图像中的眼睛细节就是一种有效的方法。

下面这两张照片中,有一张是伪造的,你能看出是哪一张吗?破解悬案的线索就来自一双眼睛。

图片

图7:一真一假的两张照片:眼睛角膜反射像教你分辨[5]

研究发现,由于人的双眼位置接近,一张真实照片中左眼和右眼的角膜反射图像通常非常相似。造假者往往忽视这一细节,使得假照片中的两者存在不一致,图7右就是一个典型例子。利用这一特征,研究人员在辨别真假照片时达到了94%的成功率[5]。

不仅如此,眼球瞳孔的形状也可以用来给一张照片辨别真伪[6],图8中两张照片同样是一真一假。分辨两者的诀窍在于,左图正常照片中人眼瞳孔形状通常是规则的圆形或者椭圆形,而右图AI伪造照片中瞳孔形状是不规则的。

图片

图8:一真一假的两张照片:眼睛瞳孔形状教你分辨[6]

眼睛结构和功能的深入研究不仅加深了我们对视觉系统的理解,还促进了图像处理和信息安全技术的发展,科学研究和技术应用中很多灵感都来源于一双眼睛。

参考文献

[1] https://www.wikiart.org/en/rene-magritte/the-false-mirror-1928

[2] K. Nishino and S.K. Nayar, The World in an Eye, 2004 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2004),444-451 (2004)

[3] https://commons.m.wikimedia.org/wiki/File:Schematic_diagram_of_the_human_eye_zh-hans.svg

[4] H. Alzayer, K. Zhang, B. Feng, C. Metzler, J.-B. Huang, Seeing the World through Your Eyes, arXiv:2306.09348 (2023)

[5] S. Hu, Y. Li and S. Lyu, "Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2021), 2500-2504 (2021)

[6] H. Guo, S. Hu, X. Wang, M. -C. Chang and S. Lyu, "Eyes Tell All: Irregular Pupil Shapes Reveal GAN-Generated Faces," 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022), 2904-2908 (2022)

策划制作

来源丨中国光学(ChineseOptics)

作者丨焦述铭 粤港澳大湾区量子科学中心

审稿丨高辉 华中科技大学

责编丨钟艳平

审校丨徐来 林林

本文封面图片及文内图片来自版权图库

转载使用可能引发版权纠纷

评论
尖刀情怀永远跟党走
大学士级
一双眼睛,辨别AI合成像的真伪。先进的技术,也有局限性!
11:17
冲冲
大学士级
AI对抗AI,通过这些方法,我们可以更有效地识别AI伪造的人像,尤其是在眼睛特征方面。这些技术的应用有助于减少虚假信息的传播和潜在的滥用风险!
12:00
张美玲L
庶吉士级
眼睛结构和功能的深入研究不仅加深了我们对视觉系统的理解,还促进了图像处理和信息安全技术的发展,科学研究和技术应用中很多灵感都来源于一双眼晴。
11:14