酷技术:AvatarMe通过照片生成具有下一代质量的3D人脸模型!

2021-02-26 14:04:39

如果你创建一个真实的数字人类图像,只需要一张简单的图片就行了呢?在2020年计算机视觉和模式识别会议上(CVPR)收到的一篇论文中,伦敦帝国大学和初创公司facesoft.io的研究人员描述了avatarme,该系统可以从图片中实时重建照片级的3D图像,该系统主要将人工智能和机器学习应用于面部分析。他们说,avatarme在现有系统上取得了巨大进步,可以通过低分辨率图像(大粘贴)和细致的光线反射生成逼真、4kx6k分辨率的3D人脸。

从视频会议到虚拟现实,3D人脸渲染在各个领域有着广泛的应用,但是没有人工智能的帮助,虽然可以推断几何形状,但在任何场景中绘制人脸都需要更多细节。

细致入微:阿瓦塔尔姆能大量生产高质量的游戏艺术资源

为了提取这些信息,研究人员使用了一个带有168盏灯和9个单反相机的LED球形装置,拍摄了一张由200人组成的毛孔级反射图。然后,他们用这种材料训练人工智能模型甘菲通过纹理合成真实图片,同时优化渲染和输出之间的身份匹配。

与其他生成对抗网络(GANS)一样,GANFIT是由一个生成样本的生成器和一个鉴别器组成的两部分模型,它试图区分生成的样本和真实的样本。直到鉴别器无法区分真实的案例和合成的案例,它的准确率超过了预期的50%,才提高了生成器和鉴别器的能力。

阿瓦塔姆过程的另一种成分可以提高纹理分辨率,而第三种成分则能去除烤光。然后,一个单独的模块通过照亮纹理来预测皮肤结构(如毛孔、皱纹或头发)的每像素反射率,甚至可以预测表面细节(如细纹、疤痕和皮肤毛孔)。

在这个实验中,研究人员说,avatarme在最终渲染过程中没有产生任何人工制品,并且成功地处理了诸如限制毛孔和太阳镜之类的遮挡。反射率是一致的,即使在不同的环境中,系统也可以真正地照亮被照亮的物体。

阿瓦塔姆也不是毫无限制的。训练数据集不包含来自某个特定家族的许多物体案例,这导致它在试图重建深色皮肤物体的面部时表现不佳。此外,面部重建并不完全独立于输入照片,因此光线充足、分辨率高的图像可以产生更精确的结果。然而,共同作者得出的结论是,这是用任意肖像图像(包括黑白和手绘素描)绘制好人脸的第一种方法。

AvatarMe只是最近的自动艺术生成AI系统,这一工作此前都是通过手工完成的。Startup Promethean AI利用机器学习帮助人类艺术家为游戏创造美术资源。Nvidia的研究人员最近展示了一种生成模型,可以使用视频片段打造虚拟环境。其他方面,机器学习已经被用来拯救像《最终幻想七》和《塞尔达传奇:暮光公主》这样的怀旧游戏中遗留的游戏纹理,并在《毁灭战士》这样的游戏中从头开始生成数千个关卡。

整形医生与助理教授创业:他们是如何做出世界顶级面部识别算法的?

2017年的时候,整形外科医生Allan Ponniah正在为儿童做面部畸形修正手术,随后他遇到一个特别的案例,需要一个适合的面部模型,而且需要大量的脸型来找到最佳的设计。

这个需求让他找到了机器学习与计算机视觉助理教授Dr Stefanos Zafeiriou。Allan解释称,他一直都试图找到结果,Dr Zafeiriou通过创造软件来生成和打造特别3D脸型的方式解决了Allan的问题。

两人都意识到了这个技术的效率,随后想要把强大的面部技术带向市场,这样就可以被用于各种不同的用途,于是他们成立了Facesoft公司。

Facesoft提供云基础API方案为各种用途提供面部识别技术,比如安检、政府、金融、医疗和刚刚进入的游戏与虚拟现实领域。

随着AI的潜力每年递增,该技术将进一步提高,据外媒透露,Facesoft技术的面部识别精准度超过98%。其算法非常连贯的一个因素是该公司收集的人脸数据多样性很高。人脸识别软件经常会遇到的一个问题是,在识别不同族群、年龄和性别的时候,检测准确率往往会出现波动。

这个级别的面部识别对于安检领域来说非常重要,因为它有可能在行动之前就阻止犯罪案件的发生。探测算法可以在特定社区、建筑或者区域,从一个持续犯罪分子数据库中识别任何一张脸。

06/389499

0.034692s