欢迎来到网际学院,让您的头脑满载而归!

PRNet:人脸3D重建与密集对齐

发布日期:2019-03-06 14:18:23 作者:管理员 阅读:610

随着直播视频的兴起,人脸动画贴纸成为一项必备的视频技术,而其后的核心技术人脸对齐和人脸跟踪在学术界也越来越火,本文介绍的PRNet就可以使你快速开发有趣的人脸应用。PRNet来自于论文“Joint 3D Face Reconstructio

PRNet:人脸3D重建与密集对齐

PRNet:人脸3D重建与密集对齐

随着直播视频的兴起,人脸动画贴纸成为一项必备的视频技术,而其后的核心技术人脸对齐和人脸跟踪在学术界也越来越火,本文介绍的PRNet就可以使你快速开发有趣的人脸应用。

PRNet来自于论文“Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network”

其主要特点:

1.End-to-End 计算方式 可以直接从单幅人脸图像同时回归出3D人脸结构和密集对齐点;

2.多任务 通过回归位置图,可以直接获得3D几何以及语义信息。因此,我们可以毫不费力地完成密集对齐,单目三维人脸重建,姿态估计等任务;

3.比实时还要快的速度 该方法可以以超过100fps(使用GTX 1080)运行以回归位置图;

4.鲁棒 在开放场景下测试面部图像,该方法对姿态变化,光照变化和遮挡都具有良好鲁棒性。


应用场景

1.人脸对齐

人脸可见和不可见点的密集对齐(包括68个关键点)。

PRNet:人脸3D重建与密集对齐


2.三维人脸重建

从单个图像中获取3D顶点和相应的颜色。将结果保存为网格数据(.obj),可以使用Meshlab或Microsoft 3D Builder打开。请注意,由于自遮挡,非可见区域的纹理会扭曲。

您可以选择使用其原始姿态(默认)或前视图输出网格(这意味着所有输出网格都已对齐)

obj文件现在也可以用纹理贴图编写,并且可以将不可见纹理设置为0。

PRNet:人脸3D重建与密集对齐

3.3D人脸姿态估计

使用所有顶点(超过40K)来计算更准确的姿态,而不是仅使用68个关键点来计算姿态矩阵(容易受表情和姿态影响)。

PRNet:人脸3D重建与密集对齐


4.通过人脸图像获取深度信息

PRNet:人脸3D重建与密集对齐

5.人脸纹理编辑

修改输入面的特殊部位,例如:

PRNet:人脸3D重建与密集对齐

6.换脸

PRNet:人脸3D重建与密集对齐


https://github.com/YadiraF/PRNet


Copyright oneie ©2014-2017 All Rights Reserved. 所有资料来源于互联网对相关版权责任概不负责。如发现侵犯了您的版权请与我们联系。 网际学院 版权所有
免责声明  商务合作及投稿请联系 QQ:86662817