欢迎来到网际学院,让您的头脑满载而归!

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

发布日期:2019-03-06 14:02:25 作者:管理员 阅读:1271

清华&商汤开源超高精度人脸对齐算法LAB同时发布含10000张人脸的多属性人脸关键点数据集该算法来自CVPR2018论文《Look at Boundary: A Boundary-Aware Face Alignment Algor

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

清华&商汤开源超高精度人脸对齐算法LAB

同时发布含10000张人脸的多属性人脸关键点数据集

该算法来自CVPR2018论文《Look at Boundary: A Boundary-Aware Face Alignment Algorithm

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

人脸的边缘信息和人脸关键点有很明显的重要关系,而以往的人脸对齐(Face Alignment)算法并没有很好的利用边缘信息,本文提出一种基于边缘感知的人脸关键点检测算法,将人脸边缘线所描述的结构信息融入到关键点检测中,极大地提升了算法在大侧脸、夸张表情、遮挡、模糊等极端情况下的检测精度。

文章主要解决了两大问题:

  1. 人脸关键点在各个数据集间歧义性,定义不一致问题。文章通过捕捉对于人脸更通用的边缘线信息,将其作为人脸到关键点的中间媒介,使得不同数据集即使存在关键点差异,仍然可以相互辅助训练。

  2. 复杂情况下关键点检测精度问题。本文首先通过消息传递结合对抗学习得到高精度的边缘线检测结果,再将边缘线信息多语义层次地融合到关键点检测中,使得算法在复杂情况下的鲁棒性大幅提升。

另外,文章还提出了新的人脸关键点检测数据集Wider Facial Landmarks in-the-wild (WFLW),包含10,000张带有98个关键点和6个人脸属性标注的人脸图像数据,包括姿势,表情,照明,化妆,遮挡和模糊的变换,旨在帮助学界更有针对性的评估关键点算法在各种条件下的鲁棒性。

本文的边缘感知的人脸关键点检测算法在300-W Fullset上实现了3.49%的平均误差,其大大优于state-of-the-art方法。利用在一个数据集上训练出来的边缘信息,可以非常简单的用于其他数据库上的训练加持。 结合300-W数据集的边界信息,本文方法在COFW数据集实现了3.92%的平均误差(0.39% failure rate ),而在AFLW-Full数据集的平均误差为1.25%。

下图展示了使用本文的边缘信息建模方法,在三个数据库上的关键点定位任务性能提升应用。

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB


第一列是来自不同数据库的人脸图像,第二列是使用本文算法得到的边缘信息图,第三列展示了使用提取的边缘信息跨库融合增强了关键点定位能力。

边缘感知人脸对齐算法概述

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

(请点击查看大图)

Boundary-Aware Face Alignment框架

a)基于hourglass网络的边缘热图估计器(Boundary heatmap estimator),用于估计边缘热图。 引入消息传递层以处理遮挡。

b)边缘感知关键点回归器(Boundary-aware landmarks regressor)用于生成关键点的最终预测。 引入边缘热图融合方案,将边缘信息纳入回归问题的特征学习中。

c)引入对抗学习,边缘有效性鉴别器(Boundary effectiveness discriminator)区分真实边缘热图与的边缘热图,用于进一步改善估计的边界热图的质量。

在关键点回归过程中,边缘热图信息更像是一种可以跨库提取的通用特征!

WFLW人脸库

作者提出的Wider Facial Landmarks in-the-wild (WFLW) 人脸关键点库,包含10000个人脸,98个关键点,7500个用于训练,2500个用于测试。该库最大的特点是,同时标注了人脸的属性信息,即遮挡,姿势,化妆,光照,模糊和表情,可以非常容易的针对算法在某一类人脸上的性能评估。

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

性能评估

300-W库上的性能评估结果,大幅超过了所有主流方法。

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

WFLW库上的性能评估结果,同样大幅超过了所有主流方法。

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

为验证边缘信息在特征点检测上的通用有效性,作者将300-W上提取的边缘热图信息直接用于COFW-29AFLW库上,请注意他们原始标注的点数是不同的,以往这样的库是难以统一利用起来的。

COFW-29AFLW库上的性能评估结果,同样超过了所有主流方法。

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

COFW-68 testset上的CED曲线,精度优势异常明显!

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB

运行速度

60ms on TITAN X GPU

本文对人脸边缘信息进行建模,融入特征点检测算法中,取得了异常明显的性能提升。能否把这样的信息用于人脸识别等其他任务中呢?期待有更多有趣的技术被发明出来。

代码主页:

https://github.com/wywu/LAB


Copyright oneie ©2014-2017 All Rights Reserved. 所有资料来源于互联网对相关版权责任概不负责。如发现侵犯了您的版权请与我们联系。 网际学院 版权所有
免责声明  商务合作及投稿请联系 QQ:86662817