发新帖

人脸对齐显式形状回归算法(Explicit Shape Regression)详细分析说明

[复制链接]
2685 8
人脸关键点定位是在人脸检测基础上,进一步定位人脸的眼睛眉毛鼻子嘴巴轮廓等。主要思想就利用关键点附近的信息以及各个关键点之间的相互关系来定位。方法大致分为两类,一个是基于模型的方法,一个是基于回归的方法。这里主要介绍的第二种方法。
基于模型的方法以cootes在1995年提出的asm方法最为代表,asm方法将数十个脸部特征点的纹理和位置关系约束一起考虑来进行计算出一个参数模型。从局部特征中检测到所求的关键点,但是这种方法对噪声非常敏感。asm也是开先河的经典之作,也是后面被follow最多方法。也是cootes等人提出的aam方法,对外观变化和初始化也非常敏感,以上的这些包括他们的改进都是用的PCA参数模型。
基于回归的方法是ASM相关改进的另外一个方向,就是对形状模型本身的改进。CVPR2012,MSRA孙剑组的Face Alignment by Explicit Shape Regression,取得了非常不错的效果(下文简称ESR)。这篇文章没有用PCA去约束形状模型,而是基于训练样本的线性组合来约束形状。而且,其在alignment的效果(LFPW测试集)上是目前看到最好的,此外,这个方法的速度非常快。
Esr使用的是一个cascade regression的框架,是P. Dollár在CVPR2010的Cascaded Pose Regression 中提出的一种方法,用来解决对齐问题。曹旭东的esr方法在此基础上做了几个扩展,使他更为适合做人脸关键点定位,下面且听我详细道来。
一.Two-level boosted regression
ESR使用了一个两级的boosted regressor。作者是使用了第一级10级,第二层500级。在这个二级结构中,第一级中每个节点都是500个弱分类器的级联,也就是一个第二层的regressor。这里肯定会有人不明白,这不就是相当于一层,其实不是。因为,在第二层regressor中,特征是保持不变的,而在第一层中,特征是变化的。所以,这事实上是一个两层的结构。在第一层,每一个节点的输出都是上一个节点的输入。都是在上一级估计的关键点上在取的特征。
2a22aed8ccb43bd844b1ec5eb6ff6558.png

二.Primitive regressor
在这里,作者用fern作为原始regressor。fern是N个特征和阈值的组合,将训练样本划分为2的F次幂个bins。每一个bin对应一个输出,即
71f8fb45b9c09280d681901b9d717b3d.png
这里 805afe0f7d76d8a61321dfdfb337ba9e.png 是过拟合系数, 64ac63c709230a52b453b3f63171a3ff.png 是当前bin中样本总数。这样,最后的输出就是一个所有训练样本的线性组合。

三.Feature
   CPR中提出了 pose indexd feature,这种特征保持了对形状的不变性,从而增加了算法的鲁棒性。在曹旭东esr方法中,将这种feature变成了shape indexd feature,所谓的shape index feature,就是根据关键点的位置和一个偏移量,取得该位置的像素值,然后计算两个这样的像素的差值,从而得到了形状索引特征。该方法中采用的是局部坐标而非全局坐标系,极大的增强了特征的鲁棒性。
4e4f7207b98601755ac1a05a4816c2ad.png 71e9ecaeafbb83cd9c6a3e4015057bc2.png
四.Correlation-based feature selection
这一步,我们需要在提取的400x400个特征中,选择出f个特征作为fern分类器的输入。这里,作者采用了一种Correlation-based的方法。先将要回归的目标映射到一个方向,然后在这个方向上分别计算与不同的特征向量的相关系数,选择最大的f个。在计算时,可以提前计算好不同的特征间的协方差,这样可以极大的降低计算复杂度。
1bd4dcc69a751ed59f40657bd4e27bf8.png





举报 使用道具

回复

精彩评论8

sunjunlishi  版主  发表于 2016-3-3 20:01:33 | 显示全部楼层
不错

举报 使用道具

回复
d2fans  中级会员  发表于 2016-8-5 17:00:24 | 显示全部楼层
完全没有说清楚啊~~~~~~看的一头雾水

举报 使用道具

回复 支持 反对
是不是一  中级会员  发表于 2016-8-8 15:17:29 | 显示全部楼层
http://www.e00.com.cn/  郑州app开发

举报 使用道具

回复 支持 反对
photonist  新手上路  发表于 2016-9-15 13:28:05 | 显示全部楼层
Good!!

举报 使用道具

回复
gagaman  注册会员  发表于 2016-10-27 16:09:20 | 显示全部楼层
请问我这个应该怎么调整呢

QQ图片20161027160522.png

举报 使用道具

回复 支持 反对
AlbertSean  新手上路  发表于 2016-11-21 09:46:59 | 显示全部楼层
学习了~!

举报 使用道具

回复
TTLnerd  高级会员  发表于 2017-7-1 21:12:26 | 显示全部楼层
gagaman 发表于 2016-10-27 16:09
请问我这个应该怎么调整呢

层主解决了吗?我标定嘴也出现这样问题了

举报 使用道具

回复 支持 反对
TTLnerd  高级会员  发表于 2017-7-1 21:12:42 | 显示全部楼层
gagaman 发表于 2016-10-27 16:09
请问我这个应该怎么调整呢

层主解决了吗?我标定嘴也出现这样问题了

举报 使用道具

回复 支持 反对
*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

更多

关注我们

QQ:448109455 周一至周日8:30-20:30
快速回复 返回顶部 返回列表