面部特征检测-眼角、眉毛

Face Features Detection - corner of eyes, eyebrows

本文关键字:眉毛 -眼角 特征检测 面部      更新时间:2023-10-16

我正在使用OpenCV4Android为手机创建基本的情绪检测系统。我的系统已经能够找到口腔并进行一些预处理。我有很好的结果,从Canny获得人脸对象:

示例性面1:https://dl.dropboxusercontent.com/u/108321090/FACE%20%282%29.png

示例面2:https://dl.dropboxusercontent.com/u/108321090/FACE%20%281%29.png

红色矩形是由级联发现的区域。我将这些保存为Mat对象。

蓝点是我需要找到的点。问题是,我的眉毛和眼睛都在同一个部位。

此外,在某些情况下,眉毛与眼睛直接相连(在某些情绪状态下)。很难访问某些点。我也有正常的图像(当然)和未修剪的图像,这些图像对眉毛的形状也很有趣——但由于光线不好,我失去了一些其他物体(嘴——这并不重要,因为它已经完成了,眼睛),眉毛总是很明显的。当然,我可以稍微改变一下支架,因为我不需要它来寻找其他功能。就像我说的嘴巴做得很好。眼睛/眉毛向左。

示例面3:https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-01-17-01-33-14.png

示例面4:https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-01-17-01-26-33.png

示例性Face5(有点问题,眼睛不见了,但如果我在本地而不是全局范围内侵入它们,那就好了)https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-03-05-01-30-48.png

上颚面6(眉毛与眼睛相连)https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-03-05-01-28-21.png

我想问你是否可以为我提供任何与眼睛和眉毛动作单元检测相关的材料/想法。

如果你能找到一个眼睛/眉毛单元,你可能只需要跟踪它,并将情绪与那里的相对运动联系起来,而不是试图将眼睛与眉毛分开。您的前两个示例面是渐变面,而其他面是阈值灰色色调。我宁愿使用渐变,因为灰色调会受到灯光和阴影的影响。

我也会避免使用Canny边缘检测器,因为它是一个高度非线性和非稳定的算子,用于匹配顺序帧,因此用于运动检测。我宁愿使用更简单的Sobel和某种运动检测,但只能在跟踪减去全局头部运动之后。

关于情绪检测的有趣工作是基于Kinect完成的,尽管它需要一些离线训练,但它确实有效,请参阅faceShift。正确处理(在将特征映射到情绪之前)的一个很好的测试是尝试将人脸模型与目标人脸(某种虚拟化身)同步。