特征脸方法
步骤一：获取包含M张人脸图像的集合S。在我们的例子里有25张人脸图像（虽然是25个不同人的人脸的图像，但是看着怎么不像呢，难道我有脸盲症么），如下图所示哦。每张图像可以转换成一个N维的向量（是的，没错，一个像素一个像素的排成一行就好了，至于是横着还是竖着获取原图像的像素，随你自己，只要前后统一就可以），然后把这M个向量放到一个集合S里，如下式所示。
步骤二：在获取到人脸向量集合S后，计算得到平均图像Ψ ，至于怎么计算平均图像，公式在下面。就是把集合S里面的向量遍历一遍进行累加，然后取平均值。得到的这个Ψ 其实还挺有意思的，Ψ 其实也是一个N维向量，如果再把它还原回图像的形式的话，可以得到如下的“平均脸”，是的没错，还他妈的挺帅啊。那如果你想看一下某计算机学院男生平均下来都长得什么样子，用上面的方法就可以了。
步骤三：计算每张图像和平均图像的差值Φ ，就是用S集合里的每个元素减去步骤二中的平均值。
步骤四：找到M个正交的单位向量un ，这些单位向量其实是用来描述Φ （步骤三中的差值）分布的。un 里面的第k（k=1,2,3...M)个向量uk 是通过下式计算的，
当这个λk（原文里取了个名字叫特征值）取最小的值时，uk 基本就确定了。补充一下，刚才也说了，这M个向量是相互正交而且是单位长度的，所以啦，uk 还要满足下式：
上面的等式使得uk 为单位正交向量。计算上面的uk 其实就是计算如下协方差矩阵的特征向量：
其中
对于一个NxN（比如100x100）维的图像来说，上述直接计算其特征向量计算量实在是太大了（协方差矩阵可以达到10000x10000），所以有了如下的简单计算。
步骤四另解：如果训练图像的数量小于图像的维数比如（M<N^2)，那么起作用的特征向量只有M-1个而不是N^2个（因为其他的特征向量对应的特征值为0），所以求解特征向量我们只需要求解一个NxN的矩阵。这个矩阵就是步骤四中的AAT ，我们可以设该矩阵为L，那么L的第m行n列的元素可以表示为：
一旦我们找到了L矩阵的M个特征向量vl，那么协方差矩阵的特征向量ul就可以表示为：
这些特征向量如果还原成像素排列的话，其实还蛮像人脸的，所以称之为特征脸（如下图）。图里有二十五个特征脸，数量上和训练图像相等只是巧合。有论文表明一般的应用40个特征脸已经足够了。论文Eigenface for recognition里只用了7个特征脸来表明实验。
步骤五：识别人脸。OK，终于到这步了，别绕晕啦，上面几步是为了对人脸进行降维找到表征人脸的合适向量的。首先考虑一张新的人脸，我们可以用特征脸对其进行标示：
其中k=1,2...M,对于第k个特征脸uk，上式可以计算其对应的权重，M个权重可以构成一个向量：
perfect，这就是求得的特征脸对人脸的表示了！
那如何对人脸进行识别呢，看下式：
其中Ω代表要判别的人脸，Ωk代表训练集内的某个人脸，两者都是通过特征脸的权重来表示的。式子是对两者求欧式距离，当距离小于阈值时说明要判别的脸和训练集内的第k个脸是同一个人的。当遍历所有训练集都大于阈值时，根据距离值的大小又可分为是新的人脸或者不是人脸的两种情况。根据训练集的不同，阈值设定并不是固定的。
后续会有对PCA理论的补充^_^.已补充理论：特征脸(Eigenface)理论基础-PCA(主成分分析法)
参考资料：
1、Eigenface for Recognition：http://www.cs.ucsb.edu/~mturk/Papers/jcn.pdf
2、特征脸维基百科：http://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%81%E8%84%B8
3、Eigenface_tutorial：http://www.pages.drexel.edu/~sis26/Eigenface%20Tutorial.htm
1. 基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；
2. 基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。
3. 基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。
1. 基于几何特征的方法
人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。
采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。
可变形模板法可以视为几何特征方法的一种改进，其基本思想是 :设计一个参数可调的器官模型 (即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。
这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。 基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。
2. 局部特征分析方法（Local Face Analysis）
主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。
3. 特征脸方法（Eigenface或PCA）
特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点, 也称为基于主成分分析(principal component analysis,简称PCA)的人脸识别方法。
特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。
实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。
基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。现在Eigenface(PCA)算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法；而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET'96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。
该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。其技术的核心实际为“局部人体特征分析”和“图形/神经识别算法。”这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。Turk和Pentland提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸 ,识别时将测试 图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。Pentland等报告了相当好的结果，在 200个人的 3000幅图像中得到 95%的正确识别率，在FERET数据库上对 150幅正面人脸象只有一个误识别。但系统在进行特征脸方法之前需要作大量预处理工作如归一化等。
在传统特征脸的基础上，研究者注意到特征值大的特征向量 (即特征脸 )并不一定是分类性能好的方向，据此发展了多种特征 (子空间 )选择方法，如Peng的双子空间方法、Weng的线性歧义分析方法、Belhumeur的FisherFace方法等。事实上，特征脸方法是一种显式主元分析人脸建模，一些线性自联想、线性压缩型BP网则为隐式的主元分析方法，它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量，Valentin对此作了详细讨论。总之，特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较像，所以它有着很大的局限性。
基于KL 变换的特征人脸识别方法
基本原理:
KL变换是图象压缩中的一种最优正交变换，人们将它用于统计特征提取，从而形成了子空间法模式识别的基础，若将KL变换用于人脸识别，则需假设人脸处于低维线性空间，且不同人脸具有可分性，由于高维图象空间KL变换后可得到一组新的正交基，因此可通过保留部分正交基，以生成低维人脸空间，而低维空间的基则是通过分析人脸训练样本集的统计特性来获得，KL变换的生成矩阵可以是训练样本集的总体散布矩阵，也可以是训练样本集的类间散布矩阵，即可采用同一人的数张图象的平均来进行训练，这样可在一定程度上消除光线等的干扰，且计算量也得到减少，而识别率不会下降。
4. 基于弹性模型的方法
Lades等人针对畸变不变性的物体识别提出了动态链接模型 (DLA)，将物体用稀疏图形来描述 (见下图)，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。Wiscott等人在此基础上作了改进，用FERET图像库做实验，用 300幅人脸图像和另外 300幅图像作比较，准确率达到 97.3%。此方法的缺点是计算量非常巨大 。
Nastar将人脸图像 (Ⅰ ) (x，y)建模为可变形的 3D网格表面 (x，y，I(x，y) ) (如下图所示 )，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。利用有限元分析的方法进行曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在于将空间 (x，y)和灰度I(x,y)放在了一个 3D空间中同时考虑，实验表明识别结果明显优于特征脸方法。
Lanitis等提出灵活表现模型方法，通过自动定位人脸的显著特征点将人脸编码为 83个模型参数，并利用辨别分析的方法进行基于形状信息的人脸识别。弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，由于该算法较好的利用了人脸的结构和灰度分布信息，而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，适应性强识别率较高，该技术在FERET测试中若干指标名列前茅，其缺点是时间复杂度高，速度较慢，实现复杂。
5. 神经网络方法（Neural Networks）
人工神经网络是一种非线性动力学系统，具有良好的自组织、自适应能力。目前神经网络方法在人脸识别中的研究方兴未艾。Valentin提出一种方法，首先提取人脸的 50个主元，然后用自相关神经网络将它映射到 5维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；Intrator等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取，而监督神经网络用于分类。Lee等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善，Laurence等采用卷积神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果，Lin等提出了基于概率决策的神经网络方法 (PDBNN),其主要思想是采用虚拟 (正反例 )样本进行强化和反强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构 (OCON)加快网络的学习。这种方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用，其它研究还有 :Dai等提出用Hopfield网络进行低分辨率人脸联想与识别，Gutta等提出将RBF与树型分类器结合起来进行人脸识别的混合分类器模型，Phillips等人将MatchingPursuit滤波器用于人脸识别，国内则采用统计学习理论中的支撑向量机进行人脸分类。
神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。因此人工神经网络识别速度快，但识别率低 。而神经网络方法通常需要将人脸作为一个一维向量输入，因此输入节点庞大，其识别重要的一个目标就是降维处理。
PCA的算法描述：利用主元分析法 (即 Principle Component Analysis,简称 PCA)进行识别是由 Anderson和 Kohonen提出的。由于 PCA在将高维向量向低维向量转化时，使低维向量各分量的方差最大，且各分量互不相关，因此可以达到最优的特征抽取。