使用EigenFaces进行人脸重建

在这篇文章中，我们将学习如何使用EigenFaces实现人脸重建。我们需要了解主成分分析（PCA）和EigenFaces。

1背景

1.1 什么是EigenFaces？

在我们之前的文章中，我们解释了Eigenfaces是可以添加到平均（平均）面部以创建新的面部图像的图像。我们可以用数学方式写这个，

添加图片注释，不超过 140 字（可选）

其中

F是一张新生成的脸部图像;

Fm是平均人脸图像;

Fi是一个EigenFace(特征脸);

添加图片注释，不超过 140 字（可选）

https://img-blog.csdnimg.cn/20190423194122119.png

是我们可以选择创建新图的标量系数权重，可正可负。

在我们之前的文章中，我们解释了如何计算EigenFaces，如何解释它们以及如何通过改变权重来创建新面孔。

现在假设，我们将获得一张新的面部照片，如下图所示。我们如何使用EigenFaces重建照片F？换句话说，我们如何找到在上面的等式中使用的权重将产生面部图像作为输出？这正是本文所涉及的问题，但在我们尝试这样做之前，我们需要一些线性代数背景。下图左侧是原始图像。左边的第二个图像是使用250个EigenFaces构建的，第三个图像使用1000个Eigenfaces，最右边的图像使用4000个Eigenfaces。

添加图片注释，不超过 140 字（可选）

1.2 坐标的变化

在一个三维坐标系中，坐标轴x，y，z由下图中黑色线条表示。您可以想象相对于原始的x，y，z帧，以（xo, yo,zo）点进行旋转和平移，获得另一组垂直轴。在图2中，我们以蓝色显示该旋转和平移坐标系的轴X'Y'Z’。在X，Y，Z坐标系的点（x，y，z）用红点表示。我们如何找到X'Y'Z'坐标系中点（x'，y'，z'）的坐标？这可以分两步完成。

转换：首先，我们可以以原坐标系点（x，y，z）通过减去新坐标系的原点（xo，yo，zo）来实现平移，所以我们有了一个新的向量（x-xo，y-yo，z-zo）。

投影：接下来，我们需要将（x-xo，y-yo，z-zo）投影到x'，y'，z'上，它只是（x-xo，y-yo，z-zo）的点积，方向分别为x'，y'和z'。下图中的绿线显示了红点到Z'轴上的投影。让我们看看这种技术如何应用于人脸重建。

添加图片注释，不超过 140 字（可选）

2 面部重建

2.1 计算新面部图像的PCA权重

正如我们在上一篇文章中所看到的，为了计算面部数据的主要成分，我们将面部图像转换为长矢量。例如，如果我们有一组尺寸为100x100x3的对齐面部图像，则每个图像可以被认为是长度为100x100x3=30000的矢量。就像三个数字的元组（x，y，z）代表3D空间中的一个点一样，我们可以说长度为30,000的向量是30,000维空间中的一个点。这个高维空间的轴线就像维坐标轴xyz彼此垂直一样。主成分（特征向量）在这个高维空间中形成一个新的坐标系，新的原点是主成分分析向量平均值。

给定一个新图像，我们找到权重流程如下：

1）矢量化图像：我们首先从图像数据创建一个长矢量。这很简单，重新排列数据只需要一行或两行代码。

2）减去平均向量.

3）主成分映射：这可以通过计算每个主分量与平均向量的差的点积来实现。所给出的点积结果就是权重

添加图片注释，不超过 140 字（可选）

。

4）组合向量：一旦计算了权重，我们可以简单地将每个权重乘以主成分并将它们加在一起。最后，我们需要将平均人脸向量添加到此总和中。

5）将矢量重置为人脸图像：作为上一步的结果，我们获得了一个30k长的矢量，并且可以将其重新整形为100 x 100 x 3图像。这是最终的图像。

在我们的示例中，100 x 100 x3图像具有30k尺寸。在对2000个图像进行PCA之后，我们可以获得2000维的空间，并且能够以合理的精度水平重建新面部。过去采用30k数字表示的内容现在仅使用2k个数字表示。换句话说，我们只是使用PCA来减少面部空间的尺寸。

2.2 使用EigenFaces进行面部重建

假设您已下载代码，我们将查看代码的重要部分。首先，在文件createPCAModel.cpp和createPCAModel.py中共享用于计算平均人脸和EigenFaces的代码。我们在上一篇文章中解释了该方法，因此我们将跳过该解释。相反，我们将讨论reconstructFace.cpp和reconstructFace.py。

代码如下：

C++:

#include "pch.h"
#include <iostream>
#include <fstream>
#include <sstream>
#include <opencv2/opencv.hpp>
#include <stdlib.h>
#include <time.h>

using namespace cv;
using namespace std;


// Matrices for average (mean) and eigenvectors
Mat averageFace;
Mat output;
vector<Mat> eigenFaces;
Mat imVector, meanVector, eigenVectors, im, display;

// Display result
// Left = Original Image
// Right = Reconstructed Face
void displayResult( Mat &left, Mat &right)
{
    hconcat(left,right, display);     
    resize(display, display, Size(), 4, 4);
    imshow("Result", display);
}

// Recontruct face using mean face and EigenFaces
void reconstructFace(int sliderVal, void*)
{
    // Start with the mean / average face
    Mat output = averageFace.clone();
    for (int i = 0;  i < sliderVal; i++)
    {
        // The weight is the dot product of the mean subtracted
        // image vector with the EigenVector
        double weight = imVector.dot(eigenVectors.row(i)); 

        // Add weighted EigenFace to the output
        output = output + eigenFaces[i] * weight; 
    }

    displayResult(im, output);
}
    

int main(int argc, char **argv)
{

    // Read model file
    string modelFile("pcaParams.yml");
    cout << "Reading model file " << modelFile << " ... " ; 

    FileStorage file(modelFile, FileStorage::READ);
    
    // Extract mean vector
    meanVector = file["mean"].mat();

    // Extract Eigen Vectors
    eigenVectors = file["eigenVectors"].mat();

    // Extract size of the images used in training. 
    Mat szMat = file["size"].mat();
    Size sz = Size(szMat.at<double>(1,0),szMat.at<double>(0,0));

    // Extract maximum number of EigenVectors. 
    // This is the max(numImagesUsedInTraining, w * h * 3)
    // where w = width, h = height of the training images. 
    int numEigenFaces = eigenVectors.size().height; 
    cout <<  "DONE" << endl; 

    cout << "Extracting mean face and eigen faces ... "; 
    // Extract mean vector and reshape it to obtain average face
    averageFace = meanVector.reshape(3,sz.height);
    
    // Reshape Eigenvectors to obtain EigenFaces
    for(int i = 0; i < numEigenFaces; i++)
    {
            Mat row = eigenVectors.row(i); 
            Mat eigenFace = row.reshape(3,sz.height);
            eigenFaces.push_back(eigenFace);
    }
    cout << "DONE" << endl; 

    // Read new test image. This image was not used in traning. 
    string imageFilename("test/satya1.jpg");
    cout << "Read image " << imageFilename << " and vectorize ... ";
    im = imread(imageFilename);
    im.convertTo(im, CV_32FC3, 1/255.0);
    
    // Reshape image to one long vector and subtract the mean vector
    imVector = im.clone(); 
    imVector = imVector.reshape(1, 1) - meanVector; 
    cout << "DONE" << endl; 


    // Show mean face first
    output = averageFace.clone(); 

    cout << "Usage:" << endl 
    << "\tChange the slider to change the number of EigenFaces" << endl
    << "\tHit ESC to terminate program." << endl;
    
    namedWindow("Result", CV_WINDOW_AUTOSIZE);
    int sliderValue; 

    // Changing the slider value changes the number of EigenVectors
    // used in reconstructFace.
    createTrackbar( "No. of EigenFaces", "Result", &sliderValue, numEigenFaces, reconstructFace);
    
    // Display original image and the reconstructed image size by side
    displayResult(im, output);
    

    waitKey(0);
    destroyAllWindows(); 
    return 0;
}

Python:

# Import necessary packages
import os
import sys
import cv2
import numpy as np

'''
 Display result
 Left = Original Image
 Right = Reconstructed Face
'''
def displayResult(left, right)    :
    output = np.hstack((left,right))    
    output = cv2.resize(output, (0,0), fx=4, fy=4)
    cv2.imshow("Result", output)

# Recontruct face using mean face and EigenFaces
def reconstructFace(*args):
    # Start with the mean / average face
    output = averageFace
    
    for i in range(0,args[0]):
        '''
        The weight is the dot product of the mean subtracted
        image vector with the EigenVector
        '''
        weight = np.dot(imVector, eigenVectors[i])
        output = output + eigenFaces[i] * weight

    
    displayResult(im, output)
    


if __name__ == '__main__':

    # Read model file
    modelFile = "pcaParams.yml"
    print("Reading model file " + modelFile, end=" ... ", flush=True)
    file = cv2.FileStorage(modelFile, cv2.FILE_STORAGE_READ)
    
    # Extract mean vector
    mean = file.getNode("mean").mat()
    
    # Extract Eigen Vectors
    eigenVectors = file.getNode("eigenVectors").mat()
    
    # Extract size of the images used in training.
    sz = file.getNode("size").mat()
    sz = (int(sz[0,0]), int(sz[1,0]), int(sz[2,0]))
    
    ''' 
    Extract maximum number of EigenVectors. 
    This is the max(numImagesUsedInTraining, w * h * 3)
    where w = width, h = height of the training images. 
    '''

    numEigenFaces = eigenVectors.shape[0]
    print("DONE")

    # Extract mean vector and reshape it to obtain average face
    averageFace = mean.reshape(sz)

    # Reshape Eigenvectors to obtain EigenFaces
    eigenFaces = [] 
    for eigenVector in eigenVectors:
        eigenFace = eigenVector.reshape(sz)
        eigenFaces.append(eigenFace)


    # Read new test image. This image was not used in traning. 
    imageFilename = "test/satya2.jpg"
    print("Read image " + imageFilename + " and vectorize ", end=" ... ");
    im = cv2.imread(imageFilename)
    im = np.float32(im)/255.0

    # Reshape image to one long vector and subtract the mean vector
    imVector = im.flatten() - mean; 
    print("Done");
    
    # Show mean face first
    output = averageFace
    
    # Create window for displaying result
    cv2.namedWindow("Result", cv2.WINDOW_AUTOSIZE)

    # Changing the slider value changes the number of EigenVectors
    # used in reconstructFace.
    cv2.createTrackbar( "No. of EigenFaces", "Result", 0, numEigenFaces, reconstructFace)

    # Display original image and the reconstructed image size by side
    displayResult(im, output)

    cv2.waitKey(0)
    cv2.destroyAllWindows()

您可以创建模型pcaParams.yml使用createPCAModel.cpp和createPCAModel.py。该代码使用CelebA数据集的前1000个图像，并将它们首先缩放到一半大小。所以这个PCA模型是在大小（89x109）的图像上训练的。除了1000张图像之外，代码还使用了原始图像的垂直翻转版本，因此我们使用2000张图像进行训练。。但是createPCAModel文件里面没有reisze函数，要自己缩放为89X109分辨率。生成了pcaParams.yml文件，再通过reconstructFace获取人脸。

本文所有代码包括createPCAModel文件见：

https://github.com/luohenyueji/OpenCV-Practical-Exercise

但是图像没有列出，从CelebA数据集下载

http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

3 参考

https://www.learnopencv.com/face-reconstruction-using-eigenfaces-cpp-python/

引用链接

[1] https://github.com/luohenyueji/OpenCV-Practical-Exercise: https://github.com/luohenyueji/OpenCV-Practical-Exercise

[2] http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html : http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

[3] https://www.learnopencv.com/face-reconstruction-using-eigenfaces-cpp-python/: https://www.learnopencv.com/face-reconstruction-using-eigenfaces-cpp-python/