基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]实践总结:首先了解做人脸识别的步骤 各个算法后面的原理 原理背后的相关知识的了解 人脸识别项目总遇到的问题由于篇幅原因,后面一篇写各个算法背后的原理,原理背后的相关知识的了解,人脸识别项目总遇到的问题首先感谢:https://blog.csdn.net/qq_37406130/article/details/78697244基于Opencv的人脸识别ht…

大家好,又见面了,我是你们的朋友全栈君。

 实践总结:

  •   首先了解做人脸识别的步骤
  •  各个算法后面的原理
  •   原理背后的相关知识的了解
  •   人脸识别项目总遇到的问题

由于篇幅原因,后面一篇写各个算法背后的原理,原理背后的相关知识的了解,人脸识别项目总遇到的问题

 首先感谢:

https://blog.csdn.net/qq_37406130/article/details/78697244 基于Opencv的人脸识别

https://blog.csdn.net/xingchenbingbuyu/article/details/51386949  OpenCV实践之路——人脸识别之一数据收集和预处理

https://blog.csdn.net/u013088062/article/details/38588185 浅谈Openv中人脸识别类FaceRecognizer

https://docs.opencv.org/2.4/modules/contrib/doc/facerec/facerec_tutorial.html#appendixft  Face Recognition with OpenCV

https://blog.csdn.net/matrix_space/article/details/51364302 机器学习: 特征脸算法 EigenFaces

https://blog.csdn.net/u010402786/article/details/52261933 算法优化二——如何提高人脸检测正确率

    要进行人脸的识别的训练,首先我们要对Openv中人脸识别类FaceRecognizer要有一个了解,http://www.cnblogs.com/guoming0000/archive/2012/09/27/2706019.html (这个实际上就是 Face Recognition with OpenCV的翻译)可以参考这个博客对FaceRecognizer 有一个了解http://blog.csdn.net/u013088062/article/details/38588185 这个博客对人脸的训练解释的很好,具体怎么训练可以阅读这个博客。


                                                                                        正 文 

1首先了解做人脸识别的步骤

数据收集和预处理、训练模型、人脸识别三个部分

  • 数据收集和预处理

     (1)下载数据集

     本次用的数据集是opencv给出的教程里面的第一个数据集:The AT&T Facedatabase。又称ORL人脸数据库,40个人,每人10张照片。照片在不同时间、不同光照、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集。所有的图像都在一个黑暗均匀的背景下采集的,正面竖直人脸(有些有有轻微旋转)。

   可以用imread()函数读出pgm看看各图效果。

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

 (2)准备识别人脸的数据集

    拍照程序

#include <opencv2\opencv.hpp>
#include <vector>
#include <iostream>
#include<stdio.h>
//#include <stdio.h>
//#include <cv.h>  
using namespace std;
using namespace cv;
int main() 
{
	CascadeClassifier cascada;
	cascada.load("haarcascade_frontalface_alt2.xml");
	VideoCapture cap(0);
	Mat frame, myFace;
	int pic_num = 1;
	while (1) {
		//摄像头读图像
		cap >> frame;
		vector<Rect> faces;//vector容器存检测到的faces
		Mat frame_gray;
		cvtColor(frame, frame_gray, COLOR_BGR2GRAY);//转灰度化,减少运算
		cascada.detectMultiScale(frame_gray, faces, 1.1, 4, CV_HAAR_DO_ROUGH_SEARCH, Size(70, 70), Size(1000, 1000));
		printf("检测到人脸个数:%d\n", faces.size());
		//1.frame_gray表示的是要检测的输入图像 2.faces表示检测到的人脸目标序列,3. 1.1表示每次图像尺寸减小的比例
		//4. 4表示每一个目标至少要被检测到3次才算是真的目标(因为周围的像素和不同的窗口大小都可以检测到人脸表示每一个目标至少要被检测到3次才算是真的目标(因为周围的像素和不同的窗口大小都可以检测到人脸
		/*5.flags–要么使用默认值,要么使用CV_HAAR_DO_CANNY_PRUNING,
			函数将会使用Canny边缘检测来排除边缘过多或过少的区域,
			因为这些区域通常不会是人脸所在区域;opencv3 以后都不用这个参数了*/
		//6. Size(100, 100)为目标的最小尺寸 一般为30*30 是最小的了 也够了
		//7. Size(500, 500)为目标的最大尺寸 其实可以不用这个,opencv会自动去找这个最大尺寸
		//适当调整5,6,7两个参数可以用来排除检测结果中的干扰项。
		//识别到的脸用矩形圈出
		for (int i = 0; i < faces.size(); i++) 
		{
			rectangle(frame, faces[i], Scalar(255, 0, 0), 2, 8, 0);
		}
		//当只有一个人脸时,开始拍照
		if (faces.size() == 1) 
		{
			Mat faceROI = frame_gray(faces[0]);//在灰度图中将圈出的脸所在区域裁剪出
			//cout << faces[0].x << endl;//测试下face[0].x
			resize(faceROI, myFace, Size(92, 112));//将兴趣域size为92*112
			putText(frame, to_string(pic_num), faces[0].tl(), 3, 1.2, (0, 0, 225), 2, 0);//在 faces[0].tl()的左上角上面写序号
			string filename = format("%d.jpg", pic_num); //存放在当前项目文件夹以1-10.jpg 命名,format就是转为字符串
			imwrite(filename, myFace);//存在当前目录下
			imshow(filename, myFace);//显示下size后的脸
			waitKey(500);//等待500us
			destroyWindow(filename);//:销毁指定的窗口
			pic_num++;//序号加1
			if (pic_num == 11) 
			{
				return 0;//当序号为11时退出循环
			}
		}
		int c = waitKey(10);
		if ((char)c == 27) { break; } //10us内输入esc则退出循环
		imshow("frame", frame);//显示视频流
		waitKey(100);//等待100us
	}
	return 0;
}

预处理

     在得到自己的人脸照片之后,还需要对这些照片进行一些预处理才能拿去训练模型。所谓预处理,其实就是检测并分割出人脸,并改变人脸的大小与下载的数据集中图片大小一致

    调用opencv训练好的分类器和自带的检测函数检测人脸人眼等的步骤简单直接:

  • 1.加载分类器,当然分类器事先要放在工程目录中去。分类器本来的位置是在*\opencv\sources\data\haarcascades(harr分类器,也有其他的可以用,也可以自己训练)
  • 2.调用detectMultiScale()函数检测,调整函数的参数可以使检测结果更加精确。
  • 3.把检测到的人脸等用矩形(或者圆形等其他图形)画出来。

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

其实上面第一份代码就包括了上面的拍照和预处理了。

     至此,我们就得到和ORL人脸数据库人脸大小一致的自己的人脸数据集。然后我们把自己的作为第41个人,在我们下载的人脸文件夹下建立一个s41的子文件夹,把自己的人脸数据放进去。就成了这样下面这样,最后一个文件夹里面是我自己的头像照片:

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

       这里有一点值得注意:保存的图像格式是*.jpg的,而不是跟原数据集一样是*.pgm的。经测试仍然可以训练出可以正确识别我和其他准备识别的人脸的模型来。但是如果大小不一致会报错,所以大小:92*112。

  • 模型训练

csv文件的生成

    当我们写人脸模型的训练程序的时候,我们需要读取人脸和人脸对应的标签。直接在数据库中读取显然是低效的。所以我们用csv文件读取。csv文件中包含两方面的内容,一是每一张图片的位置所在,二是每一个人脸对应的标签,就是为每一个人编号。这个at.txt就是我们需要的csv文件。生成之后它里面是这个样子的:

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

前面是图片的位置,后面是图片所属人脸的人的标签。

      要生成这样一个文件直接用手工的方式一个一个输入显然不可取的,毕竟这里有400多张图片。而且这种重复性的工作估计也没人想去做。所以我们可以用命令行的方式简化工作量;或者用opencv自带的Python脚本来自动生成。

命令行方式是这样的。比如我的数据集在F:\FaceRecognitionwithOpenCV\FaceRecognition\FaceRecognition\orl_faces文件夹下面,我就用下面两行命令:(这里盗用了一张博客大神的图片啦,感谢,如下)

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

然后数据集文件夹下面就多出了一个at.txt文件,但是现在是只有路径没有标签的。标签需要手动敲上去。。。也挺麻烦的。

好在opencv教程里面为我们提供了自动生成csv文件的脚本。

路径类似这样:D:\Program Files\opencv340\opencv_contrib-3.4.0\modules\face\samples\etc\create_csv.py。

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

我不知道怎么用命令行参数的形式运行Python脚本,所以只能把代码里面的BASE_PATH手动的改成自己的数据集路径,改完大致是这样:

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

然后运行这个脚本就可以生成一个既有路径又有标签的at.txt了。

当然:你也可以自己手动制作,用别人的csv文件路径换成自己的,但注意空格、符号、别搞错了。(我就是用这种方法)

  • 训练模型

现在数据集、csv文件都已经准备好了。接下来要做的就是训练模型了。

这里我们用到了opencv的Facerecognizer类。opencv中所有的人脸识别模型都是来源于这个类,这个类为所有人脸识别算法提供了一种通用的接口。文档里的一个小段包含了我们接下来要用到的几个函数:

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

OpenCV 自带了三个人脸识别算法:Eigenfaces(特征脸),Fisherfaces 和局部二进制模式直方图 (LBPH)。这里先不去深究这些算法的具体内容,直接用就是了。如果有兴趣可以去看相关论文。接下来就分别训练这三种人脸模型。这个时候就能体现出Facerecognizer类的强大了。因为每一种模型的训练只需要三行代码:

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

注意区别:opencv3调用API的语句。EigenFaceRecognizer::create(),而Eigenfaces、fisherfaces、局部二进制模式直方图

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

当然在这之前要先把之前图片和标签提取出来。这时候就是at.txt派上用场的时候了。

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

在模型训练好之后我们拿数据集中的最后一张图片做一个测试,看看结果如何。

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

由于本来的数据集中是40个人,加上自己和同学的人脸集就是42个。标签是从1开始标的,所以在这里同学是第42个人。也即是说Actual class应该42。Predicted class也应该是42才说明预测准确.测试了三个模型。所有三个结果。

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

模型训练的全部代码:

#include<opencv2\face\facerec.hpp> //opencv3需要
#include<opencv2\core.hpp>
#include<opencv2\face.hpp>
#include<opencv2\highgui.hpp>
#include<opencv2\imgproc.hpp>

#include <math.h>  
//使用void read_csv()这个函数必须的三个头文件
#include <iostream>  
#include <fstream>  
#include <sstream>  


using namespace cv;
using namespace cv::face;
using namespace std;

static Mat norm_0_255(InputArray _src) {
	Mat src = _src.getMat();
	// 创建和返回一个归一化后的图像矩阵:  
	Mat dst;
	switch (src.channels()) {
	case 1:
		cv::normalize(_src, dst, 0, 255, NORM_MINMAX, CV_8UC1);
		break;
	case 3:
		cv::normalize(_src, dst, 0, 255, NORM_MINMAX, CV_8UC3);
		break;
	default:
		src.copyTo(dst);
		break;
	}
	return dst;
}

//使用CSV文件去读图像和标签,主要使用stringstream和getline方法  
static void read_csv(const string& filename, vector<Mat>& images, vector<int>& labels, char separator = ';') {
	std::ifstream file(filename.c_str(), ifstream::in);//c_str()函数可用可不用,无需返回一个标准C类型的字符串
	if (!file) 
	{
		string error_message = "No valid input file was given, please check the given filename.";
		CV_Error(CV_StsBadArg, error_message);
	}
	string line, path, classlabel;
	while (getline(file, line)) //从文本文件中读取一行字符,未指定限定符默认限定符为“/n”
	{
		stringstream liness(line);//这里采用stringstream主要作用是做字符串的分割
		getline(liness, path, separator);//读入图片文件路径以分好作为限定符
		getline(liness, classlabel);//读入图片标签,默认限定符
		if (!path.empty() && !classlabel.empty()) //如果读取成功,则将图片和对应标签压入对应容器中
		{
			images.push_back(imread(path, 0));
			labels.push_back(atoi(classlabel.c_str()));
		}
	}
}

int main()
{
	//读取你的CSV文件路径.  
	//string fn_csv = string(argv[1]);  
	string fn_csv = "at.txt";

	// 2个容器来存放图像数据和对应的标签  
	vector<Mat> images;
	vector<int> labels;
	// 读取数据. 如果文件不合法就会出错  
	// 输入的文件名已经有了.  
	try
	{
		read_csv(fn_csv, images, labels); //从csv文件中批量读取训练数据
	}
	catch (cv::Exception& e)
	{
		cerr << "Error opening file \"" << fn_csv << "\". Reason: " << e.msg << endl;
		// 文件有问题,我们啥也做不了了,退出了  
		exit(1);
	}
	// 如果没有读取到足够图片,也退出.  
	if (images.size() <= 1) {
		string error_message = "This demo needs at least 2 images to work. Please add more images to your data set!";
		CV_Error(CV_StsError, error_message);
	}

	for (int i = 0; i < images.size(); i++)
	{
		if (images[i].size() != Size(92, 112))
		{
			cout << i << endl;
			cout << images[i].size() << endl;
		}
	}


	// 下面的几行代码仅仅是从你的数据集中移除最后一张图片,作为测试图片  
	//[gm:自然这里需要根据自己的需要修改,他这里简化了很多问题]  
	Mat testSample = images[images.size() - 1];
	int testLabel = labels[labels.size() - 1];
	images.pop_back();//删除最后一张照片,此照片作为测试图片
	labels.pop_back();//删除最有一张照片的labels
	// 下面几行创建了一个特征脸模型用于人脸识别,  
	// 通过CSV文件读取的图像和标签训练它。  
	// T这里是一个完整的PCA变换  
	//如果你只想保留10个主成分,使用如下代码  
	//      cv::createEigenFaceRecognizer(10);  
	//  
	// 如果你还希望使用置信度阈值来初始化,使用以下语句:  
	//      cv::createEigenFaceRecognizer(10, 123.0);  
	//  
	// 如果你使用所有特征并且使用一个阈值,使用以下语句:  
	//      cv::createEigenFaceRecognizer(0, 123.0);  

	//创建一个PCA人脸分类器,暂时命名为model吧,创建完成后
	//调用其中的成员函数train()来完成分类器的训练
	Ptr<BasicFaceRecognizer> model = EigenFaceRecognizer::create();
	model->train(images, labels);
	model->save("MyFacePCAModel.xml");//保存路径可自己设置,但注意用“\\”

	Ptr<BasicFaceRecognizer> model1 = FisherFaceRecognizer::create();
	model1->train(images, labels);
	model1->save("MyFaceFisherModel.xml");

	Ptr<LBPHFaceRecognizer> model2 = LBPHFaceRecognizer::create();
	model2->train(images, labels);
	model2->save("MyFaceLBPHModel.xml");

	// 下面对测试图像进行预测,predictedLabel是预测标签结果  
	//注意predict()入口参数必须为单通道灰度图像,如果图像类型不符,需要先进行转换
	//predict()函数返回一个整形变量作为识别标签
	int predictedLabel = model->predict(testSample);//加载分类器
	int predictedLabel1 = model1->predict(testSample);
	int predictedLabel2 = model2->predict(testSample);

	// 还有一种调用方式,可以获取结果同时得到阈值:  
	// int predictedLabel = -1;  
	// double confidence = 0.0;  
	//  model->predict(testSample, predictedLabel, confidence);  

	string result_message = format("Predicted class = %d / Actual class = %d.", predictedLabel, testLabel);
	string result_message1 = format("Predicted class = %d / Actual class = %d.", predictedLabel1, testLabel);
	string result_message2 = format("Predicted class = %d / Actual class = %d.", predictedLabel2, testLabel);
	cout << result_message << endl;
	cout << result_message1 << endl;
	cout << result_message2 << endl;

	getchar();
	//waitKey(0);
	return 0;
}
  • 识别人脸

简单说下流程:

1.打开摄像头。

2.加载人脸检测器,加载人脸模型。

3.人脸检测

4.把检测到的人脸与人脸模型里面的对比,找出这是谁的脸。(背后的原理可不这么简单)后面涉及的原理统统给上。

5.如果人脸是自己拍照的人脸,显示自己的名字。

先看结果:

基于OpenCV3实现人脸识别(实践篇)[通俗易懂]

代码:

#include<opencv2\opencv.hpp>  
#include<opencv2\face.hpp>
#include<opencv2\core\core.hpp>
#include<opencv2\face\facerec.hpp>
#include <fstream>  
#include <sstream> 
#include<math.h>

using namespace std;
using namespace cv;
using namespace cv::face;

RNG g_rng(12345);
Ptr<FaceRecognizer> model;

int Predict(Mat src_image)  //识别图片
{
	Mat face_test;
	int predict = 0;
	//截取的ROI人脸尺寸调整
	if (src_image.rows >= 120)
	{
		//改变图像大小,使用双线性差值
		resize(src_image, face_test, Size(92, 112));

	}
	//判断是否正确检测ROI
	if (!face_test.empty())
	{
		//测试图像应该是灰度图  
		predict = model->predict(face_test);
	}
	cout << predict << endl;
	return predict;
}
int main()
{
	VideoCapture cap(0);    //打开默认摄像头  
	if (!cap.isOpened())
	{
		return -1;
	}
	Mat frame;
	Mat gray;
	//这个分类器是人脸检测所用
	CascadeClassifier cascade;
	bool stop = false;
	//训练好的文件名称,放置在可执行文件同目录下  
	cascade.load("haarcascade_frontalface_alt2.xml");//感觉用lbpcascade_frontalface效果没有它好,注意哈!要是正脸

	model = FisherFaceRecognizer::create();
	//1.加载训练好的分类器
	model->read("MyFaceFisherModel.xml");// opencv2用load
										 //3.利用摄像头采集人脸并识别
	while (1)
	{
		cap >> frame;
  
		vector<Rect> faces(0);//建立用于存放人脸的向量容器
		
		cvtColor(frame, gray, CV_RGB2GRAY);//测试图像必须为灰度图
		
		equalizeHist(gray, gray); //变换后的图像进行直方图均值化处理  
		//检测人脸
		cascade.detectMultiScale(gray, faces,
			1.1, 4, 0
			//|CV_HAAR_FIND_BIGGEST_OBJECT  
			| CV_HAAR_DO_ROUGH_SEARCH,
			//| CV_HAAR_SCALE_IMAGE,
			Size(30, 30), Size(500, 500));
		Mat* pImage_roi = new Mat[faces.size()];    //定以数组
		Mat face;
		Point text_lb;//文本写在的位置
		//框出人脸
		string str;
		for (int i = 0; i < faces.size(); i++)
		{
			pImage_roi[i] = gray(faces[i]); //将所有的脸部保存起来
			text_lb = Point(faces[i].x, faces[i].y);
			if (pImage_roi[i].empty())
				continue;
			switch (Predict(pImage_roi[i])) //对每张脸都识别
			{
			case 41:str = "HuangHaiNa"; break;
			case 42:str = "XuHaoRan"; break;
			case 43:str = "HuangLuYao"; break;
			default: str = "Error"; break;
			}
			Scalar color = Scalar(g_rng.uniform(0, 255), g_rng.uniform(0, 255), g_rng.uniform(0, 255));//所取的颜色任意值
			rectangle(frame, Point(faces[i].x, faces[i].y), Point(faces[i].x + faces[i].width, faces[i].y + faces[i].height), color, 1, 8);//放入缓存
			putText(frame, str, text_lb, FONT_HERSHEY_COMPLEX, 1, Scalar(0, 0, 255));//添加文字
		}

		delete[]pImage_roi;
		imshow("face", frame);
		waitKey(200);	
	}

	return 0;
}

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/133840.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • find 命令的 7 种用法[通俗易懂]

    find 命令的 7 种用法[通俗易懂]首先我们需要使用cd命令进入对应的目录,然后,命令如下:find.-typef-atime+365-execrm-rf{}\;如果你还没有完全理解上面的命令,完全不用担心。本文将介绍find命令的7个实际用途,您最终会掌握它。如果您已经知道了,那么阅读这篇文章对您来说将是一个很好的回顾。0.按名称或正则表达式查找文件让我们从最简单的用法开始。要按特定名称搜索文件,命令如下:find.-nametest.txt如何查找所有格式为pdf…

    2022年10月14日
  • 更换CSDN博客皮肤[通俗易懂]

    更换CSDN博客皮肤[通俗易懂]1.在博客设置页面F12,如下图,选中博客皮肤:2.把你喜欢的皮肤的value和ID与当前模板value和ID对换,如下图:3.点击保存之后刷新页面,如下图:…

  • 【Python零基础到入门】Python预备知识必备篇——Python简介

    【Python零基础到入门】Python预备知识必备篇——Python简介Python零基础学习!世界上没有绝对的公平,如果我们起点就比别人第一步,那就更需要比别人努力了。每天比别人努力多一点点,就会有很大的突破。你必须特别努力,才能显得毫不费力。期待你成为理想中的自己那一天,加油!如果觉得文章有帮助,请给博主一波关注支持,谢谢啦。

  • ESLint-的基本介绍[通俗易懂]

    ESLint-的基本介绍[通俗易懂]什么是eslintESLint是一个代码检查工具,用来检查你的代码是否符合指定的规范(例如:=的前后必须有一个空格)。规范行业推荐的规范;在创建项目时,我们使用的是JavaScriptStandardStyle代码风格的规则自定义的规范。你和你的团队可以自行约定一套规范使用ESLint的好处在于:多人协作时代码风格统一eslint是法官,Standard是法律vue-cli工具在创建项目时提供选项,我们前面在创建项目时选中了它,所以它在本项目中是直接生效

  • Mac os 查看PDM文件[通俗易懂]

    MacOS没有查看PDM文件的工具,PowerDesigner只有windows版本,无Mac版,在Mac上查看PDM文件非常不方便,或者装双系统,非常麻烦,现在有了ParsePDM工具,就不用担心了.ParsePDM需要依赖JDK1.7,机器如果没有安装,请到官网下载相应的版本,进行安装.下载连接:http://download.

  • pycharm教育版安装教程_pycharm专业版安装

    pycharm教育版安装教程_pycharm专业版安装1.打开百度搜索PyCharm进入官网,我们可以看到左边是专业版,右边是社区版,建议使用专业版,功能比较齐全。2. 双击安装包进行安装。自定义软件安装路径(建议路径中不要中文字符)。3.选择开始菜单文件夹(默认即可),点击安装。耐心等待安装。4.安装完成,勾选立即运行PyCharm。5.选择是否导入开发环境配置文件,我们选择不导入。6.阅读协议并同意7.如果有学生的edu邮箱的话可以免费使用…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号