c++ - OpenCV 从图像中获取人脸并使用模型进行预测
问题描述
从灰度图像中检索人脸的代码(已经转换为 cv::Mat)的工作方式很奇怪,我做错了什么?
// in initializer list
model(cv::face::FisherFaceRecognizer::create())
// ....
const cv::Mat grayscale = cv::imread("photo_15.jpeg",cv::IMREAD_GRAYSCALE);
std::vector<cv::Rect> faceCandidates;
m_cascade.detectMultiScale(grayscale, faceCandidates);
uint32 label = -1;
double confidence = 0.0;
// this line for the testing purposes only
model->predict(grayscale, label, confidence);
这很好用:标签指的是正确的人和10以内的信心。但让我们继续这个功能代码:
for (auto &faceCandidateRegion : faceCandidates) {
cv::Mat faceResized;
// size_ is a member and contains 1280x720 for my case, equal to model trained photos.
cv::resize( cv::Mat(grayscale, faceCandidateRegion), faceResized, cv::Size(size_.width(), size_.height()));
// Recognize current face.
m_model->predict(faceResized, label, confidence);
// ... other processing
这段代码完全错误:即使我使用训练照片集中的识别照片,它总是产生不正确的标签,置信度约为 45-46K
知道我在这里做错了什么吗?用于测试:我尝试使用 Fisher、eigen 和 lbph 执行此操作,但结果相同
更新:应用程序中的每个模型都是几个用户组,每个用户由 2-6 张照片呈现,所以这就是我在模型中训练几个用户的原因
这是训练模型的代码:
std::size_t
Recognizer::extractFacesAndConvertGrayscale(const QByteArray &rgb888, std::vector<cv::Mat> &faces)
{
cv::Mat frame = cv::imdecode(std::vector<char>{rgb888.cbegin(), rgb888.cend()}, cv::IMREAD_GRAYSCALE);
std::vector<cv::Rect> faceCandidates;
m_cascade.detectMultiScale(frame, faceCandidates);
int label = 0;
for(const auto &face : faceCandidates) {
cv::Mat faceResized;
cv::resize(cv::Mat{frame, face}, faceResized,
cv::Size(this->m_size.width(), this->m_size.height()));
faces.push_back(faceResized);
}
return faceCandidates.size();
}
bool Recognizer::train(const std::vector<qint32> &labels, const std::vector<QByteArray> &rgb888s)
{
if (labels.empty() || rgb888s.empty() || labels.size() != rgb888s.size())
return false;
std::vector<cv::Mat> mats = {};
std::vector<int32_t> processedLabels = {};
std::size_t i = 0;
for(const QByteArray &data : rgb888s)
{
std::size_t count = this->extractFacesAndConvertGrayscale(data, mats);
if (count)
std::fill_n(std::back_inserter(processedLabels), count, labels[i++]);
}
m_model->train(mats, processedLabels);
return true;
}
解决方案
我们在评论中解决了这个问题,但供将来参考:
这条线的事实
// this line for the testing purposes only
model->predict(grayscale, label, confidence);
比有更好的信心
// Recognize current face.
m_model->predict(faceResized, label, confidence);
发生是因为模型是用未裁剪的图像训练的,而检测器裁剪了人脸。
为了匹配输入,而不是使用整个图像进行预测,模型应该使用裁剪的人脸进行训练:
- 由于多尺度检测,分类器的执行独立于原始图像中人脸的大小;即图像中人脸的大小和位置成为不变量。
- 背景不干扰分类。原始输入具有 16:9 的纵横比,因此至少图像的侧面会在描述符中产生噪声。
推荐阅读
- c# - 如何在 ServiceStack 中实现额外的基于过期令牌的授权层?
- swift - NSTableView 动画表格单元格视图图像
- css - Vue iframe 递归地重新加载字体
- keras - 使用滑动窗口方法将数据传递给 RNN
- coinbase-api - 寻找 /trade API 端点信息?
- python-3.x - 如何在两个日期之间总结 Pandas 的最后 7 天
- kotlin - 如何反转列表中的地图和组值?
- php - 在 WooCommerce 结帐时的“下订单”按钮下添加文本
- command-line - 关于将命令行包装到 python 脚本或函数中
- css - Angular - 与带有 [] 括号的数组相关的 Css 和符号