OpenCV中的网络摄像头图像处理C++速度很慢

Webcam Image Processing in C++ OpenCV is Slow

本文关键字：C++ 速度 图像处理 摄像头 网络 OpenCV      更新时间：2023-10-16

我想用C++ OpenCV使用网络摄像头来模拟原生视视图（部分色盲之一）。这里的代码：

#include "opencv2/opencv.hpp"
using namespace cv;
int main(int, char**)
{
    int i = 0;
    Mat im, im2, kernel3;
    Mat rgb2lms = (Mat_<double>(3, 3) << 17.8824, 43.5161, 4.11935, 3.45565, 27.1554,   3.86714, 0.0299566, 0.184309, 1.46709); //filter1
    Mat lms2lmsp = (Mat_<double>(3, 3) << 0, 2.02344, -2.52581, 0, 1, 0, 0, 0, 1); //filter2
    Mat Result, Result2, op1, op2, op3, op4, op5, op6;
    Vec3b zay, zay2;
    kernel3 = rgb2lms.inv(DECOMP_LU);       //filter 3
    cv::Mat mat(3, 1, CV_64FC1);     //create MAT for matrices multiplication 
Mat frame;
VideoCapture cap(0); // open the default camera
if (!cap.isOpened())  // check if we succeeded
    return -1;
namedWindow("edges", 1);
for (;;)
{
    cap.read(frame); // get a new frame from camera
    if (frame.empty()) continue;
    const int nChannels = frame.channels();
    if (i == 0){
        Result.create(frame.size(), frame.type());
    }
  //Result2.create(frame.size(), frame.type());
    cvtColor(frame, im2, CV_BGR2RGB);   //convert to RGB
    for (int i = 0; i < im2.rows; i++)
    {
        for (int j = 0; j < im2.cols; j++)
            {
                for (int k = 0; k < nChannels; k++)
                    {
                        zay(k) = im2.at<Vec3b>(i, j)[k]; //acces pixel value and put into 3x1 vector zay
                    //put the value in to mat so i can multiplied with easy
                    mat.at <double>(0, 0) = zay[0]; 
                    mat.at <double>(1, 0) = zay[1];
                    mat.at <double>(2, 0) = zay[2];
                    op1 = rgb2lms*mat;     //apply filter1
                    op2 = lms2lmsp*op1;    //apply filter2
                    op3 = kernel3*op2;     //apply filter3
                for (int k = 0; k < nChannels; k++)
                    {
                    Result.at<Vec3b>(i, j)[k] = op3.at<double>(k, 0);   //put the result from vector to mat
                    }
            }
    }
    cvtColor(Result, Result2, CV_RGB2BGR);  //convert back to BGR
    imshow("hasil", Result2);
    if (waitKey(30) >= 0) break;
    i++;
}
// the camera will be deinitialized automatically in VideoCapture destructor
return 0;

}

此代码已运行，但图像视频输出非常慢（滞后）。 我对C++很陌生。我的问题：

  1. 输出很慢，因为我使用了很多迭代？
  2. 我已经使用filter2D（卷积）尝试了此过程，结果是不同的。卷积与矩阵乘法滤波器不同吗？
  3. 如何使输出流畅？我应该在该代码中使用指针吗？

谢谢

Filter2D 不是适合您的任务的函数。它在图像的每个通道上应用卷积滤波器，而您想要的是应用于每个 rgb 像素的线性变形矩阵。

您正在寻找的功能是转换。

首先，为了获得更好的性能，请将三个转换合并到单个全局转换矩阵中：

Mat global_kernel = kernel3*lms2lmsp*rgb2lms;

然后，使用

： 
transform(im2, Result, global_kernel);

如果您仍想节省几毫秒，您还可以通过直接从 bgr 颜色空间应用转换来删除 cvtColor 函数调用。只需切换 rgb2lms 矩阵的列：

Mat bgr2lms = (Mat_<double>(3, 3) << 4.11935, 43.5161, 17.8824,  3.86714, 27.1554, 3.45565,  1.46709, 0.184309, 0.0299566);

我认为您的问题是调用Mat::at<>()，这很慢。为了加快速度，您可以尝试改用指针访问数据。这比较棘手，但速度要快得多。OpenCV教程展示了如何做到这一点。

相关文章：