OpenCV视频处理帧速率下降

OpenCV Video Processing Frame Rate Drop

本文关键字:帧速率 处理 视频 OpenCV      更新时间:2023-10-16

我正在使用OpenCV 2.4.6处理视频。当我运行视频处理算法时,视频得到了正确的处理,但在处理后显示每一帧时都会有明显的延迟。例如,10秒的视频在添加处理后变为18秒。我需要进行实时处理,如何改进流程?感谢

Mat preProcess(Mat source){
    Mat grad_x, grad_y, grad_dif;
    Mat abs_grad_x, abs_grad_y;
    Mat src_gray, float_gray;
    Mat temp;
    GaussianBlur(source, grad_x, Size(1,1),0,0,BORDER_DEFAULT);
    GaussianBlur(source, grad_y, Size(3,3),0,0,BORDER_DEFAULT);
    grad_dif = grad_x - grad_y;
    cvtColor( grad_dif, src_gray, CV_RGB2GRAY );
    src_gray.convertTo(float_gray, CV_32F, 1.0/255.0);
    GaussianBlur(float_gray, grad_x, Size(0,0), 2, 2);
    abs_grad_x = float_gray - grad_x;
    GaussianBlur(abs_grad_x.mul(abs_grad_x), grad_x, Size(0,0), 10, 10);
    pow(grad_x, 0.5, grad_y);
    float_gray = grad_x / grad_y;
    normalize(float_gray, temp, 0, 255, NORM_MINMAX, CV_8UC1);
    threshold(temp,temp,13,255,3);
    return temp;
}
/** @function main */
int main( int argc, char** argv )
{
    VideoCapture cap("ijv4.mp4"); // open the video file for reading
    Rect myROI(160,20,350,380);
    if (!cap.isOpened())  // if not success, exit program
    {
        cout << "Cannot open the video file" << endl;
        return -1;
    }
    double fps = cap.get(CV_CAP_PROP_FPS); //get the frames per seconds of the video
    cout << "Frame per seconds : " << fps << endl;
    namedWindow("MyVideo",CV_WINDOW_AUTOSIZE); //create a window called "MyVideo"
    Mat frame;
    bool bSuccess;
    while(1)
    {
        bSuccess = cap.read(frame); // read a new frame from video
        if (!bSuccess) //if not success, break loop
        {
            cout << "Cannot read the frame from video file" << endl;
            break;
        }

        grad = preProcess(frame(myROI));
        imshow("MyVideo", frame); //show the frame in "MyVideo" window
        imshow("processed",grad);
        if(waitKey(30) == 27) 
        {
            cout << "esc key is pressed by user" << endl; 
            break; 
        }
   }
   return 0;
}

为什么要执行waitKey(30)?此调用将阻止至少30毫秒,剩下的处理将在3毫秒内完成(假设视频为30fps)。你有没有试过降低这个值,或者干脆把它去掉?

我们总是可以将它划分为线程。一个用于可视化,另一个用于您正在进行的预处理。我会推荐BOOST库,但您也可以使用pthreads。由于您在不同的线程中处理帧,因此可以继续下一个,同时opencv GUI在窗口中显示处理后的帧。这样可以避免使用waitKey()"浪费"时间。

尝试每秒处理10到15帧,这将提高的处理速度