如何使用OpENCV用广角镜正确校准我的相机
How to correctly calibrate my camera with a wide angle lens using openCV?
我试图用鱼眼镜校准相机。因此,我使用了鱼眼镜头模块,但是无论我修复了什么失真参数,都会保持奇怪的结果。这是我使用的输入图像:https://i.stack.imgur.com/abe5g.jpg
红色圆圈表示我用来校准相机的角落。
这是我能得到的最好的,输出:https://i.stack.imgur.com/dv4fn.jpg
我目前不知道相机传感器的尺寸是多少,但是基于在硝酸盐矩阵中计算的像素的焦距,我推断出我的传感器大小约为3.3mm(假设我的物理焦距是1.8mm),这对我来说似乎是现实的。但是,当不介绍我的输入图像时,我会胡说八道。有人可以告诉我我可能做什么吗?
通过校准输出的矩阵和RMS:
K:[263.7291703200009, 0, 395.1618975493187;
0, 144.3800397321767, 188.9308218101271;
0, 0, 1]
D:[0, 0, 0, 0]
rms: 9.27628
我的代码:
#include <opencv2/opencv.hpp>
#include "opencv2/core.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/ccalib/omnidir.hpp"
using namespace std;
using namespace cv;
vector<vector<Point2d> > points2D;
vector<vector<Point3d> > objectPoints;
Mat src;
//so that I don't have to select them manually every time
void initializePoints2D()
{
points2D[0].push_back(Point2d(234, 128));
points2D[0].push_back(Point2d(300, 124));
points2D[0].push_back(Point2d(381, 126));
points2D[0].push_back(Point2d(460, 127));
points2D[0].push_back(Point2d(529, 137));
points2D[0].push_back(Point2d(207, 147));
points2D[0].push_back(Point2d(280, 147));
points2D[0].push_back(Point2d(379, 146));
points2D[0].push_back(Point2d(478, 153));
points2D[0].push_back(Point2d(551, 165));
points2D[0].push_back(Point2d(175, 180));
points2D[0].push_back(Point2d(254, 182));
points2D[0].push_back(Point2d(377, 185));
points2D[0].push_back(Point2d(502, 191));
points2D[0].push_back(Point2d(586, 191));
points2D[0].push_back(Point2d(136, 223));
points2D[0].push_back(Point2d(216, 239));
points2D[0].push_back(Point2d(373, 253));
points2D[0].push_back(Point2d(534, 248));
points2D[0].push_back(Point2d(624, 239));
points2D[0].push_back(Point2d(97, 281));
points2D[0].push_back(Point2d(175, 322));
points2D[0].push_back(Point2d(370, 371));
points2D[0].push_back(Point2d(578, 339));
points2D[0].push_back(Point2d(662, 298));
for(int j=0; j<25;j++)
{
circle(src, points2D[0].at(j), 5, Scalar(0, 0, 255), 1, 8, 0);
}
imshow("src with circles", src);
waitKey(0);
}
int main(int argc, char** argv)
{
Mat srcSaved;
src = imread("images/frontCar.png");
resize(src, src, Size(), 0.5, 0.5);
src.copyTo(srcSaved);
vector<Point3d> objectPointsRow;
vector<Point2d> points2DRow;
objectPoints.push_back(objectPointsRow);
points2D.push_back(points2DRow);
for(int i=0; i<5;i++)
{
for(int j=0; j<5;j++)
{
objectPoints[0].push_back(Point3d(5*j,5*i,1));
}
}
initializePoints2D();
cv::Matx33d K;
cv::Vec4d D;
std::vector<cv::Vec3d> rvec;
std::vector<cv::Vec3d> tvec;
int flag = 0;
flag |= cv::fisheye::CALIB_RECOMPUTE_EXTRINSIC;
flag |= cv::fisheye::CALIB_CHECK_COND;
flag |= cv::fisheye::CALIB_FIX_SKEW;
flag |= cv::fisheye::CALIB_FIX_K1;
flag |= cv::fisheye::CALIB_FIX_K2;
flag |= cv::fisheye::CALIB_FIX_K3;
flag |= cv::fisheye::CALIB_FIX_K4;
double rms =cv::fisheye::calibrate(
objectPoints, points2D, src.size(),
K, D, rvec, tvec, flag, cv::TermCriteria(3, 20, 1e-6)
);
Mat output;
cerr<<"K:"<<K<<endl;
cerr<<"D:"<<D<<endl;
cv::fisheye::undistortImage(srcSaved, output, K, D);
cerr<<"rms: "<<rms<<endl;
imshow("output", output);
waitKey(0);
cerr<<"image .size: "<<srcSaved.size()<<endl;
}
如果任何人都有想法,请随时在C 中以Python共享任何代码。无论您的船漂浮什么。
编辑:
您可能已经注意到,我不使用黑白棋盘进行校准,而是从构成地毯的瓷砖的角落。归根结底,目标-i认为是获取代表失真半径样品的角坐标。地毯在某种程度上与棋盘板相同,我认为地毯又是唯一的区别 - 事实是,您在地毯上的那些角落的高频边缘少于黑白棋盘上。
。我知道图片的数量非常有限,即仅1.我希望图像在某种程度上不在某种程度上,但我也希望不合适的做得很好。但是在这种情况下,图像输出看起来像是胡说八道。
我最终使用了棋盘:https://i.stack.imgur.com/xwtkj.jpg该网站提供:https://sites.google.com/site/scarabotix/ocamcalib-toolbox/ocamcalib-toolbox-dolloadpage-page但是结果仍然很差:对角线就像我发布的其他输出图像一样。
谢谢
您的第一个问题是您仅使用一个图像。即使您拥有没有失真的理想针孔摄像头,您也无法估算出单个共同平面点的图像。共同平面点的一张图像根本没有给您足够的限制来解决内在的。
您至少需要在不同的3D方向或3D校准钻机上至少两个图像,其中这些点不是共平面。当然,在实践中,您至少需要20张图像才能进行准确的校准。
您的第二个问题是您使用地毯作为棋盘。您需要能够以子像素精度检测图像中的点。小的本地化错误导致估计的相机参数发生较大错误。我严重怀疑您可以以任何合理的准确性检测地毯正方形的角落。实际上,您甚至无法非常准确地测量地毯上的实际点位置,因为它是模糊的。
好运!
- 我的神经网络不起作用 [XOR 问题]
- C++我的数学有什么问题,为什么我的代码不能正确循环
- 我的字符计数代码计算错误.为什么
- 为什么我的C#代码在调用回C++COM直到Task时会暂停.等待/线程.加入
- cmake在我的项目中所需的所有静态库都不成功
- 为什么我的代码在输出中增加了93天
- 了解 GLM- openGL 中的相机转换
- 我的简单if-else语句是如何无法访问的代码
- 为什么我的有线球体在平移和更改相机角度时会变成椭球体?
- 为什么我的实时流相机使用OpenCV QT严重滞后
- 我是否可以使用 openCV C++从带有红外滤光片的相机捕获的图像中计算 NDVI
- 在构造函数以外的任何其他位置访问相机时,我的相机指针返回 null
- 如何使用OpENCV用广角镜正确校准我的相机
- 所以,重写了我的相机代码(有点),我又回到了原点
- 无法使用 OpenCV 打开我的笔记本电脑相机
- 使用OpenCV校准了我的相机.如何将输出 xml 中的系数应用于我未来的项目
- 当相机离我的260k多边形网格很近时,DirectX 9应用程序会减慢速度
- 为什么我的相机用这个数学绕一个点旋转
- 为什么我的相机矩阵是一个单位矩阵后校准
- 我的OpenGL相机运动的问题