运动重投影问题的OpenCV结构

我目前正面临基于OpenCv的Structure from Motion程序的问题。我将试着描述它的作用，以及它应该做什么。

该程序采用了经典的"运动结构"方法。

基本思想是拍摄一对图像，检测它们的关键点，并计算这些关键点的描述符。然后，进行关键点匹配，并进行一定数量的测试以确保结果良好。那部分工作得很好。

完成后，执行以下计算：基本矩阵、基本矩阵、本质矩阵的SVD分解、相机矩阵计算，最后是三角测量。

一对图像的结果是一组3D坐标，给我们在3D查看器中绘制的点。这对情侣来说效果很好。

事实上，我的问题是：对于一对图像，3D点坐标是在图像对的第一个图像的坐标系中计算的，作为参考图像。当使用两个以上的图像时（这是我的程序的目标），我必须重新投影在第一个图像的坐标系中计算的3D点，以获得一致的结果。

我的问题是：如何将相机相关系统中给定的3D点坐标重新投影到其他相机相关系统使用相机矩阵？

我的想法是取三维点坐标，并将其乘以之前每个相机矩阵的倒数。

我澄清：

假设我正在处理第三个和第四个图像（因此，是第三对图像，因为我的工作方式类似于1-2/2-3/3-4，依此类推）。

我在第三个图像的坐标系中获得了我的3D点坐标，我该如何在第一个图像坐标系中正确地重新投影它们？

我会做以下事情：

获取3D点坐标矩阵，对图像2到3应用相机矩阵的逆矩阵，然后对图像1到2应用相机矩阵逆矩阵。这是正确的吗？

因为那些相机矩阵是非平方矩阵，我不能求逆。

我肯定弄错了什么地方，如果有人能启发我，我会很感激，我很确定这是一个相对容易的过程，但我显然错过了一些东西。。。

非常感谢阅读：）