笔记总结-相机标定（Camera calibration）原理、步骤

大家好，又见面了，我是你们的朋友全栈君。

       这已经是我第三次找资料看关于相机标定的原理和步骤，以及如何用几何模型，我想十分有必要留下这些资料备以后使用。这属于笔记总结。

1.为什么要相机标定？

       在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。     

2.什么叫相机标定？

        在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）

3.为什么相机标定很重要？

      无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。

4.相机标定方法有哪些？    

5、常用术语
内参矩阵: Intrinsic Matrix
焦距: Focal Length
主点: Principal Point
径向畸变: Radial Distortion
切向畸变: Tangential Distortion
旋转矩阵: Rotation Matrices
平移向量: Translation Vectors
平均重投影误差: Mean Reprojection Error
重投影误差: Reprojection Errors
重投影点: Reprojected Points

6.相机成像原理

    6.1  世界坐标系

     世界坐标系（world coordinate）(xw,yw,zw)，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。

   6.2  相机坐标系

    相机坐标系（camera coordinate）(xc,yc,zc)，也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。

   6.3  相机坐标系转换为世界坐标系

     转换方程为：

其中R为3*3的旋转矩阵，t为3*1的平移矢量，(xc,yc,zc,1)T为相机坐标系的齐次坐标，(xw,yw,zw,1)T为世界坐标系的齐次坐标。

   具体步骤为下图所示：

图6.3.1

图6.3.2

图6.3.3

6.4  像素坐标系、图像坐标系

                                                                            图6.4.1                                                                       

像素坐标系（pixel coordinate）
图6.4.1  ，像素坐标系uov是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。原点o位于图像的左上角，u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素（整数）。

像素坐标系不利于坐标变换，因此需要建立图像坐标系XOY，其坐标轴的单位通常为毫米（mm），原点是相机光轴与相面的交点（称为主点），即图像的中心点，X轴、Y轴分别与u轴、v轴平行。故两个坐标系实际是平移关系，即可以通过平移就可得到。

6.5 像素坐标系转换为图像坐标系

其中，dX、dY分别为像素在X、Y轴方向上的物理尺寸，u0,v0为主点（图像原点）坐标。（这里dX =dx）

  6.6 像素坐标系转换为图像坐标系

针孔成像原理

       如图中，空间任意一点P与其图像点p之间的关系，p与相机光心o 的连线为op，oP与像面的交点p即为空间点P在图像平面上的投影。 该过程为透视投影，由上图的矩阵表示。

    其中，Zc为比例因子（Zc不为0），f为有效焦距（光心到图像平面的距离），(x,y,z,1)T是空间点P在相机坐标系oxyz中的齐次坐标，(X,Y,1)T是像点p在图像坐标系OXY中的齐次坐标。

  6.7 世界坐标系转换为像素坐标系

上面的式子也等于：MXw ，其中M成为投影矩阵，是相机内参矩阵和相机外参矩阵的乘积。

其中 f 为摄像机的焦距，单位一般是mm;dx,dy 为像元尺寸;u₀,v₀ 为图像中心。fx = f/dx, fy = f/dy,分别称为x轴和y轴上的归一化焦距.

      其中相机的内参和外参可以通过张正友标定获取。通过最终的转换关系来看，一个三维中的坐标点，的确可以在图像中找到一个对应的像素点（为什么？你自己想想矩阵的运算，你就可以知道了），但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的Zc的值。

M1M2Xw=MXw