论文双目视觉系统相机标定研究

一直在做图像处理，也经常听到相机内参相机外参，我却没深入理解什么是相机内外参，什么是相机标定。 1、 相机内参数 是与相机自身特性相关的参数，比如相机的焦距、像素大小等； 摄像机 内参矩阵 反应了相机自身的属性，各个相机是不一样的，需要标定才能知道这些参数。作用：告诉我们摄像机坐标的点在1的基础上，是如何继续经过摄像机的镜头、并通过针孔成像和电子转化而成为像素点的。 摄像机内参 （Camera Intrinsics） 矩阵：（需要注意的是，真实的镜头还会有径向和切向畸变，而这些畸变是属于相机的内参的）            fx   s    x0     K =  0    fy   y0             0   0    1 其中，fx，fy为焦距，一般情况下，二者相等，x0、y0为主点坐标（相对于成像平面）， s为坐标轴倾斜参数，理想情况下为0 。内参矩阵的参数含义： f：焦距，单位毫米 dx：像素x方向宽度，单位毫米，1/dx：x方向1毫米内有多少个像素（dx、dy为一个像素的长和高） f/dx：使用像素来描述x轴方向焦距的长度 f/dy：使用像素来描述y轴方向焦距的长度 u0,v0,主点的实际位置，单位也是像素（原点的平移量）2、 相机外参数 是在世界坐标系中的参数，比如相机的位置、旋转方向等。相比于不变的内参，外参会随着相机运动发生改变。 摄像机的旋转平移属于外参，用于描述相机在静态场景下相机的运动，或者在相机固定时，运动物体的刚性运动。因此， 在图像拼接或者三维重建中，就需要使用外参来求几幅图像之间的相对运动，从而将其注册到同一个坐标系下面来 。（最近我在研究多幅图像的图像拼接） 摄像机 外参矩阵 ：包括旋转矩阵和平移矩阵。作用：告诉我们现实世界点(世界坐标)是怎样经过旋转和平移，然后落到另一个现实世界点(摄像机坐标)上。 旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系。 旋转矩阵 ：描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向 平移矩阵：描述了在摄像机坐标系下，空间原点的位置 摄像机 外参（Camera Extrinsics） 矩阵：其中， R是旋转矩阵，t是平移向量. 3、相机标定（或摄像机标定）：一句话就是世界坐标到像素坐标的映射，其中世界坐标是人为定义的。 相机标定的目的是确定相机的一些参数的值。通常，这些参数可以建立定标板确定的三维坐标系和相机图像坐标系的映射关系，换句话说， 你可以用这些参数把一个三维空间中的点映射到图像空间，或者反过来。相机需要标定的参数通常分为内参和外参两部分。 标定就是已知标定控制点的世界坐标和像素坐标我们去解算这个映射关系，一旦这个关系解算出来了我们就可以由点的像素坐标去反推它的世界坐标，当然有了这个世界坐标，我们就可以进行测量等其他后续操作了。上述标定又被称作隐参数标定，因为它没有单独求出相机的内部参数，如相机焦距，相机畸变系数等。 一般来说如果仅仅只是利用相机标定来进行一些比较简单的视觉测量的话，那么就没有必要单独标定出相机的内部参数了。至于相机内部参数如何解算，相关论文讲的很多。 在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。 无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。4、畸变（distortion）是对直线投影（rectilinear projection）的一种偏移。简单来说直线投影是场景内的一条直线投影到图片上也保持为一条直线。畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变（optical aberration）,可能由于摄像机镜头的原因。      畸变矩阵：告诉我们为什么像素点并没有落在理论计算该落在的位置上，还产生了一定的偏移和变形！！！参考链接： 计算机视觉-相机内参数和外参数_liulina603的专栏-CSDN博客_相机参数 旋转矩阵(Rotate Matrix)的性质分析 - caster99 - 博客园 (cnblogs.com) SLAM入门之视觉里程计(2)：相机模型（内参数，外参数） - Brook_icv - 博客园 (cnblogs.com)

推荐看一下博客，评论内容也很丰富 ，很多问题都能在评论中找到答案： 运行程序前修改launch的 topic 等参数 launch文件中， 这两个参数的意义是什么？应该怎么设置呢？ max_time_min：采集IMU数据的时间，越长越好，单位分钟； max_cluster：Allan方差的cluster，imu_utils中的launch文件中都是100，我一般也设置100 运行命令 source ~/kalibr_workspace/devel/setup.bash 注意要在dataset-dir后加上/.，在根目录运行这个命令即可（在文件目录下输出会生成一个很小的bag文件），输出的bag文件就在根目录下。 制作bag包 运行标定命令 打开--show-extraction选项在标定过程中可以可视化角点检测情况是否良好 发现角点重投影出现严重错误 角点重投影是为了显示一下用计算出来的相机矩阵对角点进行重投影得到的理论位置。 也是为了显示，理论得到的角点与实际角点之间的差别。 重投影误差最小化通常作为相机标定中的一个目标函数来用的。 然后使用lakibr的相机标定重新标定了一下模组，得到的结果重投影比较准确 注意要选择合适的相机模型和畸变模型 相机模型和畸变模型： 重投影误差在 0.1~0.2 以内，标定结果较好。 我对相机标定完，发现右边的图范围在1～~1之间， 这样是不是标定的效果很差？ 怎么解决呢？ 误差范围接近1的话效果应该很差 博主，请问标定误差大 一般出现的原因是什么？ dymymao 9个月前#4楼博主你好，请问一般使用双目会去做双目极线对齐 cv::stereoRectify，这时是把双目矫正后的图像和imu放入kalibr标定Tic，还是先标定Tic'，再去双目极线矫正调整Ric=Ric' Rl;这两种做法哪个更好?收起回复 白巧克力亦唯心 回复 dymymao 两种都可以，但是要注意使用方式。通常大家都是用没有去畸变的图像和 imu 一起标定外参数，这时候标定的外参数是不能用来和rectify后的图像一起做vio的。因为rectify的图像是在畸变图像上还会加一个微小的旋转，即畸变图像和imu之间的外参数 和 rectify 图像跟imu之间的外参数是不一样的。 dymymao 回复 白巧克力亦唯心 如果是畸变图像和imu做的标定得到Tic',双目矫正的左目旋转为Rcc'->Tcc'，则双目VIO的Tic=Tic' Tcc'^T。我理解的对吗？ 此外，双目参数的标定 用kalibr的Multiple camera calibration相比直接用opencv接口stereoCalibrate会好很多吗？ 白巧克力亦唯心 回复 dymymao 可以这么认为，Tcc' 只是一个旋转矩阵，平移为0. 以前我用过opencv 和kalibra两种方式标定摄像头。在我标定过程中，kalibra标定的结果确实更好，当然这可能跟我采集数据的方式有关。无论如何，kalibra 相对于opencv标定的优点更多，比如 kalibra 使用apriltag 标定板，使得每个标定格子是带 id 的，这样就使得标定过程相机可以只捕捉部分标定板就能完成标定，相机运动可以更任意，更便捷。 IMU噪声模型： 从零开始的 IMU 状态模型推导 IMU校正 IMU校正以及姿态融合 - shenshikexmu的博客 - CSDN博客