上篇讲了相机成像的几何原理——小孔模型、内参矩阵、镜头畸变、外参矩阵。这些都是理论但实际项目中你需要通过标定来获取这些参数。今天就把相机标定的实操流程从头到尾走一遍。面试时候被问你做过相机标定吗很多人只会说用OpenCV的calibrateCamera。但面试官真正想听的是标定板怎么选、图片怎么拍、参数怎么设、结果怎么验证。这些细节才是区分你到底是做过还是只看过教程。标定原理简述相机标定的本质是一个优化问题已知标定板上每个角点的3D世界坐标以及它们在图像上的2D像素坐标求解相机的内参和畸变参数使得投影误差最小。最经典的标定方法是张正友标定法Zhangs method。核心思路是从多个不同姿态拍摄标定板每个姿态提供一组3D-2D对应关系用这些对应关系构建方程组求解内参和畸变参数。为什么需要多个姿态因为单个姿态只能约束部分参数。比如正面拍摄只能约束焦距和主点但无法约束畸变系数。通过从不同角度、不同距离拍摄才能充分约束所有参数。标定板的选择常用的标定板有两种棋盘格Checkerboard和圆点阵列Circle Grid。棋盘格最常用成本低打印一张就行。OpenCV的findChessboardCorners函数能自动检测棋盘格的角点。角点是黑白方格的交界处精度可以达到亚像素级别。圆点阵列的精度更高因为圆心的检测比角点更稳定。但圆点阵列需要专门制作成本稍高。OpenCV的findCirclesGrid函数用来检测圆点阵列。标定板大小的选择原则标定板上的角点在图像中应该占据足够大的区域至少覆盖图像面积的1/3而且要在不同的距离上都有清晰的角点。室内机器人常用的标定板是9x6或11x8的内角点规格每个方格20-30毫米。有个坑要注意打印棋盘格的时候一定要确保打印比例准确。如果打印机自动缩放了方格的实际尺寸就不对了标定出来的焦距也会有偏差。最好用玻璃或者金属材质的标定板精度有保障。拍摄标定图片拍摄标定图片是整个标定流程中最关键的环节。图片质量直接决定标定精度。拍摄要点第一至少15-20张。张数太少约束不够标定结果不稳定。一般20-30张是比较好的范围。第二覆盖不同的姿态。标定板应该有倾斜绕X轴、Y轴各15-30度、有平移左上、右上、左下、右下、中心、有不同距离近、中、远。不要所有图片都是正面平行的——那样标定出来的畸变系数不可靠。第三确保标定板在图像中清晰可见。对焦要准确避免运动模糊。如果标定板有反光换个角度或者换个光源。第四标定板的所有角点都必须出现在图像中。如果角点被裁掉了OpenCV检测不到完整的角点阵列这张图片就废了。import cv2 import numpy as np import glob # 标定板参数 CHESSBOARD_SIZE (9, 6) # 内角点数 SQUARE_SIZE 25.0 # 每个方格的边长毫米 # 准备物体点标定板角点的3D坐标 objp np.zeros((CHESSBOARD_SIZE[0] * CHESSBOARD_SIZE[1], 3), np.float32) objp[:, :2] np.mgrid[0:CHESSBOARD_SIZE[0], 0:CHESSBOARD_SIZE[1]].T.reshape(-1, 2) objp * SQUARE_SIZE # 存储所有图片的对应点 objpoints [] # 3D点 imgpoints [] # 2D点 images glob.glob(calibration_images/*.jpg) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 检测角点 ret, corners cv2.findChessboardCorners(gray, CHESSBOARD_SIZE, None) if ret: # 亚像素精度优化 corners cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) objpoints.append(objp) imgpoints.append(corners) # 可视化 cv2.drawChessboardCorners(img, CHESSBOARD_SIZE, corners, ret) cv2.imshow(Calibration, img) cv2.waitKey(500) cv2.destroyAllWindows()标定图片质量检查拍完标定图片不代表就能直接用了。在正式标定之前需要对图片做质量检查。首先检查角点检测是否成功。有些图片可能因为反光、模糊或者遮挡导致角点检测失败。可以用下面的代码批量检查for i, fname in enumerate(images): img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, CHESSBOARD_SIZE, None) if not ret: print(f警告{fname} 角点检测失败建议重新拍摄) else: print(f{fname}: 检测到 {len(corners)} 个角点 ✓)其次检查标定板的覆盖范围。如果所有图片都是标定板在图像中心拍摄的标定结果在图像边缘区域可能不准确。可以用一个简单的方法评估把所有图片中检测到的角点画在同一张图上看覆盖是否均匀。还有一点很重要检查标定板是否有弯曲。纸质打印的标定板如果贴在不完全平的表面上角点的3D坐标假设所有点在同一个平面上就不成立了。这就是为什么推荐用玻璃或陶瓷材质的标定板。面试中怎么聊面试官问相机标定按这个顺序回答先说标定原理张正友方法多姿态3D-2D对应关系求解内参和畸变再说标定板选择和拍摄要点至少15-20张、覆盖不同姿态和距离然后说标定流程和代码findChessboardCorners calibrateCamera最后说验证方法重投影误差、去畸变效果。如果面试官追问标定精度受什么影响你可以说标定板角点检测精度亚像素优化很重要、图片数量和质量覆盖度、清晰度、标定板本身的制造精度打印误差、以及环境因素光照、反光。如果面试官追问为什么不用一张标定板就标定出来你可以说单张标定板只能提供平面约束无法充分约束所有参数特别是畸变系数。多姿态拍摄能提供不同视角的约束让优化问题有足够的数据来求解所有参数。姿态越丰富倾斜、旋转、远近标定结果越鲁棒。分享一个我在实际项目中做相机标定的完整经验。当时给一台服务机器人标定鱼眼相机用的OpenCV的fisheye模块而不是普通的calibrateCamera。一开始标定的重投影误差很大平均2个多像素排查后发现两个问题第一标定板是纸质打印贴在泡沫板上的泡沫板本身有轻微弯曲角点的平面假设不成立。换成玻璃标定板后误差降到了0.8像素。第二拍摄的图片中标定板都集中在画面中心边缘区域没有覆盖到。鱼眼镜头的畸变在边缘最大如果边缘区域没有标定数据畸变模型就拟合不准。我们重新拍了图片确保标定板覆盖到画面四个角落和边缘区域误差降到了0.3像素以内。最后用标定结果做去畸变处理图片中的直线在去畸变后确实变直了特别是画面边缘的改善非常明显。这个经验说明标定不只是跑个代码的事标定板质量、拍摄覆盖度、角点检测精度每个环节都会影响最终结果。下一篇讲图像预处理技术——去噪、增强、直方图均衡化。标定之后拿到的是原始图像通常还需要预处理才能用于后续的视觉算法。如果这篇文章对你有帮助欢迎点赞、在看、转发三连。 你的支持是我持续更新的最大动力。「机器人软件开发面试·从入门到精通」连载系列上一篇第151篇 相机成像原理——小孔模型、镜头畸变和成像几何 下一篇预告第153篇 图像预处理技术——去噪、增强、直方图均衡化有任何问题欢迎评论区留言我会尽量回复。
上篇讲了相机成像的几何原理——小孔模型、内参矩阵、镜头畸变、外参矩阵。这些都是理论但实际项目中你需要通过标定来获取这些参数。今天就把相机标定的实操流程从头到尾走一遍。面试时候被问你做过相机标定吗很多人只会说用OpenCV的calibrateCamera。但面试官真正想听的是标定板怎么选、图片怎么拍、参数怎么设、结果怎么验证。这些细节才是区分你到底是做过还是只看过教程。标定原理简述相机标定的本质是一个优化问题已知标定板上每个角点的3D世界坐标以及它们在图像上的2D像素坐标求解相机的内参和畸变参数使得投影误差最小。最经典的标定方法是张正友标定法Zhangs method。核心思路是从多个不同姿态拍摄标定板每个姿态提供一组3D-2D对应关系用这些对应关系构建方程组求解内参和畸变参数。为什么需要多个姿态因为单个姿态只能约束部分参数。比如正面拍摄只能约束焦距和主点但无法约束畸变系数。通过从不同角度、不同距离拍摄才能充分约束所有参数。标定板的选择常用的标定板有两种棋盘格Checkerboard和圆点阵列Circle Grid。棋盘格最常用成本低打印一张就行。OpenCV的findChessboardCorners函数能自动检测棋盘格的角点。角点是黑白方格的交界处精度可以达到亚像素级别。圆点阵列的精度更高因为圆心的检测比角点更稳定。但圆点阵列需要专门制作成本稍高。OpenCV的findCirclesGrid函数用来检测圆点阵列。标定板大小的选择原则标定板上的角点在图像中应该占据足够大的区域至少覆盖图像面积的1/3而且要在不同的距离上都有清晰的角点。室内机器人常用的标定板是9x6或11x8的内角点规格每个方格20-30毫米。有个坑要注意打印棋盘格的时候一定要确保打印比例准确。如果打印机自动缩放了方格的实际尺寸就不对了标定出来的焦距也会有偏差。最好用玻璃或者金属材质的标定板精度有保障。拍摄标定图片拍摄标定图片是整个标定流程中最关键的环节。图片质量直接决定标定精度。拍摄要点第一至少15-20张。张数太少约束不够标定结果不稳定。一般20-30张是比较好的范围。第二覆盖不同的姿态。标定板应该有倾斜绕X轴、Y轴各15-30度、有平移左上、右上、左下、右下、中心、有不同距离近、中、远。不要所有图片都是正面平行的——那样标定出来的畸变系数不可靠。第三确保标定板在图像中清晰可见。对焦要准确避免运动模糊。如果标定板有反光换个角度或者换个光源。第四标定板的所有角点都必须出现在图像中。如果角点被裁掉了OpenCV检测不到完整的角点阵列这张图片就废了。import cv2 import numpy as np import glob # 标定板参数 CHESSBOARD_SIZE (9, 6) # 内角点数 SQUARE_SIZE 25.0 # 每个方格的边长毫米 # 准备物体点标定板角点的3D坐标 objp np.zeros((CHESSBOARD_SIZE[0] * CHESSBOARD_SIZE[1], 3), np.float32) objp[:, :2] np.mgrid[0:CHESSBOARD_SIZE[0], 0:CHESSBOARD_SIZE[1]].T.reshape(-1, 2) objp * SQUARE_SIZE # 存储所有图片的对应点 objpoints [] # 3D点 imgpoints [] # 2D点 images glob.glob(calibration_images/*.jpg) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 检测角点 ret, corners cv2.findChessboardCorners(gray, CHESSBOARD_SIZE, None) if ret: # 亚像素精度优化 corners cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) objpoints.append(objp) imgpoints.append(corners) # 可视化 cv2.drawChessboardCorners(img, CHESSBOARD_SIZE, corners, ret) cv2.imshow(Calibration, img) cv2.waitKey(500) cv2.destroyAllWindows()标定图片质量检查拍完标定图片不代表就能直接用了。在正式标定之前需要对图片做质量检查。首先检查角点检测是否成功。有些图片可能因为反光、模糊或者遮挡导致角点检测失败。可以用下面的代码批量检查for i, fname in enumerate(images): img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, CHESSBOARD_SIZE, None) if not ret: print(f警告{fname} 角点检测失败建议重新拍摄) else: print(f{fname}: 检测到 {len(corners)} 个角点 ✓)其次检查标定板的覆盖范围。如果所有图片都是标定板在图像中心拍摄的标定结果在图像边缘区域可能不准确。可以用一个简单的方法评估把所有图片中检测到的角点画在同一张图上看覆盖是否均匀。还有一点很重要检查标定板是否有弯曲。纸质打印的标定板如果贴在不完全平的表面上角点的3D坐标假设所有点在同一个平面上就不成立了。这就是为什么推荐用玻璃或陶瓷材质的标定板。面试中怎么聊面试官问相机标定按这个顺序回答先说标定原理张正友方法多姿态3D-2D对应关系求解内参和畸变再说标定板选择和拍摄要点至少15-20张、覆盖不同姿态和距离然后说标定流程和代码findChessboardCorners calibrateCamera最后说验证方法重投影误差、去畸变效果。如果面试官追问标定精度受什么影响你可以说标定板角点检测精度亚像素优化很重要、图片数量和质量覆盖度、清晰度、标定板本身的制造精度打印误差、以及环境因素光照、反光。如果面试官追问为什么不用一张标定板就标定出来你可以说单张标定板只能提供平面约束无法充分约束所有参数特别是畸变系数。多姿态拍摄能提供不同视角的约束让优化问题有足够的数据来求解所有参数。姿态越丰富倾斜、旋转、远近标定结果越鲁棒。分享一个我在实际项目中做相机标定的完整经验。当时给一台服务机器人标定鱼眼相机用的OpenCV的fisheye模块而不是普通的calibrateCamera。一开始标定的重投影误差很大平均2个多像素排查后发现两个问题第一标定板是纸质打印贴在泡沫板上的泡沫板本身有轻微弯曲角点的平面假设不成立。换成玻璃标定板后误差降到了0.8像素。第二拍摄的图片中标定板都集中在画面中心边缘区域没有覆盖到。鱼眼镜头的畸变在边缘最大如果边缘区域没有标定数据畸变模型就拟合不准。我们重新拍了图片确保标定板覆盖到画面四个角落和边缘区域误差降到了0.3像素以内。最后用标定结果做去畸变处理图片中的直线在去畸变后确实变直了特别是画面边缘的改善非常明显。这个经验说明标定不只是跑个代码的事标定板质量、拍摄覆盖度、角点检测精度每个环节都会影响最终结果。下一篇讲图像预处理技术——去噪、增强、直方图均衡化。标定之后拿到的是原始图像通常还需要预处理才能用于后续的视觉算法。如果这篇文章对你有帮助欢迎点赞、在看、转发三连。 你的支持是我持续更新的最大动力。「机器人软件开发面试·从入门到精通」连载系列上一篇第151篇 相机成像原理——小孔模型、镜头畸变和成像几何 下一篇预告第153篇 图像预处理技术——去噪、增强、直方图均衡化有任何问题欢迎评论区留言我会尽量回复。
