简介这是一套基于Python与OpenCV的双目视觉测距源码项目面向计算机视觉入门及进阶开发者解决如何利用左右摄像头图像计算出目标距离的问题项目以真实拍摄的左右视图为输入完整演示了从图像校正、特征点提取到视差计算与距离还原的流程。压缩包共25个文件包含3个Python源码文件、17张测试与标定图像、2个编译后的pyc文件及1份Markdown项目说明整体大小6.67MB目录结构清晰便于直接运行与二次开发。目前已有119人学习浏览适合用于课程设计、毕业设计或视觉测距研究参考。具体实现中采用SURF算子与LK光流法进行特征提取和匹配同时提供标定模块和丰富的实验图像帮助读者理解算法原理并快速验证项目说明详细记录了使用方式可在此基础上扩展三维重建或目标跟踪等应用。1. 用Python和OpenCV做双目视觉测距最难的不是“算距离”而是“项目能不能跑起来”一台带两个摄像头的USB双目模组或者两个普通USB摄像头接到电脑上想做测距理论就一句话三角测量。可真动手的人几乎都会卡在同一个地方——标定完不知道参数往哪填跑通一次测出来全是雪花网上搜到的demo版本对不上OpenCV接口名字变来变去。这份“基于pythonopencv双目视觉测距源码项目说明.zip”恰好是段位往前推一步的东西它把标定、极线校正、SGBM匹配、实时距离输出串成一个最小可运行闭环每步有参数注释跑挂了有据可查。这个方案适合三类人刚入门OpenCV图像处理项目要找练手项目的学生做机器人避障、自动跟随需要低成本距离感知的嵌入式开发以及用惯了stm32超声波测距、想换成视觉方案但不想碰硬件的玩家。它的核心价值是在不依赖任何深度相机硬件的情况下把普通双目摄像头变成能输出毫米级点位深度的传感器不玄学但要按步骤来。2. 测距原理与相机模型视差公式里那些参数是怎么联动的2.1 为什么不能跳过双目标定直接“算三角”双目测距的原理可以用相似三角形讲清楚空间里某个点投影到左相机成像平面是像素点L投影到右相机是像素点RL和R在水平方向上的像素坐标差就是视差d。给定两个相机光心之间的距离基线B和相机焦距f深度Z ≈ fB/d。这个直觉没问题但绝大多数新手忽略了一个前提——左右相机的成像平面必须严格处于“行对齐”状态。真实摄像头的两个镜头装在支架上光轴不可能完全平行存在几度俯仰、偏航和绕光轴旋转同一个三维点在左右图上的y坐标能差出十几像素。立体匹配算法是按行搜索对应点的它根本不知道要找左右图的“同一行”只会拿左图某行和右图附近几行做代价运算行偏差越大误匹配越严重最后生成一张充满黑色空洞和白色椒盐噪声的视差图。把两张歪图强行拧成行对齐的过程就是双目标定。常见做法是先用cv2.calibrateCamera分别标定左右相机的内参焦距、主点和畸变系数再用cv2.stereoCalibrate算两个相机坐标系之间的旋转矩阵R和平移向量T最后用cv2.stereoRectify得到两个重投影矩阵P和Q。极线校正流程在OpenCV里被封装得很黑匣子但它干的事是构造两个虚拟相机让所有极线都变成水平线且左右虚拟相机光轴平行。校正完成后空间任一点在左右像素坐标系里的y坐标相同立体匹配就变成了在一行之内找视差最大值的一维搜索问题难度直接降一个数量级。所以你可以把标定理解成给后台算法做“手术”不做这步后面调再好的匹配参数都是白搭。标定样本质量直接决定R和T的准确性这属于典型的“垃圾进垃圾出”。我一般会打一张6×8或7×7的棋盘格格子边长25到30毫米贴在平整硬板上从0.3米到1.5米距离、左右上下不同角度拍20到30组。每组里棋盘格不能太小至少在画面里占到15%以上也要避免反光太强导致角点亚像素检测漂移。真实项目里还有个小坑如果你用的是两个独立USB摄像头而不是一体双目模组帧同步根本没保证左右两张图不是同一时刻拍到的标定和测距时都必须做硬件尽量同步或者在软件层采用“同一时刻交替触发”的近似方案否则动态场景下视差会随机偏移。这个细节在这份项目说明里如果没写清楚十有八九是作者调试时用了静态棋盘格运动物体测距时会现原形。2.2 像素坐标、相机坐标到世界坐标Q矩阵帮你省掉一半换算标定完成后会得到内参矩阵K、畸变系数D、旋转矩阵R和平移向量T但测距主程序里不推荐拿这些原始参数手搓公式。OpenCV做了封装stereoRectify的结果里有一个4×4矩阵Q它把校正后的像素坐标加上视差一起映射到三维空间。用起来很直接import numpy as np import cv2 # 假设Q已经由stereoRectify得到 # disp是SGBM输出的原始视差图记得除以16转成float points_3d cv2.reprojectImageTo3D(disp, Q) X points_3d[:, :, 0] Y points_3d[:, :, 1] Z points_3d[:, :, 2]这段代码里最容易被忽略的是disp的数据类型。cv2.StereoSGBM_create返回的视差图是int16每个像素的真实视差需要除以16。如果不除Q矩阵算出来的Z会整体缩小16倍距离看起来只有几十毫米这就是一些项目跑出来测距结果离谱的根源。用reprojectImageTo3D的优势在坐标系单位只要标定时棋盘格边长用毫米Q矩阵内部就会把所有深度换算成毫米省去自己换焦距、基线的麻烦。但Q矩阵有使用前提左右相机的投影矩阵必须是校正后的。有的源码包直接拿stereoRectify输出的Q去算但stereoRectify的flag要选cv2.CALIB_ZERO_DISPARITY这样视差0对应的深度是无穷远符合SGBM的默认minDisparities0。如果你用的flag不一样Q矩阵和视差图之间的对应关系会错位需要手动调整视差起点。我见过不少人在GitHub上提问“为什么深度图一半是黑的”多数是这里flag没对齐。顺带说一句如果你只需要中心点的距离没必要构建完整点云。直接取中心区域像素的Z值做中值滤波就行但如果你后续要做物体识别加测距比如接到YOLO检测框上那reprojectImageTo3D得到的点云更容易和检测框坐标对应。我一般会把三维点云和视差图一起存成npy方便后面做后处理避免每次重复算一遍。2.3 立体校正后要检查的不是图像好不好看而是“行对齐误差”标定完生成left和right的remap映射表后第一件事不是急着跑SGBM而是做行对齐验证。方法很简单对校正后的左右图各画一条水平扫描线找一个边缘急剧变化的位置比如门框边、键盘边缘对比左右图该边缘的x坐标同时确认在两条不同高度的扫描线上y偏移都在1像素以内。# 读取校正后的左右灰度图 rect_l cv2.imread(rect_left.png, cv2.IMREAD_GRAYSCALE) rect_r cv2.imread(rect_right.png, cv2.IMREAD_GRAYSCALE) for line_y in [160, 240, 320]: scan_l rect_l[line_y, :].astype(np.float32) scan_r rect_r[line_y, :].astype(np.float32) grad_l np.abs(np.diff(scan_l)) grad_r np.abs(np.diff(scan_r)) edge_l int(np.argmax(grad_l)) edge_r int(np.argmax(grad_r)) print(fy{line_y} 左右边缘差: {edge_l - edge_r}px)如果这个差值超过2像素最好先回头看标定参数而不是继续调SGBM。行对齐误差对近距影响还不明显距离越远视差越小一个像素的y偏差都能让匹配算法在错误行上找到伪对应测出来的距离抖得厉害。许多人发现“近距离准、远距离飘”第一个要怀疑的就是行对齐没做好而不是SGBM的numDisparities不够大。标定自检还有两个常用指标重投影误差RMS还有左右图重投影到公共平面后的视差残差。RMS控制在0.3以下一般够用超过0.5就要检查是否存在反光、模糊、畸变严重的样本。同时看标定板在不同距离下拍到的数量分布不要全集中在最近处远近混合才能让内参和畸变在目标工作距离内都可靠。深度的精度从标定这一步就已经被锁死了。3. 搭建PythonOpenCV测距工程源码结构、核心模块与最小可运行步骤3.1 源码包里应该有什么目录结构、依赖清单和运行顺序一个能跑通的双目测距工程结构上离不开三块标定图像采集、双目参数标定、实时测距主程序。这份源码包的项目说明一般会先让你安装依赖再带你走这三步。我按自己常用的工程结构给你列个目录参考stereo_ranging/ ├── calib/ │ ├── capture_chessboard.py # 采集左右棋盘格图像 │ ├── calibrate.py # 单目立体标定保存npz │ └── params/stereo_cam.npz # 标定结果 ├── main/ │ ├── stereo_ranging.py # 实时测距主程序 │ └── depth_utils.py # 深度图滤波和无效点修补 ├── requirements.txt └── README.mdrequirements.txt里最核心的是opencv-python和numpy笔者的实际项目里一般还会用到glob、json之类的标准库不需要额外装。这里有个容易踩的依赖坑cv2.StereoSGBM_create在opencv-python和opencv-contrib-python里都有但如果某些示例代码用了cv2.bgsegm或cv2.xfeatures2d就必须装opencv-contrib-python。对纯测距项目来说装opencv-contrib-python更保险因为有些老版本项目说明会用到SIFT提取特征做图像对齐但最新OpenCV主库不含这些专利算法。运行顺序也重要先采图再标定最后跑主程序。千万别在没生成stereo_cam.npz的情况下直接跑stereo_ranging.py主程序会在np.load时抛出IOError这种报错很蠢但很常见。我再强调一点代码里的摄像头索引要按实际设备改笔记本内置摄像头通常索引0外接USB双目模组可能是1和2用ls /dev/video*Linux或设备管理器Windows确认不要想当然。3.2 标定图像采集脚本曝光锁定和保存一对图的小心机采集左右图的脚本不难但要采集到“能用的图”有几个细节比代码本身更重要。第一左右图分辨率必须一致否则后面的棋盘格角点坐标对不上第二自动白平衡和自动曝光需要锁定否则每张图的亮度不同角点检测的亚像素坐标会漂移第三尽量用固定频率保存比如每半秒一拍给使用者移动棋盘格的时间。下面是采集脚本的核心部分import cv2 import os LEFT_IDX 0 RIGHT_IDX 1 IMG_SIZE (640, 480) SAVE_NUM 30 os.makedirs(left, exist_okTrue) os.makedirs(right, exist_okTrue) cap_l cv2.VideoCapture(LEFT_IDX) cap_r cv2.VideoCapture(RIGHT_IDX) # 统一分辨率关闭自动曝光 for cap in (cap_l, cap_r): cap.set(cv2.CAP_PROP_FRAME_WIDTH, IMG_SIZE[0]) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, IMG_SIZE[1]) cap.set(cv2.CAP_PROP_AUTO_EXPOSURE, 0.25) # 0.25表示关闭不同平台有差异 cap.set(cv2.CAP_PROP_AUTO_WB, 0) for i in range(SAVE_NUM): ret_l, frame_l cap_l.read() ret_r, frame_r cap_r.read() if not (ret_l and ret_r): print(f第{i}次读取失败) continue frame_l cv2.resize(frame_l, IMG_SIZE) frame_r cv2.resize(frame_r, IMG_SIZE) # 保存同时显示方便观察棋盘格角度覆盖 cv2.imwrite(fleft/left_{i:03d}.png, frame_l) cv2.imwrite(fright/right_{i:03d}.png, frame_r) show cv2.hconcat([frame_l, frame_r]) cv2.imshow(stereo capture, show) cv2.waitKey(500) cap_l.release() cap_r.release() cv2.destroyAllWindows()说几个实际问题。CAP_PROP_AUTO_EXPOSURE的取值在不同驱动下语义不同有的设0.25是手动模式有的设3才是手动最稳的办法是设成0或0.25后观察图像亮度是否稳定。另外两个摄像头的快门时间很难完全同步拍移动棋盘格时左右图像的棋盘格形变略有差异这是硬件限制。解决思路是尽量让棋盘格移动得慢一些或者用静态棋盘格多摆几个姿态。如果你用的是带同步信号的双目模组可以不考虑这个如果是普通双USB摄像头测静态物体没问题测移动物体就要做好误差增大的心理准备。3.3 标定脚本从角点提取到立体参数保存一次跑通标定是整个项目里最像“玄学”的环节但实际上只要角点够多、分布够散结果不会差。标定脚本通常会分成两步先提角点再调OpenCV的标定函数。我先给出一段单目加立标的完整示例import numpy as np import cv2 import glob # 棋盘格内角点数7行8列改成(CHECKERBOARD[0], CHECKERBOARD[1]) CHECKERBOARD (7, 7) SQUARE_SIZE 25 # 毫米 objp np.zeros((CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32) objp[:, :2] np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2) objp * SQUARE_SIZE obj_points [] left_img_points [] right_img_points [] left_imgs sorted(glob.glob(left/*.png)) right_imgs sorted(glob.glob(right/*.png)) criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) for lf, rf in zip(left_imgs, right_imgs): img_l cv2.imread(lf) img_r cv2.imread(rf) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, CHECKERBOARD, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, CHECKERBOARD, None) if ret_l and ret_r: corners_l cv2.cornerSubPix(gray_l, corners_l, (5, 5), (-1, -1), criteria) corners_r cv2.cornerSubPix(gray_r, corners_r, (5, 5), (-1, -1), criteria) obj_points.append(objp) left_img_points.append(corners_l) right_img_points.append(corners_r) else: print(f跳过 {lf} 或 {rf}左右角点未同时检出) # 单目标定 ret_l, K_l, D_l, rvecs_l, tvecs_l cv2.calibrateCamera( obj_points, left_img_points, gray_l.shape[::-1], None, None) ret_r, K_r, D_r, rvecs_r, tvecs_r cv2.calibrateCamera( obj_points, right_img_points, gray_r.shape[::-1], None, None) # 立体标定固定内参只优化外参 ret_s, K_l, D_l, K_r, D_r, R, T, E, F cv2.stereoCalibrate( obj_points, left_img_points, right_img_points, K_l, D_l, K_r, D_r, gray_l.shape[::-1], flagscv2.CALIB_FIX_INTRINSIC) print(f左目重投影误差: {ret_l:.4f}) print(f右目重投影误差: {ret_r:.4f}) print(f立体标定误差: {ret_s:.4f}) np.savez(stereo_cam.npz, K_lK_l, D_lD_l, K_rK_r, D_rD_r, RR, TT)代码逻辑不复杂先找角点亚像素细化再同时把左右点对作为输入给立体标定。这里有一个参数值得说明flagscv2.CALIB_FIX_INTRINSIC表示只优化R和T单目标定结果不允许被立体标定大幅改动。如果你的双目模组结构足够牢固这个flag能避免立体标定把内参带偏。如果用的是可调节支架的独立双摄像头我建议去掉这个flag让立体标定整体优化内参和外参。判断标准很简单看立体标定重投影误差是不是比单目明显变小如果变小了说明两个相机位置关系没被结构限制好就应该放开内参优化。SQUARE_SIZE算错会让所有测距结果成比例偏移。这个值要按棋盘格实际尺子量出来的边长填不要看打印的标注也不要用A4纸的缩放比例心里估算。我专门因为这个坑吃过亏纸上写的20mm实际打印出来19.2mm零点几毫米的误差在1米距离上放大了几十倍。3.4 实时测距主程序从视频帧到距离读数标定参数保存后主程序按“读取帧 → 校正 → 算视差 → 转三维 → 输出距离”的流程跑。这里给出一个简版但可用的写法import numpy as np import cv2 calib np.load(stereo_cam.npz) K_l, D_l calib[K_l], calib[D_l] K_r, D_r calib[K_r], calib[D_r] R, T calib[R], calib[T] IMG_SIZE (640, 480) # 立体校正映射 R_l, R_r, P_l, P_r, Q, valid1, valid2 cv2.stereoRectify( K_l, D_l, K_r, D_r, IMG_SIZE, R, T, flagscv2.CALIB_ZERO_DISPARITY) map_l1, map_l2 cv2.initUndistortRectifyMap( K_l, D_l, R_l, P_l, IMG_SIZE, cv2.CV_32FC1) map_r1, map_r2 cv2.initUndistortRectifyMap( K_r, D_r, R_r, P_r, IMG_SIZE, cv2.CV_32FC1) # SGBM匹配器 sgbm cv2.StereoSGBM_create( minDisparities0, numDisparities64, blockSize11, P18 * 3 * 11 ** 2, P232 * 3 * 11 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize200, speckleRange2, modecv2.STEREO_SGBM_MODE_SGBM_3WAY) cap_l cv2.VideoCapture(0) cap_r cv2.VideoCapture(1) while True: ret_l, frame_l cap_l.read() ret_r, frame_r cap_r.read() if not (ret_l and ret_r): continue frame_l cv2.resize(frame_l, IMG_SIZE) frame_r cv2.resize(frame_r, IMG_SIZE) rect_l cv2.remap(frame_l, map_l1, map_l2, cv2.INTER_LINEAR) rect_r cv2.remap(frame_r, map_r1, map_r2, cv2.INTER_LINEAR) gray_l cv2.cvtColor(rect_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(rect_r, cv2.COLOR_BGR2GRAY) disp sgbm.compute(gray_l, gray_r).astype(np.float32) / 16.0 disp[disp 0] np.nan points_3d cv2.reprojectImageTo3D(disp, Q) z_map points_3d[:, :, 2] # 取画面中心区域有效点排除NaN和超大值 h, w z_map.shape center_z z_map[h//2-20:h//220, w//2-20:w//220] valid_z center_z[np.isfinite(center_z) (center_z 0) (center_z 5000)] if len(valid_z) 0: distance np.median(valid_z) print(f中心距离: {distance:.1f} mm) else: print(无有效距离) # 显示视差图 vis cv2.normalize(disp, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8) cv2.imshow(disp, vis) if cv2.waitKey(1) 0xFF ord(q): break cap_l.release() cap_r.release() cv2.destroyAllWindows()这段代码里有两个参数要重点说disp[disp 0] np.nan把无效视差滤掉后面用np.isfinite做判断中心ROI取40×40区域用中位数而不是均值是因为中位数对椒盐噪声不敏感距离值更稳。valid_z 5000限制在5米内这个上界按你的量程调整远了本来就测得不准不如直接丢弃。关于SGBM的numDisparities64它决定视差搜索范围最小距离不变搜索范围越大可测的最近视差越小近处盲区越小。但要注意numDisparities必须是16的倍数且增大后计算量线性上涨。如果测近处物体64不够用调到128如果测远处64以上其实对远距没有帮助因为远距视差本来就小反而白白增加耗时。这个取舍后面第4章展开说。4. 参数怎么设棋盘格尺寸、SGBM的numDisparities和blockSize的完整调法4.1 棋盘格标定板边长选20还是50角点数为什么定为7×7棋盘格尺寸的选择要跟你的量程挂钩。量程在0.5米到3米用边长20到30毫米的格子比较合适标定板在最近视角下大概占画面20%左右角点检测稳定。量程在2米以上小尺寸标定板会因为角点太小导致亚像素定位精度下降此时最好用边长50毫米以上的大棋盘格但大棋盘格容易反光摆放时要注意避免强点光源直射。我的经验是宁可让棋盘格边长大一点、拍摄张数多一点也不要为了收纳方便用10毫米的花式小格子那种格子边缘在VGA分辨率下只有几个像素宽findChessboardCorners在倾斜视角下经常崩溃。角点数量方面7×7和8×6都不错关键是要保证两个方向上的角点数不相等这样findChessboardCorners才能确定棋盘格方向避免旋转歧义。比如7×8是安全的7×7实际上也能工作因为OpenCV会用内部算法推断方向但7×8更省心。我实际使用中7×7没出过问题但如果你遇到角点方向性错乱优先换非对称角点数。另外标定棋盘格一定要贴完全平整的硬板不能是纸放在桌上那种轻微弯曲否则角点位置误差会进入内参。采集张数不是越多越好20到30张足够更重要的是覆盖均匀。常见错误是全部把棋盘格放在画面中心这种样本对畸变参数的约束很差边缘畸变没法被准确估计。正确做法是让棋盘格在九宫格的每个象限都出现距离覆盖近中远三档同时有绕X轴和Y轴的俯仰角但不要倾斜到棋盘格在画面中变成很小的斜四边形检测会失败。我拍的时候习惯每拍一张就记录一下棋盘格的大致位置缺哪补哪最后检查左右图的角点都能检出才进入标定。4.2 SGBM必调参数numDisparities、blockSize、P1/P2之间的耦合关系立体匹配的参数是整个项目里最像“玄学”的部分但其实它们之间有明确的物理含义和联动关系。先看numDisparities它定义了视差的搜索范围也就是算法最多愿意往左看多少个像素。这个值的下限由你的最近测距目标决定目标距离越近视差越大需要更大的搜索范围。计算公式是视差d f * B / Zf以像素为单位B以毫米为单位Z代入你想测的最近距离。比如f600像素B80毫米最近测0.3米那么d600×80/300160像素numDisparities要设成160以上最近的16倍数也就是176但要留余量通常设192。如果你只在1到3米量程内测视差只有几十像素64就够。这里不要想着设一个超大值一劳永逸因为视差搜索范围过大会产生大量伪匹配测距精度反而下降。blockSize是匹配代价计算的窗口大小典型值在3到21之间必须取奇数。窗口越大对纹理重复区域的误匹配越少但边界越模糊距离突变处会有一圈“光晕”。对于室内墙面这类无明显纹理的场景blockSize小会满屏雪花我一般从9开始调如果物体纹理丰富blockSize5就够。有个经验公式P1和P2的推荐值随blockSize变化常规设置是P1 8 * 3 * blockSize²P2 32 * 3 * blockSize²。这套参数来自OpenCV官方样例适合多数场景。P2是平滑项约束相邻像素的视差变化太大容易把远近边界抹平太小则视差图碎渣很多。调参顺序是固定P1/P2先调blockSize和numDisparities最后才微调P1/P2。uniquenessRatio控制匹配唯一性建议10到15太小让纹理弱的区域产生很多伪匹配太大又会让低纹理区域全变成空洞。speckleWindowSize和speckleRange是去噪后处理把视差接近但连成小区域的小块当作噪声滤掉speckleWindowSize200、speckleRange2在大多数场景下是靠谱起点。如果视差图还有细碎亮点可以增大speckleWindowSize到400但注意别误杀真实物体的薄片边缘。总的来说先跑一次默认参数再去调blockSize最后改numDisparities让近处盲区变小不要一上来四个参数一起乱动。4.3 深度图后处理中值滤波、空洞填充和目标ROI裁剪SGBM输出的原始视差图总有空洞和椒盐噪声直接拿它算距离会有突然跳变的毛刺。我通常用三步第一步中值滤波把孤立噪点去掉但OpenCV的中值滤波在深度图上会保留边缘比均值滤波好得多第二步用形态学闭运算填充小的空洞但闭运算会把两个独立物体的缝隙填上只在空洞面积极小的时候用第三步对无效像素做最近邻填充原理是拿周围有效视差的局部中位数顶替空洞这个操作在低纹理区域很有效但要限制填充半径否则远处物体边界会被过度扩张。def refine_disparity(disp, kernel_size5): # 去掉负数无效值 disp disp.copy() invalid disp 0 # 中值滤波 disp_f cv2.medianBlur(disp.astype(np.float32), kernel_size) # 对原来无效的位置用邻域有效值的中位数填充 try: from scipy.ndimage import generic_filter def fill_func(x): vals x[x 0] return np.median(vals) if len(vals) else 0 filled generic_filter(disp_f, fill_func, size3, modeconstant, cval0) disp_f[invalid (filled 0)] filled[invalid (filled 0)] except ImportError: pass return disp_f这里没强制依赖scipy可以用numpy的滑动窗口替代但scipy.ndimage的generic_filter写起来更短。把后处理放进depth_utils.py主程序里调用它就够了。注意填充值要在视差边界内如果填充后的视差超过了numDisparities设定的范围说明填充逻辑有bug需要在函数里加一个clip。5. 避坑实操双目测距最常见的5个翻车现场5.1 报错ModuleNotFoundError: No module named cv2到底装哪个opencv包现象按照项目说明执行python stereo_ranging.py第一行import就报错。原因环境里没装OpenCV或者装了个残血版。很多人用pip install opencv-python装完发现cv2存在但cv2.StereoSGBM_create也能用。但有些老代码用了cv2.xfeatures2d、cv2.bgsegm这些在opencv-python不带只有opencv-contrib-python才有。如果项目说明里提到SIFT或SURF直接用opencv-contrib-python。解决统一安装opencv-contrib-python同时在requirements里锁定大版本比如opencv-contrib-python4.8, 5.0。装了多个OpenCV版本冲突时先pip uninstall opencv-python opencv-contrib-python再重新装。另外新版OpenCV的Python接口被拆分成了独立的opencv-python-headless那是不带GUI的服务器版用到cv2.imshow会报错不要在调试阶段用它。5.2 左右图亮度差异大视差图右边全是黑色的现象标定和测距时左图正常右图像素偏暗或偏亮SGBM匹配结果右侧大面积无有效视差。原因双USB摄像头没有同步自动曝光两边的光圈和增益独立工作亮度不一致导致左右匹配代价不对称。还有可能是主板USB供电不足摄像头自动降帧率或降低画质。解决采集脚本里把两个摄像头的CAP_PROP_AUTO_EXPOSURE都设为手动并把CAP_PROP_EXPOSURE设成同一个固定值。若同一型号的摄像头在同一个hub上经常出现一侧掉帧把两个摄像头分别插到不同的USB控制器比如一个插前置一个插后置不要共用一个多口hub。亮度仍然不一致时做预处理把左右图都转灰度后各自做直方图均衡化但要注意均衡化会放大噪声更适合SGBM而不是特征匹配。5.3 视差图全是雪花或条纹行对齐检查却正常现象reprojectImageTo3D输出的距离值在1米和10米之间疯狂跳变视差图呈细密条纹状。原因这个问题通常不是标定而是纹理太弱或SGBM参数不合适。白墙、纯色地板、天空这类低纹理区域匹配窗口里找不到可辨识特征算法只能靠平滑项瞎猜。另一个鲜为人知的原因是图像经过了JPEG压缩压缩块的边界会被匹配算法当成纹理产生周期性条纹。还有人为了速度把图像转成灰度前做了cv2.resize插值让边缘变糊同样影响匹配。解决先检查左右图有没有被压缩或缩放过度。原始分辨率要是低于320×240立刻换更高分辨率。然后用4.2的经验重新调blockSize低纹理场景把blockSize从7增大到15甚至21同时把P2调大一点强制平滑性。如果还是不行往画面里放几张带纹理的纸片验证一下是不是场景问题而不是算法问题。另外要确认摄像头采集的原始图是不是本来就带坏点或CMOS噪声先做3×3中值滤波再进SGBM噪声能压住不少。5.4 近距离准远距离误差大而且越远越离谱现象0.5米内测距误差小于2%1.5米以上开始有10%以上的跳变3米外基本不可用。原因远距的视差只有几个像素像素质心检测本身的量化误差就占了很大比例。举个例子f600像素B80毫米3米处视差d600×80/300016像素如果角点提取或匹配的误差是0.5像素那么距离误差就有约9%。这不是你的代码问题是物理精度的天花板。另一个原因是基线太短普通USB双目模组基线一般60到120毫米测3米以上本身就勉强。解决在不换硬件的条件下把摄像头分辨率调到更高让同样视差对应更多像素但SGBM耗时也会涨。或者用亚像素插值OpenCV提供了cv2.filterSpeckles但不含亚像素细化你可以用抛物线拟合视差峰的亚像素位置。如果想根治远距精度就得换更长基线的双目相机或者直接上D435i这类主动深度相机但既然课题要求纯视觉方案就接受“3米外只能做避障判断不能做精确测量”的现实。项目说明里如果没写量程你就要在文档里注明建议测距范围以免用户拿它去测十米外的汽车。5.5 程序卡成PPTCPU占用率直接拉满现象实时预览只有每秒两三帧测距延迟明显。原因SGBM全是CPU密集型计算640×480分辨率下64像素视差范围单帧耗时就要几十毫秒。如果主程序里还做了reprojectImageTo3D每帧生成全图点云又多几毫秒。再加上显示窗口的分辨率过高总帧率就掉得很惨。解决三分法解决。第一只对感兴趣区域做立体匹配比如先做人脸检测或YOLO检测把检测框外扩20%让SGBM只处理这个ROI计算量大幅下降。第二把reprojectImageTo3D的调用次数降下来不要每帧都对全图转点云只在输出深度时调用需要的局部区域。第三SGBM的numDisparities如果设到192试着降到128你会发现速度提升明显而精度下降有限。还有一个小技巧是把图像缩放一半到320×240来跑SGBM深度图再放大回原分辨率用于显示测距精度损失在5%以内帧率可以翻倍。6. 精度验证和三个进阶习惯把双目测距从“能跑”变成“能交付”把测距结果输出后真正要交付给项目时必须做精度验证。我的做法是拿一把卷尺固定目标位置采集50帧统计平均误差、最大误差和标准差然后绘制误差-距离曲线。理论上这个曲线应该随距离线性放大如果出现某个距离段误差骤增基本是标定板在这个距离范围内的标定样本数量不够需要补拍。还有两个进阶习惯值得养成。第一个是标定结果加时间戳每次改变摄像头固定支架或焦距后重新标定旧参数一律重存不要覆盖同名文件。我吃过最大的一次亏是换了一颗USB延长线后基线变了但没重标测距结果整体偏了十几厘米排查了两个小时才想起换过线。第二个是在项目说明里写清“工作条件”建议光线充足、纹理可见、目标静止这些不是推卸责任是双目视觉本身的边界。没有主动光纯靠环境纹理双目永远做不到D435i那种在无纹理墙面直接出深度的效果。还有一个能明显提升体验的小技巧在界面中心画十字线实时显示该点距离的同时把距离值映射成颜色叠加到视差图上方使人快速找到可信区域在哪。如果你想把测距结果接到后续控制逻辑里最好输出一个带有时间戳和置信度的数据结构置信度可以用有效像素数占ROI比例来定义有效比例低于70%就标记为低置信度让下游系统决定是否采信。这套基于pythonopencv的双目视觉测距方案经过一次完整的标定和参数微调后在0.3到2米范围内跑出5%以内的误差是完全可行的想在更远距离用就要接受分辨率、基线长度和算法算力之间的妥协。我自己的习惯是每个项目先花一天把标定样本拍扎实后面调参时间往往不到一个下午好多看起来像玄学的噪声问题最后都指向了标定的马虎。希望这个流程能帮你少走几趟弯路也希望你跑通之后愿意把踩过的坑再回填到项目说明里让下一个人更快落地。本文还有配套的精品资源点击获取
简介这是一套基于Python与OpenCV的双目视觉测距源码项目面向计算机视觉入门及进阶开发者解决如何利用左右摄像头图像计算出目标距离的问题项目以真实拍摄的左右视图为输入完整演示了从图像校正、特征点提取到视差计算与距离还原的流程。压缩包共25个文件包含3个Python源码文件、17张测试与标定图像、2个编译后的pyc文件及1份Markdown项目说明整体大小6.67MB目录结构清晰便于直接运行与二次开发。目前已有119人学习浏览适合用于课程设计、毕业设计或视觉测距研究参考。具体实现中采用SURF算子与LK光流法进行特征提取和匹配同时提供标定模块和丰富的实验图像帮助读者理解算法原理并快速验证项目说明详细记录了使用方式可在此基础上扩展三维重建或目标跟踪等应用。1. 用Python和OpenCV做双目视觉测距最难的不是“算距离”而是“项目能不能跑起来”一台带两个摄像头的USB双目模组或者两个普通USB摄像头接到电脑上想做测距理论就一句话三角测量。可真动手的人几乎都会卡在同一个地方——标定完不知道参数往哪填跑通一次测出来全是雪花网上搜到的demo版本对不上OpenCV接口名字变来变去。这份“基于pythonopencv双目视觉测距源码项目说明.zip”恰好是段位往前推一步的东西它把标定、极线校正、SGBM匹配、实时距离输出串成一个最小可运行闭环每步有参数注释跑挂了有据可查。这个方案适合三类人刚入门OpenCV图像处理项目要找练手项目的学生做机器人避障、自动跟随需要低成本距离感知的嵌入式开发以及用惯了stm32超声波测距、想换成视觉方案但不想碰硬件的玩家。它的核心价值是在不依赖任何深度相机硬件的情况下把普通双目摄像头变成能输出毫米级点位深度的传感器不玄学但要按步骤来。2. 测距原理与相机模型视差公式里那些参数是怎么联动的2.1 为什么不能跳过双目标定直接“算三角”双目测距的原理可以用相似三角形讲清楚空间里某个点投影到左相机成像平面是像素点L投影到右相机是像素点RL和R在水平方向上的像素坐标差就是视差d。给定两个相机光心之间的距离基线B和相机焦距f深度Z ≈ fB/d。这个直觉没问题但绝大多数新手忽略了一个前提——左右相机的成像平面必须严格处于“行对齐”状态。真实摄像头的两个镜头装在支架上光轴不可能完全平行存在几度俯仰、偏航和绕光轴旋转同一个三维点在左右图上的y坐标能差出十几像素。立体匹配算法是按行搜索对应点的它根本不知道要找左右图的“同一行”只会拿左图某行和右图附近几行做代价运算行偏差越大误匹配越严重最后生成一张充满黑色空洞和白色椒盐噪声的视差图。把两张歪图强行拧成行对齐的过程就是双目标定。常见做法是先用cv2.calibrateCamera分别标定左右相机的内参焦距、主点和畸变系数再用cv2.stereoCalibrate算两个相机坐标系之间的旋转矩阵R和平移向量T最后用cv2.stereoRectify得到两个重投影矩阵P和Q。极线校正流程在OpenCV里被封装得很黑匣子但它干的事是构造两个虚拟相机让所有极线都变成水平线且左右虚拟相机光轴平行。校正完成后空间任一点在左右像素坐标系里的y坐标相同立体匹配就变成了在一行之内找视差最大值的一维搜索问题难度直接降一个数量级。所以你可以把标定理解成给后台算法做“手术”不做这步后面调再好的匹配参数都是白搭。标定样本质量直接决定R和T的准确性这属于典型的“垃圾进垃圾出”。我一般会打一张6×8或7×7的棋盘格格子边长25到30毫米贴在平整硬板上从0.3米到1.5米距离、左右上下不同角度拍20到30组。每组里棋盘格不能太小至少在画面里占到15%以上也要避免反光太强导致角点亚像素检测漂移。真实项目里还有个小坑如果你用的是两个独立USB摄像头而不是一体双目模组帧同步根本没保证左右两张图不是同一时刻拍到的标定和测距时都必须做硬件尽量同步或者在软件层采用“同一时刻交替触发”的近似方案否则动态场景下视差会随机偏移。这个细节在这份项目说明里如果没写清楚十有八九是作者调试时用了静态棋盘格运动物体测距时会现原形。2.2 像素坐标、相机坐标到世界坐标Q矩阵帮你省掉一半换算标定完成后会得到内参矩阵K、畸变系数D、旋转矩阵R和平移向量T但测距主程序里不推荐拿这些原始参数手搓公式。OpenCV做了封装stereoRectify的结果里有一个4×4矩阵Q它把校正后的像素坐标加上视差一起映射到三维空间。用起来很直接import numpy as np import cv2 # 假设Q已经由stereoRectify得到 # disp是SGBM输出的原始视差图记得除以16转成float points_3d cv2.reprojectImageTo3D(disp, Q) X points_3d[:, :, 0] Y points_3d[:, :, 1] Z points_3d[:, :, 2]这段代码里最容易被忽略的是disp的数据类型。cv2.StereoSGBM_create返回的视差图是int16每个像素的真实视差需要除以16。如果不除Q矩阵算出来的Z会整体缩小16倍距离看起来只有几十毫米这就是一些项目跑出来测距结果离谱的根源。用reprojectImageTo3D的优势在坐标系单位只要标定时棋盘格边长用毫米Q矩阵内部就会把所有深度换算成毫米省去自己换焦距、基线的麻烦。但Q矩阵有使用前提左右相机的投影矩阵必须是校正后的。有的源码包直接拿stereoRectify输出的Q去算但stereoRectify的flag要选cv2.CALIB_ZERO_DISPARITY这样视差0对应的深度是无穷远符合SGBM的默认minDisparities0。如果你用的flag不一样Q矩阵和视差图之间的对应关系会错位需要手动调整视差起点。我见过不少人在GitHub上提问“为什么深度图一半是黑的”多数是这里flag没对齐。顺带说一句如果你只需要中心点的距离没必要构建完整点云。直接取中心区域像素的Z值做中值滤波就行但如果你后续要做物体识别加测距比如接到YOLO检测框上那reprojectImageTo3D得到的点云更容易和检测框坐标对应。我一般会把三维点云和视差图一起存成npy方便后面做后处理避免每次重复算一遍。2.3 立体校正后要检查的不是图像好不好看而是“行对齐误差”标定完生成left和right的remap映射表后第一件事不是急着跑SGBM而是做行对齐验证。方法很简单对校正后的左右图各画一条水平扫描线找一个边缘急剧变化的位置比如门框边、键盘边缘对比左右图该边缘的x坐标同时确认在两条不同高度的扫描线上y偏移都在1像素以内。# 读取校正后的左右灰度图 rect_l cv2.imread(rect_left.png, cv2.IMREAD_GRAYSCALE) rect_r cv2.imread(rect_right.png, cv2.IMREAD_GRAYSCALE) for line_y in [160, 240, 320]: scan_l rect_l[line_y, :].astype(np.float32) scan_r rect_r[line_y, :].astype(np.float32) grad_l np.abs(np.diff(scan_l)) grad_r np.abs(np.diff(scan_r)) edge_l int(np.argmax(grad_l)) edge_r int(np.argmax(grad_r)) print(fy{line_y} 左右边缘差: {edge_l - edge_r}px)如果这个差值超过2像素最好先回头看标定参数而不是继续调SGBM。行对齐误差对近距影响还不明显距离越远视差越小一个像素的y偏差都能让匹配算法在错误行上找到伪对应测出来的距离抖得厉害。许多人发现“近距离准、远距离飘”第一个要怀疑的就是行对齐没做好而不是SGBM的numDisparities不够大。标定自检还有两个常用指标重投影误差RMS还有左右图重投影到公共平面后的视差残差。RMS控制在0.3以下一般够用超过0.5就要检查是否存在反光、模糊、畸变严重的样本。同时看标定板在不同距离下拍到的数量分布不要全集中在最近处远近混合才能让内参和畸变在目标工作距离内都可靠。深度的精度从标定这一步就已经被锁死了。3. 搭建PythonOpenCV测距工程源码结构、核心模块与最小可运行步骤3.1 源码包里应该有什么目录结构、依赖清单和运行顺序一个能跑通的双目测距工程结构上离不开三块标定图像采集、双目参数标定、实时测距主程序。这份源码包的项目说明一般会先让你安装依赖再带你走这三步。我按自己常用的工程结构给你列个目录参考stereo_ranging/ ├── calib/ │ ├── capture_chessboard.py # 采集左右棋盘格图像 │ ├── calibrate.py # 单目立体标定保存npz │ └── params/stereo_cam.npz # 标定结果 ├── main/ │ ├── stereo_ranging.py # 实时测距主程序 │ └── depth_utils.py # 深度图滤波和无效点修补 ├── requirements.txt └── README.mdrequirements.txt里最核心的是opencv-python和numpy笔者的实际项目里一般还会用到glob、json之类的标准库不需要额外装。这里有个容易踩的依赖坑cv2.StereoSGBM_create在opencv-python和opencv-contrib-python里都有但如果某些示例代码用了cv2.bgsegm或cv2.xfeatures2d就必须装opencv-contrib-python。对纯测距项目来说装opencv-contrib-python更保险因为有些老版本项目说明会用到SIFT提取特征做图像对齐但最新OpenCV主库不含这些专利算法。运行顺序也重要先采图再标定最后跑主程序。千万别在没生成stereo_cam.npz的情况下直接跑stereo_ranging.py主程序会在np.load时抛出IOError这种报错很蠢但很常见。我再强调一点代码里的摄像头索引要按实际设备改笔记本内置摄像头通常索引0外接USB双目模组可能是1和2用ls /dev/video*Linux或设备管理器Windows确认不要想当然。3.2 标定图像采集脚本曝光锁定和保存一对图的小心机采集左右图的脚本不难但要采集到“能用的图”有几个细节比代码本身更重要。第一左右图分辨率必须一致否则后面的棋盘格角点坐标对不上第二自动白平衡和自动曝光需要锁定否则每张图的亮度不同角点检测的亚像素坐标会漂移第三尽量用固定频率保存比如每半秒一拍给使用者移动棋盘格的时间。下面是采集脚本的核心部分import cv2 import os LEFT_IDX 0 RIGHT_IDX 1 IMG_SIZE (640, 480) SAVE_NUM 30 os.makedirs(left, exist_okTrue) os.makedirs(right, exist_okTrue) cap_l cv2.VideoCapture(LEFT_IDX) cap_r cv2.VideoCapture(RIGHT_IDX) # 统一分辨率关闭自动曝光 for cap in (cap_l, cap_r): cap.set(cv2.CAP_PROP_FRAME_WIDTH, IMG_SIZE[0]) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, IMG_SIZE[1]) cap.set(cv2.CAP_PROP_AUTO_EXPOSURE, 0.25) # 0.25表示关闭不同平台有差异 cap.set(cv2.CAP_PROP_AUTO_WB, 0) for i in range(SAVE_NUM): ret_l, frame_l cap_l.read() ret_r, frame_r cap_r.read() if not (ret_l and ret_r): print(f第{i}次读取失败) continue frame_l cv2.resize(frame_l, IMG_SIZE) frame_r cv2.resize(frame_r, IMG_SIZE) # 保存同时显示方便观察棋盘格角度覆盖 cv2.imwrite(fleft/left_{i:03d}.png, frame_l) cv2.imwrite(fright/right_{i:03d}.png, frame_r) show cv2.hconcat([frame_l, frame_r]) cv2.imshow(stereo capture, show) cv2.waitKey(500) cap_l.release() cap_r.release() cv2.destroyAllWindows()说几个实际问题。CAP_PROP_AUTO_EXPOSURE的取值在不同驱动下语义不同有的设0.25是手动模式有的设3才是手动最稳的办法是设成0或0.25后观察图像亮度是否稳定。另外两个摄像头的快门时间很难完全同步拍移动棋盘格时左右图像的棋盘格形变略有差异这是硬件限制。解决思路是尽量让棋盘格移动得慢一些或者用静态棋盘格多摆几个姿态。如果你用的是带同步信号的双目模组可以不考虑这个如果是普通双USB摄像头测静态物体没问题测移动物体就要做好误差增大的心理准备。3.3 标定脚本从角点提取到立体参数保存一次跑通标定是整个项目里最像“玄学”的环节但实际上只要角点够多、分布够散结果不会差。标定脚本通常会分成两步先提角点再调OpenCV的标定函数。我先给出一段单目加立标的完整示例import numpy as np import cv2 import glob # 棋盘格内角点数7行8列改成(CHECKERBOARD[0], CHECKERBOARD[1]) CHECKERBOARD (7, 7) SQUARE_SIZE 25 # 毫米 objp np.zeros((CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32) objp[:, :2] np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2) objp * SQUARE_SIZE obj_points [] left_img_points [] right_img_points [] left_imgs sorted(glob.glob(left/*.png)) right_imgs sorted(glob.glob(right/*.png)) criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) for lf, rf in zip(left_imgs, right_imgs): img_l cv2.imread(lf) img_r cv2.imread(rf) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, CHECKERBOARD, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, CHECKERBOARD, None) if ret_l and ret_r: corners_l cv2.cornerSubPix(gray_l, corners_l, (5, 5), (-1, -1), criteria) corners_r cv2.cornerSubPix(gray_r, corners_r, (5, 5), (-1, -1), criteria) obj_points.append(objp) left_img_points.append(corners_l) right_img_points.append(corners_r) else: print(f跳过 {lf} 或 {rf}左右角点未同时检出) # 单目标定 ret_l, K_l, D_l, rvecs_l, tvecs_l cv2.calibrateCamera( obj_points, left_img_points, gray_l.shape[::-1], None, None) ret_r, K_r, D_r, rvecs_r, tvecs_r cv2.calibrateCamera( obj_points, right_img_points, gray_r.shape[::-1], None, None) # 立体标定固定内参只优化外参 ret_s, K_l, D_l, K_r, D_r, R, T, E, F cv2.stereoCalibrate( obj_points, left_img_points, right_img_points, K_l, D_l, K_r, D_r, gray_l.shape[::-1], flagscv2.CALIB_FIX_INTRINSIC) print(f左目重投影误差: {ret_l:.4f}) print(f右目重投影误差: {ret_r:.4f}) print(f立体标定误差: {ret_s:.4f}) np.savez(stereo_cam.npz, K_lK_l, D_lD_l, K_rK_r, D_rD_r, RR, TT)代码逻辑不复杂先找角点亚像素细化再同时把左右点对作为输入给立体标定。这里有一个参数值得说明flagscv2.CALIB_FIX_INTRINSIC表示只优化R和T单目标定结果不允许被立体标定大幅改动。如果你的双目模组结构足够牢固这个flag能避免立体标定把内参带偏。如果用的是可调节支架的独立双摄像头我建议去掉这个flag让立体标定整体优化内参和外参。判断标准很简单看立体标定重投影误差是不是比单目明显变小如果变小了说明两个相机位置关系没被结构限制好就应该放开内参优化。SQUARE_SIZE算错会让所有测距结果成比例偏移。这个值要按棋盘格实际尺子量出来的边长填不要看打印的标注也不要用A4纸的缩放比例心里估算。我专门因为这个坑吃过亏纸上写的20mm实际打印出来19.2mm零点几毫米的误差在1米距离上放大了几十倍。3.4 实时测距主程序从视频帧到距离读数标定参数保存后主程序按“读取帧 → 校正 → 算视差 → 转三维 → 输出距离”的流程跑。这里给出一个简版但可用的写法import numpy as np import cv2 calib np.load(stereo_cam.npz) K_l, D_l calib[K_l], calib[D_l] K_r, D_r calib[K_r], calib[D_r] R, T calib[R], calib[T] IMG_SIZE (640, 480) # 立体校正映射 R_l, R_r, P_l, P_r, Q, valid1, valid2 cv2.stereoRectify( K_l, D_l, K_r, D_r, IMG_SIZE, R, T, flagscv2.CALIB_ZERO_DISPARITY) map_l1, map_l2 cv2.initUndistortRectifyMap( K_l, D_l, R_l, P_l, IMG_SIZE, cv2.CV_32FC1) map_r1, map_r2 cv2.initUndistortRectifyMap( K_r, D_r, R_r, P_r, IMG_SIZE, cv2.CV_32FC1) # SGBM匹配器 sgbm cv2.StereoSGBM_create( minDisparities0, numDisparities64, blockSize11, P18 * 3 * 11 ** 2, P232 * 3 * 11 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize200, speckleRange2, modecv2.STEREO_SGBM_MODE_SGBM_3WAY) cap_l cv2.VideoCapture(0) cap_r cv2.VideoCapture(1) while True: ret_l, frame_l cap_l.read() ret_r, frame_r cap_r.read() if not (ret_l and ret_r): continue frame_l cv2.resize(frame_l, IMG_SIZE) frame_r cv2.resize(frame_r, IMG_SIZE) rect_l cv2.remap(frame_l, map_l1, map_l2, cv2.INTER_LINEAR) rect_r cv2.remap(frame_r, map_r1, map_r2, cv2.INTER_LINEAR) gray_l cv2.cvtColor(rect_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(rect_r, cv2.COLOR_BGR2GRAY) disp sgbm.compute(gray_l, gray_r).astype(np.float32) / 16.0 disp[disp 0] np.nan points_3d cv2.reprojectImageTo3D(disp, Q) z_map points_3d[:, :, 2] # 取画面中心区域有效点排除NaN和超大值 h, w z_map.shape center_z z_map[h//2-20:h//220, w//2-20:w//220] valid_z center_z[np.isfinite(center_z) (center_z 0) (center_z 5000)] if len(valid_z) 0: distance np.median(valid_z) print(f中心距离: {distance:.1f} mm) else: print(无有效距离) # 显示视差图 vis cv2.normalize(disp, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8) cv2.imshow(disp, vis) if cv2.waitKey(1) 0xFF ord(q): break cap_l.release() cap_r.release() cv2.destroyAllWindows()这段代码里有两个参数要重点说disp[disp 0] np.nan把无效视差滤掉后面用np.isfinite做判断中心ROI取40×40区域用中位数而不是均值是因为中位数对椒盐噪声不敏感距离值更稳。valid_z 5000限制在5米内这个上界按你的量程调整远了本来就测得不准不如直接丢弃。关于SGBM的numDisparities64它决定视差搜索范围最小距离不变搜索范围越大可测的最近视差越小近处盲区越小。但要注意numDisparities必须是16的倍数且增大后计算量线性上涨。如果测近处物体64不够用调到128如果测远处64以上其实对远距没有帮助因为远距视差本来就小反而白白增加耗时。这个取舍后面第4章展开说。4. 参数怎么设棋盘格尺寸、SGBM的numDisparities和blockSize的完整调法4.1 棋盘格标定板边长选20还是50角点数为什么定为7×7棋盘格尺寸的选择要跟你的量程挂钩。量程在0.5米到3米用边长20到30毫米的格子比较合适标定板在最近视角下大概占画面20%左右角点检测稳定。量程在2米以上小尺寸标定板会因为角点太小导致亚像素定位精度下降此时最好用边长50毫米以上的大棋盘格但大棋盘格容易反光摆放时要注意避免强点光源直射。我的经验是宁可让棋盘格边长大一点、拍摄张数多一点也不要为了收纳方便用10毫米的花式小格子那种格子边缘在VGA分辨率下只有几个像素宽findChessboardCorners在倾斜视角下经常崩溃。角点数量方面7×7和8×6都不错关键是要保证两个方向上的角点数不相等这样findChessboardCorners才能确定棋盘格方向避免旋转歧义。比如7×8是安全的7×7实际上也能工作因为OpenCV会用内部算法推断方向但7×8更省心。我实际使用中7×7没出过问题但如果你遇到角点方向性错乱优先换非对称角点数。另外标定棋盘格一定要贴完全平整的硬板不能是纸放在桌上那种轻微弯曲否则角点位置误差会进入内参。采集张数不是越多越好20到30张足够更重要的是覆盖均匀。常见错误是全部把棋盘格放在画面中心这种样本对畸变参数的约束很差边缘畸变没法被准确估计。正确做法是让棋盘格在九宫格的每个象限都出现距离覆盖近中远三档同时有绕X轴和Y轴的俯仰角但不要倾斜到棋盘格在画面中变成很小的斜四边形检测会失败。我拍的时候习惯每拍一张就记录一下棋盘格的大致位置缺哪补哪最后检查左右图的角点都能检出才进入标定。4.2 SGBM必调参数numDisparities、blockSize、P1/P2之间的耦合关系立体匹配的参数是整个项目里最像“玄学”的部分但其实它们之间有明确的物理含义和联动关系。先看numDisparities它定义了视差的搜索范围也就是算法最多愿意往左看多少个像素。这个值的下限由你的最近测距目标决定目标距离越近视差越大需要更大的搜索范围。计算公式是视差d f * B / Zf以像素为单位B以毫米为单位Z代入你想测的最近距离。比如f600像素B80毫米最近测0.3米那么d600×80/300160像素numDisparities要设成160以上最近的16倍数也就是176但要留余量通常设192。如果你只在1到3米量程内测视差只有几十像素64就够。这里不要想着设一个超大值一劳永逸因为视差搜索范围过大会产生大量伪匹配测距精度反而下降。blockSize是匹配代价计算的窗口大小典型值在3到21之间必须取奇数。窗口越大对纹理重复区域的误匹配越少但边界越模糊距离突变处会有一圈“光晕”。对于室内墙面这类无明显纹理的场景blockSize小会满屏雪花我一般从9开始调如果物体纹理丰富blockSize5就够。有个经验公式P1和P2的推荐值随blockSize变化常规设置是P1 8 * 3 * blockSize²P2 32 * 3 * blockSize²。这套参数来自OpenCV官方样例适合多数场景。P2是平滑项约束相邻像素的视差变化太大容易把远近边界抹平太小则视差图碎渣很多。调参顺序是固定P1/P2先调blockSize和numDisparities最后才微调P1/P2。uniquenessRatio控制匹配唯一性建议10到15太小让纹理弱的区域产生很多伪匹配太大又会让低纹理区域全变成空洞。speckleWindowSize和speckleRange是去噪后处理把视差接近但连成小区域的小块当作噪声滤掉speckleWindowSize200、speckleRange2在大多数场景下是靠谱起点。如果视差图还有细碎亮点可以增大speckleWindowSize到400但注意别误杀真实物体的薄片边缘。总的来说先跑一次默认参数再去调blockSize最后改numDisparities让近处盲区变小不要一上来四个参数一起乱动。4.3 深度图后处理中值滤波、空洞填充和目标ROI裁剪SGBM输出的原始视差图总有空洞和椒盐噪声直接拿它算距离会有突然跳变的毛刺。我通常用三步第一步中值滤波把孤立噪点去掉但OpenCV的中值滤波在深度图上会保留边缘比均值滤波好得多第二步用形态学闭运算填充小的空洞但闭运算会把两个独立物体的缝隙填上只在空洞面积极小的时候用第三步对无效像素做最近邻填充原理是拿周围有效视差的局部中位数顶替空洞这个操作在低纹理区域很有效但要限制填充半径否则远处物体边界会被过度扩张。def refine_disparity(disp, kernel_size5): # 去掉负数无效值 disp disp.copy() invalid disp 0 # 中值滤波 disp_f cv2.medianBlur(disp.astype(np.float32), kernel_size) # 对原来无效的位置用邻域有效值的中位数填充 try: from scipy.ndimage import generic_filter def fill_func(x): vals x[x 0] return np.median(vals) if len(vals) else 0 filled generic_filter(disp_f, fill_func, size3, modeconstant, cval0) disp_f[invalid (filled 0)] filled[invalid (filled 0)] except ImportError: pass return disp_f这里没强制依赖scipy可以用numpy的滑动窗口替代但scipy.ndimage的generic_filter写起来更短。把后处理放进depth_utils.py主程序里调用它就够了。注意填充值要在视差边界内如果填充后的视差超过了numDisparities设定的范围说明填充逻辑有bug需要在函数里加一个clip。5. 避坑实操双目测距最常见的5个翻车现场5.1 报错ModuleNotFoundError: No module named cv2到底装哪个opencv包现象按照项目说明执行python stereo_ranging.py第一行import就报错。原因环境里没装OpenCV或者装了个残血版。很多人用pip install opencv-python装完发现cv2存在但cv2.StereoSGBM_create也能用。但有些老代码用了cv2.xfeatures2d、cv2.bgsegm这些在opencv-python不带只有opencv-contrib-python才有。如果项目说明里提到SIFT或SURF直接用opencv-contrib-python。解决统一安装opencv-contrib-python同时在requirements里锁定大版本比如opencv-contrib-python4.8, 5.0。装了多个OpenCV版本冲突时先pip uninstall opencv-python opencv-contrib-python再重新装。另外新版OpenCV的Python接口被拆分成了独立的opencv-python-headless那是不带GUI的服务器版用到cv2.imshow会报错不要在调试阶段用它。5.2 左右图亮度差异大视差图右边全是黑色的现象标定和测距时左图正常右图像素偏暗或偏亮SGBM匹配结果右侧大面积无有效视差。原因双USB摄像头没有同步自动曝光两边的光圈和增益独立工作亮度不一致导致左右匹配代价不对称。还有可能是主板USB供电不足摄像头自动降帧率或降低画质。解决采集脚本里把两个摄像头的CAP_PROP_AUTO_EXPOSURE都设为手动并把CAP_PROP_EXPOSURE设成同一个固定值。若同一型号的摄像头在同一个hub上经常出现一侧掉帧把两个摄像头分别插到不同的USB控制器比如一个插前置一个插后置不要共用一个多口hub。亮度仍然不一致时做预处理把左右图都转灰度后各自做直方图均衡化但要注意均衡化会放大噪声更适合SGBM而不是特征匹配。5.3 视差图全是雪花或条纹行对齐检查却正常现象reprojectImageTo3D输出的距离值在1米和10米之间疯狂跳变视差图呈细密条纹状。原因这个问题通常不是标定而是纹理太弱或SGBM参数不合适。白墙、纯色地板、天空这类低纹理区域匹配窗口里找不到可辨识特征算法只能靠平滑项瞎猜。另一个鲜为人知的原因是图像经过了JPEG压缩压缩块的边界会被匹配算法当成纹理产生周期性条纹。还有人为了速度把图像转成灰度前做了cv2.resize插值让边缘变糊同样影响匹配。解决先检查左右图有没有被压缩或缩放过度。原始分辨率要是低于320×240立刻换更高分辨率。然后用4.2的经验重新调blockSize低纹理场景把blockSize从7增大到15甚至21同时把P2调大一点强制平滑性。如果还是不行往画面里放几张带纹理的纸片验证一下是不是场景问题而不是算法问题。另外要确认摄像头采集的原始图是不是本来就带坏点或CMOS噪声先做3×3中值滤波再进SGBM噪声能压住不少。5.4 近距离准远距离误差大而且越远越离谱现象0.5米内测距误差小于2%1.5米以上开始有10%以上的跳变3米外基本不可用。原因远距的视差只有几个像素像素质心检测本身的量化误差就占了很大比例。举个例子f600像素B80毫米3米处视差d600×80/300016像素如果角点提取或匹配的误差是0.5像素那么距离误差就有约9%。这不是你的代码问题是物理精度的天花板。另一个原因是基线太短普通USB双目模组基线一般60到120毫米测3米以上本身就勉强。解决在不换硬件的条件下把摄像头分辨率调到更高让同样视差对应更多像素但SGBM耗时也会涨。或者用亚像素插值OpenCV提供了cv2.filterSpeckles但不含亚像素细化你可以用抛物线拟合视差峰的亚像素位置。如果想根治远距精度就得换更长基线的双目相机或者直接上D435i这类主动深度相机但既然课题要求纯视觉方案就接受“3米外只能做避障判断不能做精确测量”的现实。项目说明里如果没写量程你就要在文档里注明建议测距范围以免用户拿它去测十米外的汽车。5.5 程序卡成PPTCPU占用率直接拉满现象实时预览只有每秒两三帧测距延迟明显。原因SGBM全是CPU密集型计算640×480分辨率下64像素视差范围单帧耗时就要几十毫秒。如果主程序里还做了reprojectImageTo3D每帧生成全图点云又多几毫秒。再加上显示窗口的分辨率过高总帧率就掉得很惨。解决三分法解决。第一只对感兴趣区域做立体匹配比如先做人脸检测或YOLO检测把检测框外扩20%让SGBM只处理这个ROI计算量大幅下降。第二把reprojectImageTo3D的调用次数降下来不要每帧都对全图转点云只在输出深度时调用需要的局部区域。第三SGBM的numDisparities如果设到192试着降到128你会发现速度提升明显而精度下降有限。还有一个小技巧是把图像缩放一半到320×240来跑SGBM深度图再放大回原分辨率用于显示测距精度损失在5%以内帧率可以翻倍。6. 精度验证和三个进阶习惯把双目测距从“能跑”变成“能交付”把测距结果输出后真正要交付给项目时必须做精度验证。我的做法是拿一把卷尺固定目标位置采集50帧统计平均误差、最大误差和标准差然后绘制误差-距离曲线。理论上这个曲线应该随距离线性放大如果出现某个距离段误差骤增基本是标定板在这个距离范围内的标定样本数量不够需要补拍。还有两个进阶习惯值得养成。第一个是标定结果加时间戳每次改变摄像头固定支架或焦距后重新标定旧参数一律重存不要覆盖同名文件。我吃过最大的一次亏是换了一颗USB延长线后基线变了但没重标测距结果整体偏了十几厘米排查了两个小时才想起换过线。第二个是在项目说明里写清“工作条件”建议光线充足、纹理可见、目标静止这些不是推卸责任是双目视觉本身的边界。没有主动光纯靠环境纹理双目永远做不到D435i那种在无纹理墙面直接出深度的效果。还有一个能明显提升体验的小技巧在界面中心画十字线实时显示该点距离的同时把距离值映射成颜色叠加到视差图上方使人快速找到可信区域在哪。如果你想把测距结果接到后续控制逻辑里最好输出一个带有时间戳和置信度的数据结构置信度可以用有效像素数占ROI比例来定义有效比例低于70%就标记为低置信度让下游系统决定是否采信。这套基于pythonopencv的双目视觉测距方案经过一次完整的标定和参数微调后在0.3到2米范围内跑出5%以内的误差是完全可行的想在更远距离用就要接受分辨率、基线长度和算法算力之间的妥协。我自己的习惯是每个项目先花一天把标定样本拍扎实后面调参时间往往不到一个下午好多看起来像玄学的噪声问题最后都指向了标定的马虎。希望这个流程能帮你少走几趟弯路也希望你跑通之后愿意把踩过的坑再回填到项目说明里让下一个人更快落地。本文还有配套的精品资源点击获取
