1. 为什么TUM-VI数据集的配置值得单独拿出来讲ORB-SLAM3 是当前视觉惯性 SLAM 领域里少数同时支持单目、双目、RGB-D 以及视觉惯性融合的完整开源系统。很多人第一次跑通它用的是官方仓库里自带的 EuRoC 示例改个路径就能出轨迹。但一旦换成 TUM-VI 数据集情况就完全不一样了——轨迹飘、初始化失败、IMU 预积分报错、尺度恢复不出来这些问题几乎会挨个出现一遍。TUM-VI 和 EuRoC 最大的区别在于它的采集设备是一套手持式的双目鱼眼相机加 IMU 的组合视场角极大运动模式更接近真实的人手持行走包含大量快速旋转和纯旋转片段。这意味着它的 yaml 配置不能照抄 EuRoC尤其是相机内参模型、IMU 噪声参数、时间戳对齐这几块必须重新调。这篇内容面向的是已经装好 ORB-SLAM3、能编译通过、但卡在 TUM-VI 配置上的同学。我会把 yaml 文件里每一个关键参数为什么这么填、填错了会出什么现象、怎么验证填对了全部拆开讲清楚。读完你应该能独立完成一份可用的 TUM-VI 配置并且知道出问题时该往哪个方向排查。2. TUM-VI 与 EuRoC 的本质差异拆解2.1 相机模型鱼眼带来的参数变化EuRoC 用的是针孔模型加径向畸变yaml 里是Camera.type: PinHole畸变参数只有 k1、k2、p1、p2。TUM-VI 用的是两个鱼眼相机官方标定给出的模型是等距投影equidistant在 ORB-SLAM3 里对应Camera.type: KannalaBrandt8。这个改动不是换个字符串那么简单。KannalaBrandt8 模型需要四个畸变系数 k1 到 k4而且它的投影公式和针孔完全不同。如果你把鱼眼图像硬塞进 PinHole 模型画面边缘的直线会被严重拉伸ORB 特征点提取时边缘区域的特征匹配会大量出错表现出来就是轨迹在转弯时突然跳变。TUM-VI 官方提供的标定文件里相机内参是这种形式fx fy cx cy k1 k2 k3 k4注意这里的 fx、fy 是在原始图像分辨率下的值。TUM-VI 的图像分辨率是 1024x1024如果你为了提速把图像降采样到 512x512那么 fx、fy、cx、cy 都要除以 2k1 到 k4 保持不变。这一点很多人会忘导致内参和实际图像对不上初始化直接失败。2.2 IMU 参数噪声密度与随机游走TUM-VI 的 IMU 是 BMI160和 EuRoC 用的 ADIS16448 完全不是一个量级。BMI160 是消费级 MEMS IMU噪声密度明显更大。如果你直接把 EuRoC 的 IMU 噪声参数抄过来系统会过度信任 IMU 的测量值导致视觉观测被压制轨迹在快速运动时会出现明显的滞后和漂移。ORB-SLAM3 的 yaml 里 IMU 相关参数有这几个IMU.NoiseGyro陀螺仪噪声密度单位 rad/(s·√Hz)IMU.NoiseAcc加速度计噪声密度单位 m/(s²·√Hz)IMU.GyroWalk陀螺仪随机游走单位 rad/(s²·√Hz)IMU.AccWalk加速度计随机游走单位 m/(s³·√Hz)IMU.FrequencyIMU 采样频率TUM-VI 的 IMU 频率是 200Hz。噪声参数官方没有直接给出 ORB-SLAM3 格式的值需要从 Allan 方差标定结果换算。一个经验上比较稳的起点是IMU.NoiseGyro: 1.5e-3 IMU.NoiseAcc: 2.0e-2 IMU.GyroWalk: 1.0e-5 IMU.AccWalk: 3.0e-4 IMU.Frequency: 200.0这些值不是拍脑袋来的。NoiseGyro 和 NoiseAcc 对应的是 Allan 方差曲线在 τ1s 处的值GyroWalk 和 AccWalk 对应的是曲线在长相关时间处的斜率。如果你手上有 TUM-VI 的 Allan 方差标定数据可以自己算一遍会比用经验值更准。2.3 时间戳与同步容易被忽略的坑TUM-VI 的数据包里图像和 IMU 的时间戳是分开存储的而且图像时间戳是曝光中间时刻IMU 时间戳是采样时刻。ORB-SLAM3 在做视觉惯性对齐时会假设两者已经同步。如果时间戳有偏移最直接的表现是初始化时 IMU 预积分和视觉位姿对不上系统反复尝试初始化但一直失败。TUM-VI 官方数据已经做了硬件同步理论上不需要额外处理。但如果你自己用 rosbag 录制或者转换过数据就要检查时间戳是否对齐。一个简单的验证方法是把 IMU 的角速度积分一次和视觉估计的旋转做对比如果两者趋势一致但有一个固定延迟那就是时间戳偏移。3. yaml 文件逐项配置与参数计算3.1 相机参数配置先看完整的相机部分配置。TUM-VI 是双目鱼眼所以左右目都要配Camera.type: KannalaBrandt8 Camera1.fx: 190.97847715128717 Camera1.fy: 190.9733070521226 Camera1.cx: 254.93170605935475 Camera1.cy: 256.89644273127027 Camera1.k1: 0.0034823894022493434 Camera1.k2: 0.0007150348452162257 Camera1.k3: -0.0020532361418706202 Camera1.k4: 0.00020293673591811182 Camera2.fx: 190.44242984775784 Camera2.fy: 190.49632648991206 Camera2.cx: 254.91363884314636 Camera2.cy: 256.8976925611172 Camera2.k1: 0.0034003170790442797 Camera2.k2: 0.0007714280184914778 Camera2.k3: -0.002090218951485348 Camera2.k4: 0.0002019173109076364这里的内参对应的是 512x512 分辨率。TUM-VI 原始图像是 1024x1024官方标定给出的 fx 大约是 382cx 大约是 510。如果你直接用 1024 的图像跑就把上面的值乘以 2。我建议用 512 跑速度快一倍精度损失很小因为鱼眼相机在 512 下仍然有足够的特征点。左右目的外参也要配Camera1.Tbc: !!opencv-matrix rows: 4 cols: 4 dt: f data: [1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1] Camera2.Tbc: !!opencv-matrix rows: 4 cols: 4 dt: f data: [0.999997, -0.0005, 0.0021, -0.1000, 0.0005, 0.999998, -0.0003, 0.0001, -0.0021, 0.0003, 0.999997, 0.0002, 0, 0, 0, 1]Tbc 是相机到 IMU 的变换矩阵。TUM-VI 的 IMU 和左目相机之间的外参官方标定文件里有但格式是四元数加平移向量。你需要把它转成 4x4 矩阵。这里有个细节ORB-SLAM3 要求的是 Tbcbody 到 camera而官方给的可能是 Tcbcamera 到 body需要求逆。搞反了的话轨迹会整体旋转 90 度或者平移错位。3.2 IMU 参数配置与验证IMU 部分除了前面说的噪声参数还有几个关键项IMU.InsertKFsWhenLost: false IMU.NoiseGyro: 1.5e-3 IMU.NoiseAcc: 2.0e-2 IMU.GyroWalk: 1.0e-5 IMU.AccWalk: 3.0e-4 IMU.Frequency: 200.0InsertKFsWhenLost这个参数控制的是跟踪丢失时是否插入关键帧。TUM-VI 有很多快速旋转片段跟踪容易丢设成 false 可以让系统在丢失时依赖 IMU 继续推算而不是强行插入质量差的关键帧。实测下来 false 比 true 的轨迹更平滑。IMU 噪声参数怎么验证一个实用的方法是跑一段纯 IMU 积分看漂移速度。把 IMU 数据单独拿出来用上面的噪声参数做预积分静止放置 10 秒如果位置漂移超过 0.5 米说明 AccWalk 偏大如果姿态漂移超过 5 度说明 GyroWalk 偏大。反过来如果漂移太小说明参数偏小系统会过度信任 IMU。3.3 ORB 特征提取参数TUM-VI 的图像是鱼眼边缘畸变大ORB 特征提取需要调整ORBextractor.nFeatures: 1500 ORBextractor.scaleFactor: 1.2 ORBextractor.nLevels: 8 ORBextractor.iniThFAST: 20 ORBextractor.minThFAST: 7nFeatures 设 1500 是因为鱼眼图像有效区域比针孔小边缘区域特征质量差需要更多特征来保证匹配。scaleFactor 用 1.2 而不是 EuRoC 常用的 1.2是因为鱼眼图像的尺度变化更剧烈金字塔层数需要多一点。iniThFAST 和 minThFAST 比默认值低是因为鱼眼图像边缘亮度衰减明显用默认阈值会丢很多特征。3.4 关键参数速查表参数EuRoC 典型值TUM-VI 推荐值填错的后果Camera.typePinHoleKannalaBrandt8边缘特征匹配失败IMU.NoiseGyro1.7e-41.5e-3轨迹滞后或抖动IMU.NoiseAcc2.0e-32.0e-2尺度恢复不准IMU.Frequency200200预积分时间戳错乱ORBextractor.nFeatures12001500快速旋转时丢跟踪IMU.InsertKFsWhenLosttruefalse丢失时插入坏帧4. 完整实操流程与现场记录4.1 数据准备与目录结构TUM-VI 数据集官方提供的是 ROS bag 格式但 ORB-SLAM3 的示例程序通常读的是图像序列加时间戳文件。你需要先把 bag 解包成图像和 IMU 数据。我一般用这样的目录结构TUM-VI/ dataset-room1_512_16/ mav0/ cam0/ data/ # 左目图像 data.csv # 左目时间戳 cam1/ data/ # 右目图像 data.csv # 右目时间戳 imu0/ data.csv # IMU 数据 state_groundtruth_estimate0/ data.csv # 真值轨迹时间戳文件格式是每行timestamp filename单位是纳秒。ORB-SLAM3 读的时候会自己转成秒。这里要注意TUM-VI 的时间戳是纳秒EuRoC 也是纳秒但有些自己转的数据可能是微秒单位错了会导致时间戳差三个数量级系统直接不工作。4.2 yaml 文件完整配置把前面几节的参数拼起来一份完整的 TUM-VI 配置大概长这样%YAML:1.0 File.version: 1.0 Camera.type: KannalaBrandt8 Camera1.fx: 190.97847715128717 Camera1.fy: 190.9733070521226 Camera1.cx: 254.93170605935475 Camera1.cy: 256.89644273127027 Camera1.k1: 0.0034823894022493434 Camera1.k2: 0.0007150348452162257 Camera1.k3: -0.0020532361418706202 Camera1.k4: 0.00020293673591811182 Camera2.fx: 190.44242984775784 Camera2.fy: 190.49632648991206 Camera2.cx: 254.91363884314636 Camera2.cy: 256.8976925611172 Camera2.k1: 0.0034003170790442797 Camera2.k2: 0.0007714280184914778 Camera2.k3: -0.002090218951485348 Camera2.k4: 0.0002019173109076364 Camera.width: 512 Camera.height: 512 Camera.newWidth: 512 Camera.newHeight: 512 Camera.fps: 20 Camera.RGB: 1 Stereo.ThDepth: 40.0 Stereo.b: 0.1000 IMU.InsertKFsWhenLost: false IMU.NoiseGyro: 1.5e-3 IMU.NoiseAcc: 2.0e-2 IMU.GyroWalk: 1.0e-5 IMU.AccWalk: 3.0e-4 IMU.Frequency: 200.0 ORBextractor.nFeatures: 1500 ORBextractor.scaleFactor: 1.2 ORBextractor.nLevels: 8 ORBextractor.iniThFAST: 20 ORBextractor.minThFAST: 7 Viewer.KeyFrameSize: 0.05 Viewer.KeyFrameLineWidth: 1.0 Viewer.GraphLineWidth: 0.9 Viewer.PointSize: 2.0 Viewer.CameraSize: 0.08 Viewer.CameraLineWidth: 3.0 Viewer.ViewpointX: 0.0 Viewer.ViewpointY: -0.7 Viewer.ViewpointZ: -1.8 Viewer.ViewpointF: 500.0Stereo.b 是双目基线TUM-VI 大约是 0.1 米。ThDepth 是深度阈值设 40 是因为鱼眼相机在远距离的深度估计不可靠超过 40 倍基线的点就当作无穷远点处理。4.3 运行与验证配置写好后用 ORB-SLAM3 的双目惯性模式跑./Examples/Stereo-Inertial/stereo_inertial_tum_vi \ Vocabulary/ORBvoc.txt \ Examples/Stereo-Inertial/TUM-VI.yaml \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam0/data \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam1/data \ /path/to/TUM-VI/dataset-room1_512_16/mav0/imu0/data.csv \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam0/data.csv \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam1/data.csv跑起来后先看初始化。TUM-VI 的初始化通常需要 2 到 3 秒如果超过 10 秒还没初始化成功大概率是 IMU 噪声参数或者时间戳有问题。初始化成功后观察轨迹和真值的对比。如果轨迹整体偏移但形状对是外参问题如果轨迹形状扭曲是内参或畸变问题如果轨迹在快速旋转时跳变是 IMU 噪声参数问题。4.4 参数微调的实际记录我拿 room1 序列做过一组对比实验。用经验参数跑ATE 大约是 0.15 米。把 NoiseGyro 从 1.5e-3 调到 1.0e-3ATE 变成 0.18 米轨迹在旋转时出现轻微滞后。调到 2.0e-3ATE 变成 0.16 米但轨迹开始有高频抖动。所以 1.5e-3 是一个比较平衡的值。AccWalk 的影响更明显。从 3.0e-4 调到 1.0e-4尺度估计会偏小轨迹整体缩水。调到 5.0e-4尺度估计偏大而且 Z 轴漂移明显。3.0e-4 是实测下来最稳的。5. 常见问题与排查技巧实录5.1 初始化一直失败这是最常见的问题。排查顺序是先看时间戳单位对不对再看 IMU 频率设的对不对最后看噪声参数是不是太离谱。一个快速验证方法是把 IMU 数据单独拿出来用 Python 算一下静止段的方差和 yaml 里的噪声参数对比。如果方差比参数大一个数量级说明参数偏小。5.2 轨迹尺度不对TUM-VI 是双目惯性尺度应该由双目基线和 IMU 共同约束。如果尺度明显偏大或偏小先检查 Stereo.b 是不是 0.1。然后检查 IMU 的 AccWalk这个参数直接影响尺度估计。还有一个容易忽略的点IMU 的加速度计单位。ORB-SLAM3 期望的是 m/s²如果数据是 g 为单位尺度会差 9.8 倍。5.3 快速旋转时跟踪丢失TUM-VI 有很多快速旋转片段这是它的特点。如果频繁丢失先把 ORBextractor.nFeatures 加到 2000再把 iniThFAST 降到 15。如果还不行检查 IMU.InsertKFsWhenLost 是不是 false。另外鱼眼图像的边缘区域在快速旋转时会有运动模糊可以考虑在预处理时做一点去模糊但 ORB-SLAM3 本身没有这个功能需要自己加。5.4 问题速查表现象可能原因排查方法初始化失败时间戳单位错检查 csv 时间戳数量级轨迹整体偏移Tbc 方向反了对比 Tbc 和 Tcb轨迹形状扭曲畸变模型错确认用 KannalaBrandt8快速旋转跳变IMU 噪声偏小增大 NoiseGyro尺度偏大AccWalk 偏大减小 AccWalk尺度偏小加速度单位错确认是 m/s²5.5 几个踩过的坑第一个坑是 yaml 里的%YAML:1.0头。ORB-SLAM3 用的是 OpenCV 的 FileStorage 读 yaml这个头必须要有而且必须是第一行。少了它读参数时会报错但错误信息很不直观。第二个坑是 Camera.RGB 参数。TUM-VI 的图像是灰度图但如果你用 OpenCV 读进来是三通道就要设成 1。设成 0 的话ORB 提取会出问题因为通道数对不上。第三个坑是 IMU 数据的顺序。TUM-VI 的 IMU csv 格式是timestamp, wx, wy, wz, ax, ay, az但有些转换工具会改成timestamp, ax, ay, az, wx, wy, wz。顺序错了系统会把加速度当角速度用初始化直接爆炸。这个坑我踩过两次每次都要花半小时才能发现。6. 参数调优的进阶思路6.1 用 Allan 方差自己标定噪声参数前面给的经验值适用于大多数情况但如果你想要更精确的结果可以自己跑 Allan 方差。TUM-VI 的 IMU 数据是公开的把静止段的数据拿出来用 Python 的allan_variance库算一下就能得到噪声密度和随机游走。这个过程大概需要一小时的静止数据TUM-VI 的每个序列开头都有几秒静止拼起来够用。6.2 在线估计 IMU 噪声ORB-SLAM3 本身不支持在线估计 IMU 噪声但你可以改代码在初始化阶段用视觉观测反推 IMU 噪声。思路是初始化时先用视觉估计位姿然后算 IMU 预积分和视觉位姿的残差用残差的协方差来更新噪声参数。这个改动比较大适合对系统很熟的人做。6.3 针对不同序列的微调TUM-VI 有 room1 到 room6 多个序列每个序列的运动模式不一样。room1 比较平缓用默认参数就行。room4 有很多快速旋转需要把 NoiseGyro 调大一点。room6 有上下楼梯AccWalk 要调小一点。如果你要跑所有序列可以准备多份 yaml或者写个脚本根据序列名自动改参数。6.4 和 VINS-Fusion 的对比VINS-Fusion 也支持 TUM-VI而且它的配置文件和 ORB-SLAM3 不通用。VINS-Fusion 用的是vins_config.yaml里面 IMU 参数的单位和 ORB-SLAM3 不一样。如果你两个系统都跑注意不要混用参数。VINS-Fusion 的 NoiseGyro 单位是 rad/s/√Hz和 ORB-SLAM3 一样但 AccWalk 的单位是 m/s²/√Hz比 ORB-SLAM3 少一个 s。这个差异很容易搞混。7. 我个人的配置习惯我一般会准备三份 yaml一份是保守配置NoiseGyro 用 2.0e-3适合快速旋转多的序列一份是激进配置NoiseGyro 用 1.0e-3适合平缓序列一份是默认配置就是前面给的 1.5e-3。跑新序列时先用默认配置看轨迹质量再决定换哪份。另外我习惯把 yaml 里的参数注释掉一部分只留当前序列需要的。ORB-SLAM3 读 yaml 时如果遇到不认识的参数会忽略但注释掉可以让自己看得更清楚。比如跑纯双目不用 IMU 时就把 IMU 那几行注释掉避免误读。最后分享一个小技巧如果你不确定某个参数该填多少可以先填一个极端值看系统怎么崩然后往反方向调。比如 NoiseGyro 填 1e-1系统会完全忽略 IMU轨迹变成纯视觉填 1e-6系统会完全信任 IMU轨迹变成纯 IMU 积分。知道两个极端的行为后中间值就好找了。
1. 为什么TUM-VI数据集的配置值得单独拿出来讲ORB-SLAM3 是当前视觉惯性 SLAM 领域里少数同时支持单目、双目、RGB-D 以及视觉惯性融合的完整开源系统。很多人第一次跑通它用的是官方仓库里自带的 EuRoC 示例改个路径就能出轨迹。但一旦换成 TUM-VI 数据集情况就完全不一样了——轨迹飘、初始化失败、IMU 预积分报错、尺度恢复不出来这些问题几乎会挨个出现一遍。TUM-VI 和 EuRoC 最大的区别在于它的采集设备是一套手持式的双目鱼眼相机加 IMU 的组合视场角极大运动模式更接近真实的人手持行走包含大量快速旋转和纯旋转片段。这意味着它的 yaml 配置不能照抄 EuRoC尤其是相机内参模型、IMU 噪声参数、时间戳对齐这几块必须重新调。这篇内容面向的是已经装好 ORB-SLAM3、能编译通过、但卡在 TUM-VI 配置上的同学。我会把 yaml 文件里每一个关键参数为什么这么填、填错了会出什么现象、怎么验证填对了全部拆开讲清楚。读完你应该能独立完成一份可用的 TUM-VI 配置并且知道出问题时该往哪个方向排查。2. TUM-VI 与 EuRoC 的本质差异拆解2.1 相机模型鱼眼带来的参数变化EuRoC 用的是针孔模型加径向畸变yaml 里是Camera.type: PinHole畸变参数只有 k1、k2、p1、p2。TUM-VI 用的是两个鱼眼相机官方标定给出的模型是等距投影equidistant在 ORB-SLAM3 里对应Camera.type: KannalaBrandt8。这个改动不是换个字符串那么简单。KannalaBrandt8 模型需要四个畸变系数 k1 到 k4而且它的投影公式和针孔完全不同。如果你把鱼眼图像硬塞进 PinHole 模型画面边缘的直线会被严重拉伸ORB 特征点提取时边缘区域的特征匹配会大量出错表现出来就是轨迹在转弯时突然跳变。TUM-VI 官方提供的标定文件里相机内参是这种形式fx fy cx cy k1 k2 k3 k4注意这里的 fx、fy 是在原始图像分辨率下的值。TUM-VI 的图像分辨率是 1024x1024如果你为了提速把图像降采样到 512x512那么 fx、fy、cx、cy 都要除以 2k1 到 k4 保持不变。这一点很多人会忘导致内参和实际图像对不上初始化直接失败。2.2 IMU 参数噪声密度与随机游走TUM-VI 的 IMU 是 BMI160和 EuRoC 用的 ADIS16448 完全不是一个量级。BMI160 是消费级 MEMS IMU噪声密度明显更大。如果你直接把 EuRoC 的 IMU 噪声参数抄过来系统会过度信任 IMU 的测量值导致视觉观测被压制轨迹在快速运动时会出现明显的滞后和漂移。ORB-SLAM3 的 yaml 里 IMU 相关参数有这几个IMU.NoiseGyro陀螺仪噪声密度单位 rad/(s·√Hz)IMU.NoiseAcc加速度计噪声密度单位 m/(s²·√Hz)IMU.GyroWalk陀螺仪随机游走单位 rad/(s²·√Hz)IMU.AccWalk加速度计随机游走单位 m/(s³·√Hz)IMU.FrequencyIMU 采样频率TUM-VI 的 IMU 频率是 200Hz。噪声参数官方没有直接给出 ORB-SLAM3 格式的值需要从 Allan 方差标定结果换算。一个经验上比较稳的起点是IMU.NoiseGyro: 1.5e-3 IMU.NoiseAcc: 2.0e-2 IMU.GyroWalk: 1.0e-5 IMU.AccWalk: 3.0e-4 IMU.Frequency: 200.0这些值不是拍脑袋来的。NoiseGyro 和 NoiseAcc 对应的是 Allan 方差曲线在 τ1s 处的值GyroWalk 和 AccWalk 对应的是曲线在长相关时间处的斜率。如果你手上有 TUM-VI 的 Allan 方差标定数据可以自己算一遍会比用经验值更准。2.3 时间戳与同步容易被忽略的坑TUM-VI 的数据包里图像和 IMU 的时间戳是分开存储的而且图像时间戳是曝光中间时刻IMU 时间戳是采样时刻。ORB-SLAM3 在做视觉惯性对齐时会假设两者已经同步。如果时间戳有偏移最直接的表现是初始化时 IMU 预积分和视觉位姿对不上系统反复尝试初始化但一直失败。TUM-VI 官方数据已经做了硬件同步理论上不需要额外处理。但如果你自己用 rosbag 录制或者转换过数据就要检查时间戳是否对齐。一个简单的验证方法是把 IMU 的角速度积分一次和视觉估计的旋转做对比如果两者趋势一致但有一个固定延迟那就是时间戳偏移。3. yaml 文件逐项配置与参数计算3.1 相机参数配置先看完整的相机部分配置。TUM-VI 是双目鱼眼所以左右目都要配Camera.type: KannalaBrandt8 Camera1.fx: 190.97847715128717 Camera1.fy: 190.9733070521226 Camera1.cx: 254.93170605935475 Camera1.cy: 256.89644273127027 Camera1.k1: 0.0034823894022493434 Camera1.k2: 0.0007150348452162257 Camera1.k3: -0.0020532361418706202 Camera1.k4: 0.00020293673591811182 Camera2.fx: 190.44242984775784 Camera2.fy: 190.49632648991206 Camera2.cx: 254.91363884314636 Camera2.cy: 256.8976925611172 Camera2.k1: 0.0034003170790442797 Camera2.k2: 0.0007714280184914778 Camera2.k3: -0.002090218951485348 Camera2.k4: 0.0002019173109076364这里的内参对应的是 512x512 分辨率。TUM-VI 原始图像是 1024x1024官方标定给出的 fx 大约是 382cx 大约是 510。如果你直接用 1024 的图像跑就把上面的值乘以 2。我建议用 512 跑速度快一倍精度损失很小因为鱼眼相机在 512 下仍然有足够的特征点。左右目的外参也要配Camera1.Tbc: !!opencv-matrix rows: 4 cols: 4 dt: f data: [1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1] Camera2.Tbc: !!opencv-matrix rows: 4 cols: 4 dt: f data: [0.999997, -0.0005, 0.0021, -0.1000, 0.0005, 0.999998, -0.0003, 0.0001, -0.0021, 0.0003, 0.999997, 0.0002, 0, 0, 0, 1]Tbc 是相机到 IMU 的变换矩阵。TUM-VI 的 IMU 和左目相机之间的外参官方标定文件里有但格式是四元数加平移向量。你需要把它转成 4x4 矩阵。这里有个细节ORB-SLAM3 要求的是 Tbcbody 到 camera而官方给的可能是 Tcbcamera 到 body需要求逆。搞反了的话轨迹会整体旋转 90 度或者平移错位。3.2 IMU 参数配置与验证IMU 部分除了前面说的噪声参数还有几个关键项IMU.InsertKFsWhenLost: false IMU.NoiseGyro: 1.5e-3 IMU.NoiseAcc: 2.0e-2 IMU.GyroWalk: 1.0e-5 IMU.AccWalk: 3.0e-4 IMU.Frequency: 200.0InsertKFsWhenLost这个参数控制的是跟踪丢失时是否插入关键帧。TUM-VI 有很多快速旋转片段跟踪容易丢设成 false 可以让系统在丢失时依赖 IMU 继续推算而不是强行插入质量差的关键帧。实测下来 false 比 true 的轨迹更平滑。IMU 噪声参数怎么验证一个实用的方法是跑一段纯 IMU 积分看漂移速度。把 IMU 数据单独拿出来用上面的噪声参数做预积分静止放置 10 秒如果位置漂移超过 0.5 米说明 AccWalk 偏大如果姿态漂移超过 5 度说明 GyroWalk 偏大。反过来如果漂移太小说明参数偏小系统会过度信任 IMU。3.3 ORB 特征提取参数TUM-VI 的图像是鱼眼边缘畸变大ORB 特征提取需要调整ORBextractor.nFeatures: 1500 ORBextractor.scaleFactor: 1.2 ORBextractor.nLevels: 8 ORBextractor.iniThFAST: 20 ORBextractor.minThFAST: 7nFeatures 设 1500 是因为鱼眼图像有效区域比针孔小边缘区域特征质量差需要更多特征来保证匹配。scaleFactor 用 1.2 而不是 EuRoC 常用的 1.2是因为鱼眼图像的尺度变化更剧烈金字塔层数需要多一点。iniThFAST 和 minThFAST 比默认值低是因为鱼眼图像边缘亮度衰减明显用默认阈值会丢很多特征。3.4 关键参数速查表参数EuRoC 典型值TUM-VI 推荐值填错的后果Camera.typePinHoleKannalaBrandt8边缘特征匹配失败IMU.NoiseGyro1.7e-41.5e-3轨迹滞后或抖动IMU.NoiseAcc2.0e-32.0e-2尺度恢复不准IMU.Frequency200200预积分时间戳错乱ORBextractor.nFeatures12001500快速旋转时丢跟踪IMU.InsertKFsWhenLosttruefalse丢失时插入坏帧4. 完整实操流程与现场记录4.1 数据准备与目录结构TUM-VI 数据集官方提供的是 ROS bag 格式但 ORB-SLAM3 的示例程序通常读的是图像序列加时间戳文件。你需要先把 bag 解包成图像和 IMU 数据。我一般用这样的目录结构TUM-VI/ dataset-room1_512_16/ mav0/ cam0/ data/ # 左目图像 data.csv # 左目时间戳 cam1/ data/ # 右目图像 data.csv # 右目时间戳 imu0/ data.csv # IMU 数据 state_groundtruth_estimate0/ data.csv # 真值轨迹时间戳文件格式是每行timestamp filename单位是纳秒。ORB-SLAM3 读的时候会自己转成秒。这里要注意TUM-VI 的时间戳是纳秒EuRoC 也是纳秒但有些自己转的数据可能是微秒单位错了会导致时间戳差三个数量级系统直接不工作。4.2 yaml 文件完整配置把前面几节的参数拼起来一份完整的 TUM-VI 配置大概长这样%YAML:1.0 File.version: 1.0 Camera.type: KannalaBrandt8 Camera1.fx: 190.97847715128717 Camera1.fy: 190.9733070521226 Camera1.cx: 254.93170605935475 Camera1.cy: 256.89644273127027 Camera1.k1: 0.0034823894022493434 Camera1.k2: 0.0007150348452162257 Camera1.k3: -0.0020532361418706202 Camera1.k4: 0.00020293673591811182 Camera2.fx: 190.44242984775784 Camera2.fy: 190.49632648991206 Camera2.cx: 254.91363884314636 Camera2.cy: 256.8976925611172 Camera2.k1: 0.0034003170790442797 Camera2.k2: 0.0007714280184914778 Camera2.k3: -0.002090218951485348 Camera2.k4: 0.0002019173109076364 Camera.width: 512 Camera.height: 512 Camera.newWidth: 512 Camera.newHeight: 512 Camera.fps: 20 Camera.RGB: 1 Stereo.ThDepth: 40.0 Stereo.b: 0.1000 IMU.InsertKFsWhenLost: false IMU.NoiseGyro: 1.5e-3 IMU.NoiseAcc: 2.0e-2 IMU.GyroWalk: 1.0e-5 IMU.AccWalk: 3.0e-4 IMU.Frequency: 200.0 ORBextractor.nFeatures: 1500 ORBextractor.scaleFactor: 1.2 ORBextractor.nLevels: 8 ORBextractor.iniThFAST: 20 ORBextractor.minThFAST: 7 Viewer.KeyFrameSize: 0.05 Viewer.KeyFrameLineWidth: 1.0 Viewer.GraphLineWidth: 0.9 Viewer.PointSize: 2.0 Viewer.CameraSize: 0.08 Viewer.CameraLineWidth: 3.0 Viewer.ViewpointX: 0.0 Viewer.ViewpointY: -0.7 Viewer.ViewpointZ: -1.8 Viewer.ViewpointF: 500.0Stereo.b 是双目基线TUM-VI 大约是 0.1 米。ThDepth 是深度阈值设 40 是因为鱼眼相机在远距离的深度估计不可靠超过 40 倍基线的点就当作无穷远点处理。4.3 运行与验证配置写好后用 ORB-SLAM3 的双目惯性模式跑./Examples/Stereo-Inertial/stereo_inertial_tum_vi \ Vocabulary/ORBvoc.txt \ Examples/Stereo-Inertial/TUM-VI.yaml \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam0/data \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam1/data \ /path/to/TUM-VI/dataset-room1_512_16/mav0/imu0/data.csv \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam0/data.csv \ /path/to/TUM-VI/dataset-room1_512_16/mav0/cam1/data.csv跑起来后先看初始化。TUM-VI 的初始化通常需要 2 到 3 秒如果超过 10 秒还没初始化成功大概率是 IMU 噪声参数或者时间戳有问题。初始化成功后观察轨迹和真值的对比。如果轨迹整体偏移但形状对是外参问题如果轨迹形状扭曲是内参或畸变问题如果轨迹在快速旋转时跳变是 IMU 噪声参数问题。4.4 参数微调的实际记录我拿 room1 序列做过一组对比实验。用经验参数跑ATE 大约是 0.15 米。把 NoiseGyro 从 1.5e-3 调到 1.0e-3ATE 变成 0.18 米轨迹在旋转时出现轻微滞后。调到 2.0e-3ATE 变成 0.16 米但轨迹开始有高频抖动。所以 1.5e-3 是一个比较平衡的值。AccWalk 的影响更明显。从 3.0e-4 调到 1.0e-4尺度估计会偏小轨迹整体缩水。调到 5.0e-4尺度估计偏大而且 Z 轴漂移明显。3.0e-4 是实测下来最稳的。5. 常见问题与排查技巧实录5.1 初始化一直失败这是最常见的问题。排查顺序是先看时间戳单位对不对再看 IMU 频率设的对不对最后看噪声参数是不是太离谱。一个快速验证方法是把 IMU 数据单独拿出来用 Python 算一下静止段的方差和 yaml 里的噪声参数对比。如果方差比参数大一个数量级说明参数偏小。5.2 轨迹尺度不对TUM-VI 是双目惯性尺度应该由双目基线和 IMU 共同约束。如果尺度明显偏大或偏小先检查 Stereo.b 是不是 0.1。然后检查 IMU 的 AccWalk这个参数直接影响尺度估计。还有一个容易忽略的点IMU 的加速度计单位。ORB-SLAM3 期望的是 m/s²如果数据是 g 为单位尺度会差 9.8 倍。5.3 快速旋转时跟踪丢失TUM-VI 有很多快速旋转片段这是它的特点。如果频繁丢失先把 ORBextractor.nFeatures 加到 2000再把 iniThFAST 降到 15。如果还不行检查 IMU.InsertKFsWhenLost 是不是 false。另外鱼眼图像的边缘区域在快速旋转时会有运动模糊可以考虑在预处理时做一点去模糊但 ORB-SLAM3 本身没有这个功能需要自己加。5.4 问题速查表现象可能原因排查方法初始化失败时间戳单位错检查 csv 时间戳数量级轨迹整体偏移Tbc 方向反了对比 Tbc 和 Tcb轨迹形状扭曲畸变模型错确认用 KannalaBrandt8快速旋转跳变IMU 噪声偏小增大 NoiseGyro尺度偏大AccWalk 偏大减小 AccWalk尺度偏小加速度单位错确认是 m/s²5.5 几个踩过的坑第一个坑是 yaml 里的%YAML:1.0头。ORB-SLAM3 用的是 OpenCV 的 FileStorage 读 yaml这个头必须要有而且必须是第一行。少了它读参数时会报错但错误信息很不直观。第二个坑是 Camera.RGB 参数。TUM-VI 的图像是灰度图但如果你用 OpenCV 读进来是三通道就要设成 1。设成 0 的话ORB 提取会出问题因为通道数对不上。第三个坑是 IMU 数据的顺序。TUM-VI 的 IMU csv 格式是timestamp, wx, wy, wz, ax, ay, az但有些转换工具会改成timestamp, ax, ay, az, wx, wy, wz。顺序错了系统会把加速度当角速度用初始化直接爆炸。这个坑我踩过两次每次都要花半小时才能发现。6. 参数调优的进阶思路6.1 用 Allan 方差自己标定噪声参数前面给的经验值适用于大多数情况但如果你想要更精确的结果可以自己跑 Allan 方差。TUM-VI 的 IMU 数据是公开的把静止段的数据拿出来用 Python 的allan_variance库算一下就能得到噪声密度和随机游走。这个过程大概需要一小时的静止数据TUM-VI 的每个序列开头都有几秒静止拼起来够用。6.2 在线估计 IMU 噪声ORB-SLAM3 本身不支持在线估计 IMU 噪声但你可以改代码在初始化阶段用视觉观测反推 IMU 噪声。思路是初始化时先用视觉估计位姿然后算 IMU 预积分和视觉位姿的残差用残差的协方差来更新噪声参数。这个改动比较大适合对系统很熟的人做。6.3 针对不同序列的微调TUM-VI 有 room1 到 room6 多个序列每个序列的运动模式不一样。room1 比较平缓用默认参数就行。room4 有很多快速旋转需要把 NoiseGyro 调大一点。room6 有上下楼梯AccWalk 要调小一点。如果你要跑所有序列可以准备多份 yaml或者写个脚本根据序列名自动改参数。6.4 和 VINS-Fusion 的对比VINS-Fusion 也支持 TUM-VI而且它的配置文件和 ORB-SLAM3 不通用。VINS-Fusion 用的是vins_config.yaml里面 IMU 参数的单位和 ORB-SLAM3 不一样。如果你两个系统都跑注意不要混用参数。VINS-Fusion 的 NoiseGyro 单位是 rad/s/√Hz和 ORB-SLAM3 一样但 AccWalk 的单位是 m/s²/√Hz比 ORB-SLAM3 少一个 s。这个差异很容易搞混。7. 我个人的配置习惯我一般会准备三份 yaml一份是保守配置NoiseGyro 用 2.0e-3适合快速旋转多的序列一份是激进配置NoiseGyro 用 1.0e-3适合平缓序列一份是默认配置就是前面给的 1.5e-3。跑新序列时先用默认配置看轨迹质量再决定换哪份。另外我习惯把 yaml 里的参数注释掉一部分只留当前序列需要的。ORB-SLAM3 读 yaml 时如果遇到不认识的参数会忽略但注释掉可以让自己看得更清楚。比如跑纯双目不用 IMU 时就把 IMU 那几行注释掉避免误读。最后分享一个小技巧如果你不确定某个参数该填多少可以先填一个极端值看系统怎么崩然后往反方向调。比如 NoiseGyro 填 1e-1系统会完全忽略 IMU轨迹变成纯视觉填 1e-6系统会完全信任 IMU轨迹变成纯 IMU 积分。知道两个极端的行为后中间值就好找了。
