ORB-SLAM3代码详解（一）----代码整体框架

ORB-SLAM3代码详解一----代码整体框架原理五花八门不如花点时间搞懂代码建议看完《视觉SLAM十四讲》再来看我的这个源码链接https://github.com/UZ-SLAMLab/ORB_SLAM3论文链接https://ieeexplore.ieee.org/stamp/stamp.jsp?tparnumber9440682首先介绍一下整体框架这是 ORB-SLAM3 系统的主要组件框架图。图中展示了 ORB-SLAM3 的各个关键模块及其交互关系。翻译中文解释ORB-SLAM3 包括以下几个主要模块Tracking跟踪从帧中提取ORB特征。IMU数据集成。通过从最后一帧、重定位或地图创建的初始位姿估计进行跟踪。跟踪局部地图。新关键帧决策。Atlas地图集包含“活动地图”和“非活动地图”。活动地图中有地图点MapPoints、关键帧KeyFrames、共视图Covisibility Graph和生成树Spanning Tree。非活动地图中也包含地图点、关键帧、共视图和生成树。DBoW2 KeyFrame DatabaseDBoW2关键帧数据库包含视觉词典Visual Vocabulary和识别数据库Recognition Database。Local Mapping局部建图关键帧插入。最近地图点裁剪。新地图点创建。局部BABundle Adjustment。IMU初始化。局部关键帧裁剪。IMU尺度细化。Loop Map Merging回环与地图合并回环检测、图优化、回环融合、地图合并。计算Sim3/SE3。数据库查询。Full BA全局BA地图更新。完整的Bundle Adjustment。焊接BA。这张图展示了ORB-SLAM3系统如何通过这些模块实现SLAM功能包括跟踪、局部建图、回环检测与地图合并以及全局优化。一、结构下面是使用Ubuntu18.04终端命令tree -L 2 调出的文件两层树结构更加详细的结构可以通过命令tree 查看注意调用命令时候应该在所查看文件路径下打开终端book100ask:~/ORB_SLAM3-master$ tree -L 2(src包含了核心算法特征提取、相机跟踪、地图构建、图优化、回环检测Examples中是使用实例单目、双目、单目IMU、双目IMU、RGB-D、RGB-DIMU)├── build_ros.sh├── build.sh├── Calibration_Tutorial.pdf├── Changelog.md├── CMakeLists.txt├── Dependencies.md├── evaluation│ ├── associate.py│ ├── evaluate_ate_scale.py│ └── Ground_truth├── Examples│ ├── Calibration│ ├── Monocular│ ├── Monocular-Inertial│ ├── REAMDME.md│ ├── RGB-D│ ├── RGB-D-Inertial│ ├── Stereo│ └── Stereo-Inertial├── Examples_old│ ├── Monocular│ ├── Monocular-Inertial│ ├── REAMDME.md│ ├── RGB-D│ ├── RGB-D-Inertial│ ├── ROS│ ├── Stereo│ └── Stereo-Inertial├── include│ ├── Atlas.h│ ├── CameraModels│ ├── Config.h│ ├── Converter.h│ ├── FrameDrawer.h│ ├── Frame.h│ ├── G2oTypes.h│ ├── GeometricTools.h│ ├── ImuTypes.h│ ├── KeyFrameDatabase.h│ ├── KeyFrame.h│ ├── LocalMapping.h│ ├── LoopClosing.h│ ├── MapDrawer.h│ ├── Map.h│ ├── MapPoint.h│ ├── MLPnPsolver.h│ ├── OptimizableTypes.h│ ├── Optimizer.h│ ├── ORBextractor.h│ ├── ORBmatcher.h│ ├── ORBVocabulary.h│ ├── SerializationUtils.h│ ├── Settings.h│ ├── Sim3Solver.h│ ├── System.h│ ├── Tracking.h│ ├── TwoViewReconstruction.h│ └── Viewer.h├── LICENSE├── README.md├── src│ ├── Atlas.cc│ ├── CameraModels│ ├── Config.cc│ ├── Converter.cc│ ├── Frame.cc│ ├── FrameDrawer.cc│ ├── G2oTypes.cc│ ├── GeometricTools.cc│ ├── ImuTypes.cc│ ├── KeyFrame.cc│ ├── KeyFrameDatabase.cc│ ├── LocalMapping.cc│ ├── LoopClosing.cc│ ├── Map.cc│ ├── MapDrawer.cc│ ├── MapPoint.cc│ ├── MLPnPsolver.cpp│ ├── OptimizableTypes.cpp│ ├── Optimizer.cc│ ├── ORBextractor.cc│ ├── ORBmatcher.cc│ ├── Settings.cc│ ├── Sim3Solver.cc│ ├── System.cc│ ├── Tracking.cc│ ├── TwoViewReconstruction.cc│ └── Viewer.cc├── Thirdparty│ ├── DBoW2│ ├── g2o│ └── Sophus└── Vocabulary└── ORBvoc.txt.tar.gz27 directories, 67 files二、功能下面我将详细介绍ORB_SLAM3项目结构中的各个文件夹和文件并解释它们的作用及相互之间的联系。根目录中的文件build_ros.sh:作用: 这个脚本用于在ROS环境中编译ORB-SLAM3。它通常包括一些用于设置环境变量、调用CMake配置、生成和安装可执行文件的命令。这个脚本专门针对ROS环境通过编译生成与ROS兼容的节点和库使ORB-SLAM3能够在ROS框架下运行。build.sh:作用: 这个脚本用于在标准C环境中编译ORB-SLAM3不依赖于ROS。它通过调用CMake和make来配置和编译项目生成适用于非ROS应用的可执行文件。Calibration_Tutorial.pdf:作用: 这个PDF文件提供了相机校准的教程指导用户如何使用工具如OpenCV来校准相机并生成所需的校准文件例如内参和畸变参数。这些参数对SLAM系统的精确性至关重要。Changelog.md:作用: 这个文件记录了ORB-SLAM3项目的更新日志列出了各个版本的改进、修复的bug、新增的功能等内容。CMakeLists.txt:作用: CMake的配置文件定义了项目的构建系统。它列出了源文件、头文件、依赖库、编译选项等信息并且指导CMake生成Makefile或其他构建系统的配置文件以便编译ORB-SLAM3。Dependencies.md:作用: 这个文件列出了ORB-SLAM3项目的依赖项及其安装方法包括第三方库如DBoW2、g2o、Sophus等帮助用户设置开发环境。evaluation文件夹作用: 这个文件夹包含用于评估ORB-SLAM3系统性能的工具和脚本。associate.py:作用: 将SLAM系统输出的轨迹文件与地面真实数据Ground Truth文件关联匹配时间戳并生成对应的轨迹点对便于后续的误差计算。evaluate_ate_scale.py:作用: 用于计算SLAM系统轨迹的绝对轨迹误差Absolute Trajectory Error, ATE这是衡量SLAM系统精度的重要指标。Ground_truth:作用: 存储地面真实数据用于与SLAM系统输出的轨迹进行对比和评估。这些数据可能是来自公开数据集的真值位姿。Examples文件夹作用: 这个文件夹包含了针对不同传感器配置的示例代码展示了如何在各种场景下使用ORB-SLAM3系统。Calibration:作用: 提供相机校准的示例帮助用户生成SLAM系统所需的内参和畸变参数文件。Monocular:作用: 展示了如何使用单目相机单个摄像头进行SLAM的示例代码包括初始化、特征提取与匹配、位姿估计以及地图构建。Monocular-Inertial:作用: 展示了如何结合单目相机和IMU传感器进行SLAM的示例代码。通过IMU数据的辅助系统可以在光照变化或运动模糊的情况下继续跟踪相机位姿。RGB-D:作用: 提供了使用RGB-D相机如Kinect、RealSense进行SLAM的示例代码利用深度信息来增强位姿估计的准确性。RGB-D-Inertial:作用: 展示了如何结合RGB-D相机和IMU传感器进行SLAM。该配置可以在复杂的环境中提供更为稳定的定位和建图能力。Stereo:作用: 展示了如何使用立体摄像头双目相机进行SLAM的示例代码通过双目视差来计算深度信息并利用这些信息构建地图。Stereo-Inertial:作用: 提供了结合立体摄像头和IMU传感器的SLAM示例代码通过视觉和惯性数据的结合提升系统的鲁棒性和精度。Examples_old文件夹作用: 这个文件夹包含旧版本的示例代码适用于ORB-SLAM3的早期版本或特定的硬件配置。这些示例可能已经过时但仍然可以作为参考资源。Monocular:作用: 早期版本的单目相机SLAM示例代码。Monocular-Inertial:作用: 早期版本的单目IMU传感器的SLAM示例代码。RGB-D:作用: 早期版本的RGB-D相机SLAM示例代码。RGB-D-Inertial:作用: 早期版本的RGB-DIMU传感器的SLAM示例代码。ROS:作用: 早期版本的用于ROS环境的SLAM示例代码。Stereo:作用: 早期版本的双目相机SLAM示例代码。Stereo-Inertial:作用: 早期版本的双目IMU传感器的SLAM示例代码。REAMDME.md:作用: 提供关于Examples_old目录中示例代码的说明文档。include文件夹作用: 该文件夹包含了ORB-SLAM3项目的头文件这些头文件定义了系统的核心数据结构、类和接口是src目录中源文件的声明部分使得不同模块之间能够相互调用并共享信息。Atlas.h:作用: 定义SLAM系统中地图的核心数据结构Atlas包括管理关键帧、地图点等信息。CameraModels:作用: 包含不同相机模型的头文件定义了不同相机的内参和畸变校正模型。Config.h:作用: 定义配置管理类负责加载和存储系统的配置参数。Converter.h:作用: 提供数据格式转换工具的头文件用于坐标系转换、矩阵与四元数转换等操作。FrameDrawer.h:作用: 定义帧绘制类负责可视化显示SLAM系统中每一帧的跟踪结果。Frame.h:作用: 定义帧的核心数据结构Frame包含图像、特征点等信息是SLAM系统的基本处理单元。G2oTypes.h:作用: 定义与g2o优化库相关的数据类型用于图优化任务。GeometricTools.h:作用: 提供几何计算工具的头文件包含一些辅助几何计算函数。ImuTypes.h:作用: 定义IMU数据类型和相关处理类的头文件。KeyFrameDatabase.h:作用: 定义关键帧数据库类管理系统中的所有关键帧及其索引。KeyFrame.h:作用: 定义关键帧的数据结构包含图像数据、位姿信息、地图点等。LocalMapping.h:作用: 定义局部地图构建类负责在SLAM系统中进行局部地图的扩展和优化。LoopClosing.h:作用: 定义闭环检测类负责检测系统是否回到已经经过的地方并修正位姿误差。MapDrawer.h:作用: 定义地图绘制类用于可视化显示SLAM系统构建的地图。Map.h:作用: 定义地图数据结构Map包含地图点、关键帧等全局地图信息。MapPoint.h:作用: 定义地图点的数据结构包含地图中三维点的信息。MLPnPsolver.h:作用: 定义多层感知机PnP求解器用于基于深度学习模型来求解位姿的类和函数。OptimizableTypes.h:作用: 定义可优化的类型用于图优化中表示待优化的变量和误差。Optimizer.h:作用: 定义优化器类Optimizer使用g2o库对SLAM系统中的位姿和地图点进行全局优化减少误差累积。ORBextractor.h:作用: 定义ORB特征提取器类包含提取ORB特征的核心算法。ORBmatcher.h:作用: 定义ORB特征匹配器类负责在不同帧之间进行ORB特征的匹配从而实现跟踪、建图和闭环检测。ORBVocabulary.h:作用: 定义ORB词典类用于回环检测和场景识别的词袋模型。SerializationUtils.h:作用: 提供序列化工具的头文件用于将SLAM系统的数据结构序列化为文件格式方便保存和加载。Settings.h:作用: 定义系统配置类用于读取和存储系统的配置参数。Sim3Solver.h:作用: 定义Sim3求解器类用于估计位姿之间的相似变换。System.h:作用: 定义SLAM系统的核心类包含了系统的主要功能如初始化、跟踪、建图、回环检测等。Tracking.h:作用: 定义跟踪模块类负责在每一帧中跟踪相机的位姿。TwoViewReconstruction.h:作用: 定义双目重建类用于从两张视角不同的图像中重建三维场景。Viewer.h:作用: 定义可视化显示类用于实时显示SLAM系统的运行结果和地图。src文件夹作用: 该文件夹包含了ORB-SLAM3项目的源代码文件。这里的.cc和.cpp文件是实际的功能实现头文件中的声明在这里得到定义。各个源文件与include文件夹中的头文件一一对应如Atlas.cc与Atlas.h对应ORBextractor.cc与ORBextractor.h对应。通过这种方式ORB-SLAM3项目将声明与实现分离便于模块化开发和维护。在src文件夹中主要包含了ORB-SLAM3实现中各个核心模块的源代码。这些模块对应SLAM系统的不同功能包括特征提取、相机跟踪、地图构建、图优化、回环检测等。下面详细介绍src文件夹中一些关键文件和它们包含的核心算法***********************核心算法 **************************1.System.cc核心算法: ORB-SLAM3系统的入口和主要控制逻辑负责初始化系统、处理输入数据图像、IMU等、管理各个模块的交互。它协调跟踪、建图、回环检测模块构成SLAM系统的主流程。功能:初始化系统参数、加载词典、设置相机模型。调用跟踪模块处理每一帧数据。调用回环检测和全局优化模块。处理单目、双目、RGB-D和惯性传感器的SLAM。2.Tracking.cc核心算法: 相机的位姿跟踪算法。在每一帧中跟踪模块负责通过特征匹配或直接法估计相机的位姿。功能:ORB特征提取与匹配。通过位姿预测、运动模型或光流法进行粗略跟踪。基于PnP透视n点问题或优化方法精确估计相机位姿。处理不同类型的输入单目、双目、RGB-D、IMU。3.LocalMapping.cc核心算法: 局部地图更新与优化。该模块负责将新帧整合进地图并在局部范围内进行优化。功能:新关键帧的插入与地图点的添加。通过局部BABundle Adjustment优化关键帧和地图点。剔除冗余的关键帧和地图点保持地图的有效性。4.LoopClosing.cc核心算法: 回环检测与全局图优化。该模块检测相机是否回到之前经过的地方并通过全局优化来减少累积误差。功能:通过词袋模型检测可能的回环。基于Sim3相似性变换估计回环闭合时的位姿变换。进行全局优化例如使用g2o库进行全局BA校正地图中所有关键帧和地图点的位姿。5.Optimizer.cc核心算法: 图优化算法。ORB-SLAM3使用g2o库进行位姿和地图点的全局和局部优化。功能:局部BA对当前帧附近的关键帧和地图点进行优化。全局BA对整个地图进行优化通常在回环检测后触发。Pose Graph Optimization位姿图优化在回环检测后调整整个地图的位姿图。6.KeyFrame.cc核心算法: 关键帧管理与操作。关键帧是SLAM系统中保存的重要帧通常包含丰富的特征信息用于地图构建和优化。功能:保存图像特征、位姿、地图点等信息。维护关键帧之间的连接关系形成位姿图。7.MapPoint.cc核心算法: 地图点管理与操作。地图点是SLAM系统中表示三维场景点的基本元素。功能:保存地图点的三维坐标、可见性、与关键帧的关联关系等。进行地图点的添加、更新和剔除。8.ORBextractor.cc核心算法: ORB特征提取算法。ORBOriented FAST and Rotated BRIEF是一种高效的特征点检测和描述方法。功能:检测图像中的关键点使用FAST算法。计算关键点的方向和描述子使用BRIEF算法。9.ORBmatcher.cc核心算法: ORB特征匹配算法。负责在不同帧之间匹配ORB特征提供跟踪、建图和回环检测的基础。功能:使用Hamming距离在不同图像之间匹配ORB描述子。进行基础矩阵或单应矩阵的计算以剔除误匹配。10.Sim3Solver.cc核心算法: Sim3求解算法。用于估计两组点云之间的相似变换包括旋转、平移和缩放通常在回环检测时使用。功能:基于RANSAC估计Sim3变换。处理尺度变化的场景如单目SLAM中的回环检测。11.G2oTypes.cc核心算法: 定义与g2o优化库相关的数据类型和操作构建用于图优化的因子图。功能:定义优化变量如位姿、地图点。定义误差项和约束条件用于BA和位姿图优化。12.ImuTypes.cc核心算法: IMU数据处理与积分算法。在视觉惯性SLAM中IMU数据用于补充视觉信息提升系统的鲁棒性。功能:对IMU数据进行预积分处理提供高频率的位姿估计。结合IMU和视觉信息提升运动估计的精度。13.TwoViewReconstruction.cc核心算法: 双目视图重建算法。用于从两张不同视角的图像中重建三维场景点。功能:估计相机的基础矩阵或单应矩阵。通过三角测量重建三维点云。14.GeometricTools.cc核心算法: 提供几何计算工具。该文件包含一些常用的几何操作如三角测量、旋转矩阵与四元数的转换等。功能:基础几何计算辅助SLAM系统中的位置和姿态估计。这些源文件共同构成了ORB-SLAM3的核心算法实现了从特征提取、跟踪、建图、优化到回环检测的完整SLAM流程。每个模块都有明确的职责并通过数据结构和函数调用进行交互形成一个紧密集成的SLAM系统。Thirdparty文件夹作用: 这个文件夹包含了ORB-SLAM3项目依赖的第三方库。通常这些库不在系统默认路径中因而直接包含在项目中确保项目的可移植性。DBoW2:作用: 这是一个用于实现词袋模型Bag of Words数据结构的库ORB-SLAM3使用它来进行回环检测和场景识别。g2o:作用: 一个开源的图优化库ORB-SLAM3使用它来进行位姿和地图点的全局优化减少漂移和误差累积。Sophus:作用: 一个处理李代数和李群的库用于几何计算中的旋转和平移操作ORB-SLAM3使用它来处理位姿变换。Vocabulary文件夹作用: 这个文件夹包含了ORB-SLAM3使用的ORB特征词典用于词袋模型的回环检测和场景识别。ORBvoc.txt.tar.gz:作用: 这是经过训练的ORB词典文件压缩存储于此SLAM系统启动时会加载它来进行回环检测。综上所述ORB-SLAM3项目通过将不同功能模块的代码进行良好的分层和模块化设计使得各个模块之间能够协作并有效管理复杂的SLAM系统。通过这种设计用户能够根据需要扩展或修改特定模块的功能同时也可以更方便地理解和使用整个系统。上述内容仅供个人学习后期发现错误会进行更新如果有发现错误的老铁可以评论区留言非常感谢下一期分享核心代码阅读心得学习ORB-SLAM3源码的路线可以分为几个阶段从基础的系统框架到具体的算法实现。以下是详细的学习路线包括每个阶段的重点文件和建议的学习顺序*三、学习步骤从整体到局部: 先了解整个系统的结构和主要功能然后逐步深入到具体的算法实现。阅读注释和文档: 阅读代码中的注释和文档帮助理解复杂的算法和数据流。实验和调试: 在理解每个模块的功能后尝试运行示例代码并进行调试帮助加深对源码的理解。结合实际应用: 将所学知识应用到实际问题中测试和调整SLAM系统以增强对其工作原理的理解。1. 理解系统框架和整体结构System.cc:了解SLAM系统的初始化、数据处理流程、主要功能函数。学习如何启动和管理SLAM系统。Config.cc:理解如何读取和解析配置文件了解系统的参数设置。Converter.cc:了解数据类型的转换工具如何将数据从一种格式转换为另一种格式。2. 掌握前端处理Tracking.cc:理解特征提取、匹配、位姿估计、帧处理等前端工作。学习如何处理图像数据、提取关键点、进行帧间匹配等。ORBextractor.cc:深入了解ORB特征的提取算法。理解如何从图像中提取ORB特征点和描述子。ORBmatcher.cc:了解ORB特征点的匹配过程。学习如何通过特征描述子进行点匹配和帧间关联。3. 理解地图构建与维护LocalMapping.cc:了解如何在局部区域构建和优化地图。学习关键帧的插入、地图点的更新等。Map.cc和MapPoint.cc:理解如何表示和管理地图和地图点。学习地图点的创建、更新、删除等操作。KeyFrame.cc和KeyFrameDatabase.cc:了解关键帧的管理和数据库操作。学习如何存储、检索和匹配关键帧。4. 探索回环检测和全局优化LoopClosing.cc:理解回环检测的算法。学习如何检测和处理回环以优化全局地图。Optimizer.cc和G2oTypes.cc:了解位姿图优化算法和相关数据结构。学习如何使用g2o库进行图优化。Sim3Solver.cc:理解尺度不变相似变换Sim3的求解方法。学习如何通过Sim3优化位姿估计。5. 学习可视化和辅助功能Viewer.cc和FrameDrawer.cc:了解如何将SLAM结果进行可视化。学习如何展示地图、关键帧和轨迹。GeometricTools.cc:掌握一些几何工具函数的实现。学习如何进行几何计算和变换。MLPnPsolver.cpp:了解多点拟合算法如PnP在SLAM中的应用。学习如何求解相机位姿。6. 辅助学习和工具CameraModels/:理解不同相机模型的实现。学习如何处理相机的内参和外参。SerializationUtils.h:了解数据序列化和反序列化的实现。学习如何存储和读取SLAM数据。Settings.h:理解系统设置和参数管理。学习如何配置系统参数。通过上述路线你可以系统地掌握ORB-SLAM3的源码理解其工作原理并能够根据需要进行修改和扩展。