PoseNet复现记录以及思考（PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization）

此工作为基于深度学习的端到端位姿回归勿与同名工作弄混。PoseNet作为早期经典的端到端位姿回归工作有很大的研究意义但是作者提供的代码时间久远迁移困难且博主发现基于pytorch框架实现的记录较少于是记录一下博主用自己的数据集在ResNet预训练模型下微调参考younggunchoInha University的代码复现的过程。注博主没有考虑sfm自动生成标签数据部分而是用自己的已知数据集。参考内容alexgkendall/caffe-posenet: Implementation of PoseNethttps://github.com/alexgkendall/caffe-posenetPoseNet深度网络进行6D位姿估计的训练python3实现-CSDN博客https://blog.csdn.net/weixin_53610475/article/details/131068797?ops_request_misc%257B%2522request%255Fid%2522%253A%2522538207586a01fc04577510571fbf0ff2%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257Drequest_id538207586a01fc04577510571fbf0ff2biz_id0utm_mediumdistribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-131068797-null-null.142^v102^pc_search_result_base5utm_termposenetspm1018.2226.3001.4187youngguncho/PoseNet-Pytorch: Implementation of PoseNet using pytorchhttps://github.com/youngguncho/PoseNet-PytorchPoseNet: 实时6-DOF相机重定位-CSDN博客https://blog.csdn.net/weixin_44682965/article/details/108065132数据处理与加载数据来源图像存放在指定目录例如 ..\images对应的位姿标注存放在文本文件例如train.txt中每行记录图片文件名及其对应的位姿3 个位置和 4 个旋转数值。自定义数据集实现了一个CustomDataset类用于读取标注文件、拼接图像路径并通过数据增强如 resize、crop、ColorJitter、归一化等预处理图像。数据加载器通过get_loader函数根据模型类型和运行模式训练、验证或测试构造 PyTorch DataLoader实现批量数据读取和多线程加载。模型结构网络选择模型支持三种架构ResNet基于预训练的 ResNet-34通过去除原有全连接层并添加自定义全连接层实现位置和旋转预测。ResNetSimple基于 ResNet-34 的简化版本仅包含基本的预测层GoogleNet基于预训练的 Inception V3 模型构建适用于不同输入尺寸要求的场景。输出所有模型最终输出 7 维向量其中前 3 个数表示位置后 4 个数表示旋转四元数形式。损失函数设计PoseLoss自定义的损失函数采用 L1 损失计算位置和旋转误差。动态权重引入了两个可选的可学习参数sx 和 sq利用公式as below实现了对位置与旋转误差的动态平衡同时引入正则项帮助模型在训练过程中自动调整两部分损失的权重。训练流程训练脚本在main.py中通过 argparse 获取各项超参数和数据路径设置调用get_loader加载数据后实例化Solver类封装模型、损失函数和优化器。GPU 加速代码自动检测 GPU 可用性并将模型和数据移动到 GPU 上进行加速。训练细节训练过程中会输出每个 batch 的总 loss、位置 loss 和旋转 loss并使用 TensorBoard 记录训练动态。同时模型会按照设定的步长定期保存权重。模型推理模型加载训练完成后通过加载保存的模型权重进行推理。数据预处理一致性推理阶段使用与训练时相同的图像预处理流程。输出处理模型输出的旋转部分经过归一化后可以通过自定义函数例如quat_to_euler转换为欧拉角方便理解旋转角度。博主用1672张带位姿标签的图片作为数据集进行训练到104轮时结果如图实际上100轮之前已经能达到约为20的loss实际效果待训练结束进行推理验证。在model.py中存在参数learn_beta当learn_beta设置为False时代码中会以requires_gradFalse的方式创建 sx 和 sq这意味着这两个参数在反向传播时不会被更新而是保持固定分别为 0 和 -6.25。当learn_beta设置为True时sx 和 sq 被定义为可学习参数requires_gradTrue因此在训练过程中会通过反向传播进行更新。这里补充一些关于CNN的知识以提取特征图为背景关于微调时是否更新了预训练部分的参数冻结预训练层fixed_weightTrue如果你在微调时冻结了 ResNet34 的特征提取部分那么它的权重不会更新。因此无论是在预训练模型还是微调后的模型中提取的特征图基本上都会保持一致。更新预训练层fixed_weightFalse如果允许预训练层也参与训练那么模型会根据你自己数据集的分布进行调整。这可能会导致提取的特征图与原始预训练模型有所不同因为网络在细节上会调整以适应新的任务。总结来说如果冻结了特征提取部分提取的特征图会跟预训练模型提取的几乎一样如果解冻并进行全网络微调提取到的特征图就可能反映出针对新任务做出的优化和变化。同样在model.py中code as below 决定是否冻结预训练层。if fixed_weight: for param in self.base_model.parameters(): param.requires_grad False经过全网络微调后模型会在保留预训练时学到的通用视觉特征如边缘、纹理、基本形状等的基础上逐渐学习到对具体任务更有用的特征。以我的任务为例基于 PoseLoss 的位姿回归模型会更倾向于提取以下几类特征空间几何结构关注物体或场景中的几何形状和布局这有助于判断位置和方向。局部细节与边缘信息微调过程中模型会强化那些能够帮助区分不同位姿的细微纹理或边缘特征。全局上下文信息在回归位置信息时全局特征如整个场景的分布和结构也变得更加重要。经过微调后的网络其特征图会更偏向于那些能直接提升位姿估计性能的特征而不仅仅是 ImageNet 分类任务中的通用特征。这里博主利用通用视觉特征图可视化生成特征图如下之后博主将会验证用自己的数据集微调后的模型提取的特征图与通用特征图的差异是否效果会更鲁棒。还会对比从卷积层也开始从头以自己的数据集训练相较于以上的微调方法。2025/3/21