这次计划做成一个AR Sensor Fusion 系列从底层传感器一直写到空间计算。这样每篇都有实验、有代码、有图阅读量也更高。这次的内容主要是IMU为什么需要融合。标题《AR眼镜中的第一块基石为什么单个传感器不可靠》1 传感器基本介绍这次主要看三个传感器AccelGyroMag。下面是MPU9250的datasheet。1.1 AccelAccel → 重力方向这个主要是测量加速度比较特别的是它还会测试到重力也就是G。下面就是我几乎尽量放平可以看到XY都是趋向0Z差不多是0.87g也就是重力加速度。这个主要作用第一是求Pitch也就是前后倾角。第二是求Roll也就是左右倾角。总的来说主要是用来判断方向。缺点是动态的时候误差巨大。1.2 GyroGyro → 旋转运动。Gyroscope陀螺仪这个主要是测量角速度单位是°/s或者rad/s可以用来得到速度也可以得到方向。优点是响应快但是会累计误差产生漂移。1.3 MagMag → 地球磁场方向这里的设备是Magnetometer磁力计。它主要是测量地球磁场单位是μTMicroTesla。这个主要是输出Mx My Mz也就是地球磁场的向量。这个也可以用来取得朝向好像是有绝对参考北极。缺点是很容易被干扰。传感器测量对象优点缺点Accel重力加速度长期稳定运动时噪声大Gyro角速度响应快漂移Mag地磁场有绝对方向易受干扰介绍Accel Gyro Mag各自的问题传感器优点缺点Acc不漂移震动大Gyro响应快会漂Mag绝对方向易受干扰对于AR来说Accel头有没有低下Gyro头正在怎么转Mag头最终朝向哪里。总的来说Accel、Gyro、Mag 解决的是“姿态Orientation”问题。实验1加速度计静态Pitch Roll很稳定。然后摇晃眼镜Pitch Roll疯狂跳。实验2陀螺仪漂移放桌上Yaw记录30分钟。画图0° 1° 3° 5° ...这是非常震撼的实验。实验3磁力计干扰磁铁靠近Yaw瞬间偏转。收获得出结论没有任何单个传感器可信第二篇从9轴融合到电子罗盘标题《实现第一个AR姿态系统MPU9250九轴融合》内容介绍Pitch Roll Yaw实验1画Mx My散点图旋转一圈。实验2磁力计校准校准前椭圆校准后圆效果特别明显。实验3互补滤波同时显示Accel Gyro Fusion三条曲线。实验43D立方体姿态显示Pico输出QuaternionPC显示3D Cube第三篇AR眼镜为什么不能只靠IMU标题《Yaw漂移AR眼镜虚拟画面飘走的根源》这是AR和无人机的分水岭。实验头部运动左转90° 右转90°持续10分钟。记录真实位置 计算位置误差。展示虚拟箭头逐渐偏离。收获引出VIO第四篇Camera IMU VIO标题《AR定位核心Visual-Inertial Odometry》内容介绍Camera IMU融合。实验1仅IMU轨迹漂移实验2CameraIMU轨迹闭环推荐OpenVINSVINS-Fusion实验3手机录制视频提取ORB特征点。显示Feature Tracking第五篇AR里的时间同步标题《Sensor Fusion最大的坑时间戳》很多新人完全没意识到。实验1Camera30fpsIMU1000Hz故意制造10ms延迟。观察姿态抖动实验250ms观察AR漂移这是高通平台非常实际的问题。第六篇AR眼镜里的其它传感器标题《除了IMUAR眼镜还有哪些传感器》内容ALS环境光实验手电照射自动调亮度。Proximity佩戴检测实验摘下眼镜自动灭屏。Hall实验折叠镜腿进入待机。ToF实验手势距离测量。第七篇功耗与Always-On Sensor标题《AR眼镜一天续航的秘密》内容IMU Always On Camera On Demand实验1测电流模式电流SleepxxIMUxxCameraxx实验2Motion Trigger静止Camera关闭运动Camera启动第八篇从Sensor Fusion到Spatial AI标题《未来AR从传感器融合到空间智能》介绍IMU Camera Mic ToF GPS统一融合。实验例如头部方向IMU注视方向Eye Tracking空间位置VIO语音Mic融合成用户意图整个系列最吸引人的实验我认为阅读量最高的不是滤波公式而是下面几个TOP1陀螺仪漂移TOP2磁力计校准前后散点图TOP33D立方体姿态显示TOP4CameraIMU轨迹对比TOP5时间同步误差实验尤其是第五篇《时间戳为什么比滤波器更重要》这类内容网上非常少但在 Qualcomm、AR、Camera 实际项目里价值极高很容易形成你的个人特色而不是又一篇 MPU9250 入门教程。
这次计划做成一个AR Sensor Fusion 系列从底层传感器一直写到空间计算。这样每篇都有实验、有代码、有图阅读量也更高。这次的内容主要是IMU为什么需要融合。标题《AR眼镜中的第一块基石为什么单个传感器不可靠》1 传感器基本介绍这次主要看三个传感器AccelGyroMag。下面是MPU9250的datasheet。1.1 AccelAccel → 重力方向这个主要是测量加速度比较特别的是它还会测试到重力也就是G。下面就是我几乎尽量放平可以看到XY都是趋向0Z差不多是0.87g也就是重力加速度。这个主要作用第一是求Pitch也就是前后倾角。第二是求Roll也就是左右倾角。总的来说主要是用来判断方向。缺点是动态的时候误差巨大。1.2 GyroGyro → 旋转运动。Gyroscope陀螺仪这个主要是测量角速度单位是°/s或者rad/s可以用来得到速度也可以得到方向。优点是响应快但是会累计误差产生漂移。1.3 MagMag → 地球磁场方向这里的设备是Magnetometer磁力计。它主要是测量地球磁场单位是μTMicroTesla。这个主要是输出Mx My Mz也就是地球磁场的向量。这个也可以用来取得朝向好像是有绝对参考北极。缺点是很容易被干扰。传感器测量对象优点缺点Accel重力加速度长期稳定运动时噪声大Gyro角速度响应快漂移Mag地磁场有绝对方向易受干扰介绍Accel Gyro Mag各自的问题传感器优点缺点Acc不漂移震动大Gyro响应快会漂Mag绝对方向易受干扰对于AR来说Accel头有没有低下Gyro头正在怎么转Mag头最终朝向哪里。总的来说Accel、Gyro、Mag 解决的是“姿态Orientation”问题。实验1加速度计静态Pitch Roll很稳定。然后摇晃眼镜Pitch Roll疯狂跳。实验2陀螺仪漂移放桌上Yaw记录30分钟。画图0° 1° 3° 5° ...这是非常震撼的实验。实验3磁力计干扰磁铁靠近Yaw瞬间偏转。收获得出结论没有任何单个传感器可信第二篇从9轴融合到电子罗盘标题《实现第一个AR姿态系统MPU9250九轴融合》内容介绍Pitch Roll Yaw实验1画Mx My散点图旋转一圈。实验2磁力计校准校准前椭圆校准后圆效果特别明显。实验3互补滤波同时显示Accel Gyro Fusion三条曲线。实验43D立方体姿态显示Pico输出QuaternionPC显示3D Cube第三篇AR眼镜为什么不能只靠IMU标题《Yaw漂移AR眼镜虚拟画面飘走的根源》这是AR和无人机的分水岭。实验头部运动左转90° 右转90°持续10分钟。记录真实位置 计算位置误差。展示虚拟箭头逐渐偏离。收获引出VIO第四篇Camera IMU VIO标题《AR定位核心Visual-Inertial Odometry》内容介绍Camera IMU融合。实验1仅IMU轨迹漂移实验2CameraIMU轨迹闭环推荐OpenVINSVINS-Fusion实验3手机录制视频提取ORB特征点。显示Feature Tracking第五篇AR里的时间同步标题《Sensor Fusion最大的坑时间戳》很多新人完全没意识到。实验1Camera30fpsIMU1000Hz故意制造10ms延迟。观察姿态抖动实验250ms观察AR漂移这是高通平台非常实际的问题。第六篇AR眼镜里的其它传感器标题《除了IMUAR眼镜还有哪些传感器》内容ALS环境光实验手电照射自动调亮度。Proximity佩戴检测实验摘下眼镜自动灭屏。Hall实验折叠镜腿进入待机。ToF实验手势距离测量。第七篇功耗与Always-On Sensor标题《AR眼镜一天续航的秘密》内容IMU Always On Camera On Demand实验1测电流模式电流SleepxxIMUxxCameraxx实验2Motion Trigger静止Camera关闭运动Camera启动第八篇从Sensor Fusion到Spatial AI标题《未来AR从传感器融合到空间智能》介绍IMU Camera Mic ToF GPS统一融合。实验例如头部方向IMU注视方向Eye Tracking空间位置VIO语音Mic融合成用户意图整个系列最吸引人的实验我认为阅读量最高的不是滤波公式而是下面几个TOP1陀螺仪漂移TOP2磁力计校准前后散点图TOP33D立方体姿态显示TOP4CameraIMU轨迹对比TOP5时间同步误差实验尤其是第五篇《时间戳为什么比滤波器更重要》这类内容网上非常少但在 Qualcomm、AR、Camera 实际项目里价值极高很容易形成你的个人特色而不是又一篇 MPU9250 入门教程。
