VisionProTeleop 相机标定完全指南内参外参标定的数学原理与实操步骤【免费下载链接】VisionProTeleopVisionOS App Python Library to stream hand tracking data from Vision Pro, video/audio stream to Vision Pro.项目地址: https://gitcode.com/gh_mirrors/vi/VisionProTeleopVisionProTeleop 相机标定是让 Vision Pro 手部追踪数据与外部 RGB 相机画面精确对齐的关键一步。作为一套开源的 VisionOS App Python 库VisionProTeleop 支持把 Vision Pro 的手部追踪数据、视频与音频流实时发送到 PC而标定质量直接决定了遥操作中头显里的虚拟手与真实相机里的机械臂/机器人能否完美重合。这篇相机标定完全指南将从数学原理讲到实操步骤带你一次性搞定内参标定与外参标定新手也能照着做完。为什么遥操作前必须先做相机标定在 VisionProTeleop 的典型场景里你用 Vision Pro 观察桌面上的机器人同时 PC 端相机也在拍摄同一个场景。此时存在两个观察者一个是 Vision Pro 的 ARKit 空间以头部为原点一个是外部相机的像素坐标系。要让机器人画面里的位置和你的手势精确对应就必须知道两个坐标系之间的换算关系这正是相机标定的任务。如果不标定最常见的后果是你的手指在虚拟空间里已经捏住了目标但真实相机画面里机器人的夹爪却偏了一大截。标定分两个层面内参标定解决相机自己怎么成像的问题焦距、光心、畸变。外参标定解决相机相对头部/世界坐标系在哪、朝哪的问题旋转 平移。VisionProTeleop 在 Python 端scripts/ 与 avp_stream/ 目录和 VisionOS 端Tracking Streamer/ 目录分别实现了两套标定流程均围绕内参、验证、外参三个阶段展开。内参标定的数学原理针孔模型与畸变相机内参矩阵fx、fy、cx、cy 是什么内参标定基于经典的针孔相机模型。三维空间中的点 P(X, Y, Z) 经过相机光心投影到成像平面其数学关系写成矩阵形式就是[ u ] [ fx 0 cx ] [ X ] [ v ] [ 0 fy cy ] * [ Y ] / Z [ 1 ] [ 0 0 1 ] [ Z ]其中 fx、fy 是归一化焦距单位是像素cx、cy 是光心主点在图像上的坐标。这五个数组成的 3×3 矩阵就是相机内参矩阵。畸变系数k1、k2、p1、p2、k3真实镜头不是完美针孔主要有两类畸变径向畸变桶形/枕形由镜片曲率导致用 k1、k2、k3 描述。切向畸变由镜片与传感器不平行导致用 p1、p2 描述。标定算法需要同时估计内参矩阵和畸变系数VisionProTeleop 的 scripts/calibrate_intrinsics.py 正是基于 OpenCV 的calibrateCamera/calibrateCameraCharuco实现并在窗口实时显示 fx、fy、cx、cy 与 k1~p2 的数值。重投影误差标定质量的唯一硬指标每次标定都会得到一个重投影误差Reprojection Error把检测到的棋盘格/ChArUco 角点用求出的内外参重新投影回图像平面计算与原始像素坐标的平均偏差单位像素。经验阈值如下重投影误差评级建议 0.5 px 优秀可以直接使用0.5 ~ 1.0 px 良好建议再多采几组样本1.0 ~ 2.0 px 可用检查标定板是否平整、光照是否均匀 2.0 px 较差重新采集删除离群样本VisionProTeleop 的标定脚本内置了离群样本剔除逻辑计算每帧的误差分布剔除均值 2 倍标准差之外的坏样本后重新标定这也是它标定结果稳定的原因之一。外参标定的数学原理从 ARKit 到相机的空间对齐三个坐标系与三条观测链外参标定要解决的是头部坐标系Head与相机坐标系Camera之间的变换 T_head^camera。VisionProTeleop 的外参采样见 Tracking Streamer/ExtrinsicCalibrationManager.swift同时记录三组数据headPoseInWorldARKit 给出的头部在世界坐标系中的位姿markerPoseInWorldARKit 通过 ImageAnchor 检测到的标定板ArUco在世界坐标系中的位姿markerPoseInCameraOpenCV 通过solvePnP检测到的同一标定板在相机坐标系中的位姿。AX XB手眼标定的核心方程因为同一个标定板同时被 ARKit 和相机观测到可以构造出著名的AX XB 手眼标定方程A 头部到标定板的变换由 headPoseInWorld 与 markerPoseInWorld 推导B 相机到标定板的变换由 markerPoseInCamera 得到X 我们要求的头部到相机的变换 T_head^camera。只要采集多个不同姿态下的样本即可用最小二乘/李群优化求解 X。这就是为什么外参标定要求你在标定板前缓慢移动头部——样本的姿态差异越大方程约束越强求解越准。采样策略3 个标记 × 30 个样本VisionProTeleop 的网页标定端avp_stream/calibration_server.py规定依次对准 ID 为 0、2、3 的三个 ArUco 标记每个标记自动采集30 个样本且相邻样本要求头部位移至少 2cm、间隔 0.3 秒以上以保证样本多样性。整个过程通过 gRPC 把进度实时回传给 Vision Pro 端显示你只需要按提示缓慢移动头部即可。内参标定实操步骤从打印标定板到导出 JSON第一步生成并打印标定板VisionProTeleop 提供两种标定板方案ChArUco 板推荐7×5 格子、方格 30mm、标记 23mm鲁棒性好、部分遮挡也能检测棋盘格需要整块可见适合 iPhone 屏幕显示模式6×12 格子、10mm。生成标定板的命令在 scripts/generate_calibration_boards.py 与 avp_stream/prepare_calibration.py打印时务必用 A4 纸 100% 缩放、关闭适应页面、贴在平整硬纸板上。尺寸误差会直接转化为标定误差。第二步运行内参标定脚本python scripts/calibrate_intrinsics.py --camera 0 --type charuco --rows 7 --cols 5 --square 0.030 --marker 0.023参数含义--camera相机索引--type标定板类型--rows/--cols格子数--square方格边长米--marker标记边长米。如果是左右拼接的双目相机加上--stereo即可左右眼同时标定。标定窗口会实时显示已采集样本数建议 20 帧以上当前的 fx、fy、cx、cy 与畸变系数稳定性百分比Stability基于 fx 历史值的变异系数计算超过 90% 且样本 ≥ 20 时提示READY按q结束。结果会保存为 JSON内参矩阵、畸变系数、重投影误差、图像尺寸。第三步验证内参标定结果内参标定完成后建议用 scripts/verify_intrinsic_calibration.py 做一次独立验证打印一张已知间距的 ArUco 验证板让相机在多个距离拍摄比较测量距离与真实距离的偏差。这一步能暴露重投影误差很小但实际测量不准的隐患。外参标定实操步骤Vision Pro 与 PC 联调第一步启动双端服务PC 端启动网页标定服务python -m avp_stream.calibration_server浏览器打开http://localhost:5050依次经过打印标定板 → 选择相机Mono/Stereo→ 内参标定 → 内参验证Vision Pro 端打开Tracking Streamer应用进入标定向导Tracking Streamer/CameraCalibrationWizardView.swift在界面上输入 PC 的 IP 地址建立 gRPC 连接。第二步逐个对准三个 ArUco 标记网页端进入外参阶段后按屏幕提示依次把镜头对准 ID 0、2、3 的标记缓慢移动头部。每完成一个标记30 样本界面进度条前进一格Vision Pro 端也会同步显示当前标记编号与采集进度。整个过程约 2~3 分钟。第三步检查外参质量并导出标定完成后检查头部到相机的平移量是否符合物理直觉例如相机装在头显前下方则 tz 应为正值并查看重投影误差单位米越小越好。结果会同步到 Vision Pro 端保存也可在网页端下载 JSON。新手常见问题速查问题原因与解决办法标定板检测不到光照过强/过暗或打印对比度低避开反光拉大标定板与镜头的距离重投影误差始终 1px标定板不平整、手持晃动过大换硬纸板降低快门速度或提高帧率外参标定时 ARKit 识别不到标记标记过小或距离过远确认打印尺寸与实际参数一致如 100mm左右眼标定结果差异大双目基线/安装角度不对称左右眼分开重新标定必要时启用基线约束稳定性百分比上不去样本姿态太单一刻意加入俯仰、侧倾、远近多种角度标定完成后让数据真正用起来标定结果内参 JSON 外参 T_head^camera会被 VisionProTeleop 用于把 ARKit 手部追踪数据投影到相机画面、或把相机检测的物体位置映射回头显空间。你可以通过 examples/ 目录下的示例如 15_franka_visionpro_teleop.py快速验证整套流程配合 Tracking Streamer/CameraCalibrationManager.swift 了解标定结果在 App 内的加载方式。值得强调的是内参只需标定一次镜头固定后而外参每次重新安装相机或头显佩戴偏移后都应重新标定。建议把标定 JSON 归档保存方便复现实验。掌握这套 VisionProTeleop 相机标定方法后你的遥操作精度会有质的飞跃——从大概能对上变成精准贴合。快拿出标定板按照这篇指南动手试一试吧【免费下载链接】VisionProTeleopVisionOS App Python Library to stream hand tracking data from Vision Pro, video/audio stream to Vision Pro.项目地址: https://gitcode.com/gh_mirrors/vi/VisionProTeleop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
VisionProTeleop 相机标定完全指南内参外参标定的数学原理与实操步骤【免费下载链接】VisionProTeleopVisionOS App Python Library to stream hand tracking data from Vision Pro, video/audio stream to Vision Pro.项目地址: https://gitcode.com/gh_mirrors/vi/VisionProTeleopVisionProTeleop 相机标定是让 Vision Pro 手部追踪数据与外部 RGB 相机画面精确对齐的关键一步。作为一套开源的 VisionOS App Python 库VisionProTeleop 支持把 Vision Pro 的手部追踪数据、视频与音频流实时发送到 PC而标定质量直接决定了遥操作中头显里的虚拟手与真实相机里的机械臂/机器人能否完美重合。这篇相机标定完全指南将从数学原理讲到实操步骤带你一次性搞定内参标定与外参标定新手也能照着做完。为什么遥操作前必须先做相机标定在 VisionProTeleop 的典型场景里你用 Vision Pro 观察桌面上的机器人同时 PC 端相机也在拍摄同一个场景。此时存在两个观察者一个是 Vision Pro 的 ARKit 空间以头部为原点一个是外部相机的像素坐标系。要让机器人画面里的位置和你的手势精确对应就必须知道两个坐标系之间的换算关系这正是相机标定的任务。如果不标定最常见的后果是你的手指在虚拟空间里已经捏住了目标但真实相机画面里机器人的夹爪却偏了一大截。标定分两个层面内参标定解决相机自己怎么成像的问题焦距、光心、畸变。外参标定解决相机相对头部/世界坐标系在哪、朝哪的问题旋转 平移。VisionProTeleop 在 Python 端scripts/ 与 avp_stream/ 目录和 VisionOS 端Tracking Streamer/ 目录分别实现了两套标定流程均围绕内参、验证、外参三个阶段展开。内参标定的数学原理针孔模型与畸变相机内参矩阵fx、fy、cx、cy 是什么内参标定基于经典的针孔相机模型。三维空间中的点 P(X, Y, Z) 经过相机光心投影到成像平面其数学关系写成矩阵形式就是[ u ] [ fx 0 cx ] [ X ] [ v ] [ 0 fy cy ] * [ Y ] / Z [ 1 ] [ 0 0 1 ] [ Z ]其中 fx、fy 是归一化焦距单位是像素cx、cy 是光心主点在图像上的坐标。这五个数组成的 3×3 矩阵就是相机内参矩阵。畸变系数k1、k2、p1、p2、k3真实镜头不是完美针孔主要有两类畸变径向畸变桶形/枕形由镜片曲率导致用 k1、k2、k3 描述。切向畸变由镜片与传感器不平行导致用 p1、p2 描述。标定算法需要同时估计内参矩阵和畸变系数VisionProTeleop 的 scripts/calibrate_intrinsics.py 正是基于 OpenCV 的calibrateCamera/calibrateCameraCharuco实现并在窗口实时显示 fx、fy、cx、cy 与 k1~p2 的数值。重投影误差标定质量的唯一硬指标每次标定都会得到一个重投影误差Reprojection Error把检测到的棋盘格/ChArUco 角点用求出的内外参重新投影回图像平面计算与原始像素坐标的平均偏差单位像素。经验阈值如下重投影误差评级建议 0.5 px 优秀可以直接使用0.5 ~ 1.0 px 良好建议再多采几组样本1.0 ~ 2.0 px 可用检查标定板是否平整、光照是否均匀 2.0 px 较差重新采集删除离群样本VisionProTeleop 的标定脚本内置了离群样本剔除逻辑计算每帧的误差分布剔除均值 2 倍标准差之外的坏样本后重新标定这也是它标定结果稳定的原因之一。外参标定的数学原理从 ARKit 到相机的空间对齐三个坐标系与三条观测链外参标定要解决的是头部坐标系Head与相机坐标系Camera之间的变换 T_head^camera。VisionProTeleop 的外参采样见 Tracking Streamer/ExtrinsicCalibrationManager.swift同时记录三组数据headPoseInWorldARKit 给出的头部在世界坐标系中的位姿markerPoseInWorldARKit 通过 ImageAnchor 检测到的标定板ArUco在世界坐标系中的位姿markerPoseInCameraOpenCV 通过solvePnP检测到的同一标定板在相机坐标系中的位姿。AX XB手眼标定的核心方程因为同一个标定板同时被 ARKit 和相机观测到可以构造出著名的AX XB 手眼标定方程A 头部到标定板的变换由 headPoseInWorld 与 markerPoseInWorld 推导B 相机到标定板的变换由 markerPoseInCamera 得到X 我们要求的头部到相机的变换 T_head^camera。只要采集多个不同姿态下的样本即可用最小二乘/李群优化求解 X。这就是为什么外参标定要求你在标定板前缓慢移动头部——样本的姿态差异越大方程约束越强求解越准。采样策略3 个标记 × 30 个样本VisionProTeleop 的网页标定端avp_stream/calibration_server.py规定依次对准 ID 为 0、2、3 的三个 ArUco 标记每个标记自动采集30 个样本且相邻样本要求头部位移至少 2cm、间隔 0.3 秒以上以保证样本多样性。整个过程通过 gRPC 把进度实时回传给 Vision Pro 端显示你只需要按提示缓慢移动头部即可。内参标定实操步骤从打印标定板到导出 JSON第一步生成并打印标定板VisionProTeleop 提供两种标定板方案ChArUco 板推荐7×5 格子、方格 30mm、标记 23mm鲁棒性好、部分遮挡也能检测棋盘格需要整块可见适合 iPhone 屏幕显示模式6×12 格子、10mm。生成标定板的命令在 scripts/generate_calibration_boards.py 与 avp_stream/prepare_calibration.py打印时务必用 A4 纸 100% 缩放、关闭适应页面、贴在平整硬纸板上。尺寸误差会直接转化为标定误差。第二步运行内参标定脚本python scripts/calibrate_intrinsics.py --camera 0 --type charuco --rows 7 --cols 5 --square 0.030 --marker 0.023参数含义--camera相机索引--type标定板类型--rows/--cols格子数--square方格边长米--marker标记边长米。如果是左右拼接的双目相机加上--stereo即可左右眼同时标定。标定窗口会实时显示已采集样本数建议 20 帧以上当前的 fx、fy、cx、cy 与畸变系数稳定性百分比Stability基于 fx 历史值的变异系数计算超过 90% 且样本 ≥ 20 时提示READY按q结束。结果会保存为 JSON内参矩阵、畸变系数、重投影误差、图像尺寸。第三步验证内参标定结果内参标定完成后建议用 scripts/verify_intrinsic_calibration.py 做一次独立验证打印一张已知间距的 ArUco 验证板让相机在多个距离拍摄比较测量距离与真实距离的偏差。这一步能暴露重投影误差很小但实际测量不准的隐患。外参标定实操步骤Vision Pro 与 PC 联调第一步启动双端服务PC 端启动网页标定服务python -m avp_stream.calibration_server浏览器打开http://localhost:5050依次经过打印标定板 → 选择相机Mono/Stereo→ 内参标定 → 内参验证Vision Pro 端打开Tracking Streamer应用进入标定向导Tracking Streamer/CameraCalibrationWizardView.swift在界面上输入 PC 的 IP 地址建立 gRPC 连接。第二步逐个对准三个 ArUco 标记网页端进入外参阶段后按屏幕提示依次把镜头对准 ID 0、2、3 的标记缓慢移动头部。每完成一个标记30 样本界面进度条前进一格Vision Pro 端也会同步显示当前标记编号与采集进度。整个过程约 2~3 分钟。第三步检查外参质量并导出标定完成后检查头部到相机的平移量是否符合物理直觉例如相机装在头显前下方则 tz 应为正值并查看重投影误差单位米越小越好。结果会同步到 Vision Pro 端保存也可在网页端下载 JSON。新手常见问题速查问题原因与解决办法标定板检测不到光照过强/过暗或打印对比度低避开反光拉大标定板与镜头的距离重投影误差始终 1px标定板不平整、手持晃动过大换硬纸板降低快门速度或提高帧率外参标定时 ARKit 识别不到标记标记过小或距离过远确认打印尺寸与实际参数一致如 100mm左右眼标定结果差异大双目基线/安装角度不对称左右眼分开重新标定必要时启用基线约束稳定性百分比上不去样本姿态太单一刻意加入俯仰、侧倾、远近多种角度标定完成后让数据真正用起来标定结果内参 JSON 外参 T_head^camera会被 VisionProTeleop 用于把 ARKit 手部追踪数据投影到相机画面、或把相机检测的物体位置映射回头显空间。你可以通过 examples/ 目录下的示例如 15_franka_visionpro_teleop.py快速验证整套流程配合 Tracking Streamer/CameraCalibrationManager.swift 了解标定结果在 App 内的加载方式。值得强调的是内参只需标定一次镜头固定后而外参每次重新安装相机或头显佩戴偏移后都应重新标定。建议把标定 JSON 归档保存方便复现实验。掌握这套 VisionProTeleop 相机标定方法后你的遥操作精度会有质的飞跃——从大概能对上变成精准贴合。快拿出标定板按照这篇指南动手试一试吧【免费下载链接】VisionProTeleopVisionOS App Python Library to stream hand tracking data from Vision Pro, video/audio stream to Vision Pro.项目地址: https://gitcode.com/gh_mirrors/vi/VisionProTeleop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
