对应点齐了相机位姿还是不对用 Kornia 把 PnP 算对的最小路径【免费下载链接】kornia 空间人工智能的几何计算机视觉库项目地址: https://gitcode.com/kornia/kornia3D 重建对不上、相机放偏了——你有 2D-3D 对应差的是那把位姿。这篇文章给一条能跑通、能验证的 PnP 求解路径外加四个最容易翻车的点。Kornia 是 PyTorch 上的几何视觉库这里用它可微的相机模型和 PnP 求解器把从对应点推位姿这件事做扎实。先搞懂两件事针孔投影把 3D 压扁成 2D 的那一步。类比手机拍照时镜头把房间里的每一点按远近压到感光元件上近的大、远的小。压扁由两个参数控制焦距 f压多狠和主点 c画面中心偏哪。方向问题矩阵指向哪边。PnP 求出来的不是相机在哪而是世界点怎么进相机坐标——世界到相机的变换。方向拿反位姿一定反。记住这一句后文最后一个坑就是它。最小可跑流程四步内参、对应点、求解、验证。每步只留核心调用。把内参填进矩阵内参 K 是 3×3决定像素坐标和相机坐标怎么换算import torch # 800x600 画面主点放像素中心f 取图像长边量级 K torch.tensor([[600.0, 0.0, 399.5], [0.0, 600.0, 299.5], [0.0, 0.0, 1.0]], dtypetorch.float64).unsqueeze(0)unsqueeze加 batch 维不是装饰——库的接口全是批量的形状不对直接拒收。造出带 batch 维的 2D-3D 对应模拟先有真值、再被检测出带噪声的像素点这个真实过程world torch.tensor([[[0.0, 0.0, 2.0], [1.0, 0.0, 2.0], [0.0, 1.0, 2.0], [1.0, 1.0, 2.0], [0.5, 0.5, 3.0], [0.2, 0.8, 2.5], [0.0, 1.5, 2.2], [1.2, 0.3, 2.8]]], dtypetorch.float64) R_t torch.tensor([[[1, 0, 0, -0.3], [0, 1, 0, 0.1], [0, 0, 1, 1.2]]], dtypetorch.float64) pts_cam (R_t[..., :3, :3] world.transpose(1, 2) R_t[..., :3, 3:4]).transpose(1, 2) from kornia.geometry.camera import project_points # 2 像素噪声模拟真实检测水平 img project_points(pts_cam, K[0]) torch.randn(img_shape, dtypetorch.float64) * 2.0注意world的 8 个点故意不共面DLT 在点共面时会直接报错后面说为什么。让 DLT 把 [R|t] 交出来求解器入口kornia/geometry/calibration/pnp.pysolve_pnp_dltDLT 法 PnPfrom kornia.geometry.calibration import solve_pnp_dlt # 最少 6 点返回 (B,3,4) 的世界到相机矩阵 W2C solve_pnp_dlt(world, img, K)预期输出torch.Size([1, 3, 4])前 3 列是旋转第 4 列是平移。用重投影把答案验一遍别信解出来的数信重投影误差pts_cam2 (W2C[..., :3, :3] world.transpose(1, 2) W2C[..., :3, 3:4]).transpose(1, 2) reproj project_points(pts_cam2, K[0]) err (reproj - img).norm(dim-1).mean() print(f平均重投影误差: {err:.2f} px)噪声是 2px误差落在 1~2px 就是对的链路通。求解涉及的所有量长这样调参前先对表量本例取值说明点数 N8DLT 硬性要求 ≥6内参形状(1, 3, 3)4×4 会被拒dtypefloat64SVD 数值更稳svd_eps1e-4共面判定阈值默认值为什么这么算上面能跑通但你得知道它在干什么。DLT 把每对对应点写成两行线性方程12 个未知数一起列成一个大矩阵用 SVD 找最小奇异值方向拿到一个近似旋转平移的解。点数少时它不挑、不分支一次 SVD 出结果EPnP 那类 4 点最小解法要构造辅助四面体点少时更省点多时差距拉不开。求解内部还做了两件保命的事两路点各自中心化缩放防大数压小数QR 分解把旋转部分扭成正交。代价是——点共面时方程组秩亏SVD 最小奇异值贴零函数直接抛错。这些坑我替你踩了传了 4×4 内参形状报错。大概率你把PinholeCamera.camera_matrix整个塞进去了求解器只认 3×3。改K[:3, :3]切片再传。一跑就抛 singular value 的 AssertionError。3D 点共面或共线方程组解不唯一。改加点让深度散开——本例的world第 7、8 个点就是干这个用的。只凑出 5 个对应点。DLT 需要 ≥6少一个就报错。改补点或者换支持 4 点的最小解法。位姿方向是反的物体跑到相机后面。返回值是世界到相机拿它把相机摆到世界里自然反。改求相机到世界就取逆torch.linalg.inv(W2C)补成 4×4 后。再往远处看鲁棒化真实匹配有外点可结合kornia/geometry/ransac.pyRANSAC 估计框架做采样一致性筛选学习融合整条链路在 PyTorch 图里位姿可参与反向传播做端到端标定或位姿网络git clone https://gitcode.com/kornia/kornia想读源码从kornia/geometry/calibration/pnp.py开始294 行DLT 的每一步注释都在。【免费下载链接】kornia 空间人工智能的几何计算机视觉库项目地址: https://gitcode.com/kornia/kornia创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
对应点齐了相机位姿还是不对用 Kornia 把 PnP 算对的最小路径【免费下载链接】kornia 空间人工智能的几何计算机视觉库项目地址: https://gitcode.com/kornia/kornia3D 重建对不上、相机放偏了——你有 2D-3D 对应差的是那把位姿。这篇文章给一条能跑通、能验证的 PnP 求解路径外加四个最容易翻车的点。Kornia 是 PyTorch 上的几何视觉库这里用它可微的相机模型和 PnP 求解器把从对应点推位姿这件事做扎实。先搞懂两件事针孔投影把 3D 压扁成 2D 的那一步。类比手机拍照时镜头把房间里的每一点按远近压到感光元件上近的大、远的小。压扁由两个参数控制焦距 f压多狠和主点 c画面中心偏哪。方向问题矩阵指向哪边。PnP 求出来的不是相机在哪而是世界点怎么进相机坐标——世界到相机的变换。方向拿反位姿一定反。记住这一句后文最后一个坑就是它。最小可跑流程四步内参、对应点、求解、验证。每步只留核心调用。把内参填进矩阵内参 K 是 3×3决定像素坐标和相机坐标怎么换算import torch # 800x600 画面主点放像素中心f 取图像长边量级 K torch.tensor([[600.0, 0.0, 399.5], [0.0, 600.0, 299.5], [0.0, 0.0, 1.0]], dtypetorch.float64).unsqueeze(0)unsqueeze加 batch 维不是装饰——库的接口全是批量的形状不对直接拒收。造出带 batch 维的 2D-3D 对应模拟先有真值、再被检测出带噪声的像素点这个真实过程world torch.tensor([[[0.0, 0.0, 2.0], [1.0, 0.0, 2.0], [0.0, 1.0, 2.0], [1.0, 1.0, 2.0], [0.5, 0.5, 3.0], [0.2, 0.8, 2.5], [0.0, 1.5, 2.2], [1.2, 0.3, 2.8]]], dtypetorch.float64) R_t torch.tensor([[[1, 0, 0, -0.3], [0, 1, 0, 0.1], [0, 0, 1, 1.2]]], dtypetorch.float64) pts_cam (R_t[..., :3, :3] world.transpose(1, 2) R_t[..., :3, 3:4]).transpose(1, 2) from kornia.geometry.camera import project_points # 2 像素噪声模拟真实检测水平 img project_points(pts_cam, K[0]) torch.randn(img_shape, dtypetorch.float64) * 2.0注意world的 8 个点故意不共面DLT 在点共面时会直接报错后面说为什么。让 DLT 把 [R|t] 交出来求解器入口kornia/geometry/calibration/pnp.pysolve_pnp_dltDLT 法 PnPfrom kornia.geometry.calibration import solve_pnp_dlt # 最少 6 点返回 (B,3,4) 的世界到相机矩阵 W2C solve_pnp_dlt(world, img, K)预期输出torch.Size([1, 3, 4])前 3 列是旋转第 4 列是平移。用重投影把答案验一遍别信解出来的数信重投影误差pts_cam2 (W2C[..., :3, :3] world.transpose(1, 2) W2C[..., :3, 3:4]).transpose(1, 2) reproj project_points(pts_cam2, K[0]) err (reproj - img).norm(dim-1).mean() print(f平均重投影误差: {err:.2f} px)噪声是 2px误差落在 1~2px 就是对的链路通。求解涉及的所有量长这样调参前先对表量本例取值说明点数 N8DLT 硬性要求 ≥6内参形状(1, 3, 3)4×4 会被拒dtypefloat64SVD 数值更稳svd_eps1e-4共面判定阈值默认值为什么这么算上面能跑通但你得知道它在干什么。DLT 把每对对应点写成两行线性方程12 个未知数一起列成一个大矩阵用 SVD 找最小奇异值方向拿到一个近似旋转平移的解。点数少时它不挑、不分支一次 SVD 出结果EPnP 那类 4 点最小解法要构造辅助四面体点少时更省点多时差距拉不开。求解内部还做了两件保命的事两路点各自中心化缩放防大数压小数QR 分解把旋转部分扭成正交。代价是——点共面时方程组秩亏SVD 最小奇异值贴零函数直接抛错。这些坑我替你踩了传了 4×4 内参形状报错。大概率你把PinholeCamera.camera_matrix整个塞进去了求解器只认 3×3。改K[:3, :3]切片再传。一跑就抛 singular value 的 AssertionError。3D 点共面或共线方程组解不唯一。改加点让深度散开——本例的world第 7、8 个点就是干这个用的。只凑出 5 个对应点。DLT 需要 ≥6少一个就报错。改补点或者换支持 4 点的最小解法。位姿方向是反的物体跑到相机后面。返回值是世界到相机拿它把相机摆到世界里自然反。改求相机到世界就取逆torch.linalg.inv(W2C)补成 4×4 后。再往远处看鲁棒化真实匹配有外点可结合kornia/geometry/ransac.pyRANSAC 估计框架做采样一致性筛选学习融合整条链路在 PyTorch 图里位姿可参与反向传播做端到端标定或位姿网络git clone https://gitcode.com/kornia/kornia想读源码从kornia/geometry/calibration/pnp.py开始294 行DLT 的每一步注释都在。【免费下载链接】kornia 空间人工智能的几何计算机视觉库项目地址: https://gitcode.com/kornia/kornia创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
