C++部署Segment Anything模型：从PyTorch到ONNX Runtime的工程实践

简介本资源面向图像分割领域的算法工程师、C部署开发者及深度学习研究人员提供Segment Anything模型在Windows平台的纯C本地化部署方案彻底摆脱Python环境依赖适用于嵌入式集成、工业检测系统或对运行时性能敏感的生产场景。压缩包共2001个文件含733个核心C实现源码如图像预处理、掩膜后处理、ONNX推理封装等、307个头文件构建模块化接口辅以少量Python脚本用于模型转换与数据准备整体体积676.44MB结构清晰、层级分明便于二次开发与工程对接。已有357人下载学习资源附带完整构建流程与Release可执行程序生成指引用户可直接获得开箱即用的图像分割exe工具并掌握从模型加载、输入预处理、推理调度到掩膜可视化的一整套C端到端实现逻辑。1. 项目概述为什么要在C环境中部署Segment Anything如果你是一名从事计算机视觉、机器人、工业质检或者嵌入式AI的开发者最近肯定被Meta的Segment Anything ModelSAM刷过屏。这个模型号称“分割一切”其零样本泛化能力确实让人眼前一亮。网上铺天盖地的教程几乎清一色地用Python配合PyTorch和Jupyter Notebook几分钟就能跑出效果。这很好但对于我们这些需要把算法真正“用起来”的人来说Python部署往往只是第一步甚至是“玩具”阶段。当你的项目需要集成到现有的C工程框架里比如一个基于OpenCV和Qt的工业软件或者一个运行在边缘设备上的机器人感知系统时Python那套依赖复杂、启动慢、内存占用高的部署方式就显得格格不入了。更别提在一些对性能、资源有严苛要求的场景比如实时视频流处理、高帧率要求或者内存有限的嵌入式平台。这时C本地部署就成了刚需。它意味着更小的二进制体积、更快的推理速度、更精细的内存控制以及与原C技术栈的无缝集成。然而把SAM这样一个庞大的、基于Transformer架构的PyTorch模型搬到C环境绝非易事。这不仅仅是模型格式转换那么简单它涉及到完整的推理管线构建从模型加载、前处理、引擎推理到后处理每一个环节都需要在C中亲手搭建并且要保证效率与精度。这个过程正是区分“调包侠”和真正工程化能力开发者的试金石。今天我就结合自己最近将一个SAM模型成功集成到C桌面应用中的实战经历把其中的核心思路、关键步骤、踩过的坑以及最终的性能优化技巧毫无保留地分享出来。2. 核心思路与方案选型从PyTorch到C的路径规划面对SAM的C部署首要问题是选择技术路线。这直接决定了后续工作的复杂度和最终性能。经过调研和尝试主流且可行的路径有以下几条我将其优劣和适用场景做了个梳理2.1 路径一LibTorchPyTorch C前端这是最“原生”的路径。LibTorch提供了与PyTorch Python接口几乎对应的C API。优点兼容性最佳直接加载.pt或.pth模型文件几乎无需担心算子支持问题。SAM模型结构复杂包含ViT、Prompt Encoder、Mask Decoder等LibTorch能最大程度保证模型结构的完整性。开发相对熟悉如果你熟悉PyTorch其C API的学习曲线相对平缓。缺点依赖庞大LibTorch的动态库文件很大轻松超过1GB会显著增加最终发布包的体积。推理速度非最优虽然比Python快但相比专门的推理引擎其运行时优化程度有限。内存管理需要手动管理torch::Tensor的生命周期稍有不慎易导致内存泄漏。注意对于快速原型验证或对包体积不敏感的内部工具LibTorch是首选。但对于需要分发给客户的桌面软件或嵌入式设备需要慎重考虑。2.2 路径二ONNX Runtime这是目前工业界最流行、生态最成熟的跨平台推理方案之一。核心思想是先将PyTorch模型导出为标准的ONNX格式然后使用ONNX Runtime的C接口进行加载和推理。优点高性能ONNX Runtime针对不同硬件CPU/GPU提供了高度优化的执行提供程序Execution Provider如CPU上的MLASGPU上的CUDA、TensorRT能榨干硬件性能。轻量级可以只链接必要的算子库和提供程序依赖相对精简。跨平台支持Windows、Linux、macOS、Android、iOS等部署一致性高。丰富的优化工具支持模型图优化、量化等进一步提升速度、减小模型体积。缺点导出ONNX可能遇阻SAM模型中的一些动态操作如基于输入点坐标动态生成位置编码可能在导出ONNX时遇到算子不支持或动态维度问题需要一定的“手术”技巧。需要额外步骤比LibTorch多了一个“模型导出”的环节。2.3 路径三TensorRT如果你部署的目标平台是NVIDIA GPU并且追求极致的推理延迟那么TensorRT是不二之选。优点极致性能通过层融合、精度校准FP16/INT8、内核自动调优等技术能获得远超其他框架的推理速度。内存与功耗优化运行时占用显存更少。缺点生态封闭仅限NVIDIA平台。流程复杂通常需要PyTorch - ONNX - TensorRT的转换流程每一步都可能遇到兼容性问题调试成本高。动态shape支持虽然新版本在不断改进但对动态输入尺寸尤其是SAM中变化的Prompt的支持仍是挑战。我的选择与理由 我最终选择了ONNX Runtime CPU 提供程序这条路径。原因如下项目需求我的目标是一个跨平台的桌面应用Windows/Linux用户硬件不确定需优先保证CPU上的稳定性和性能。性能与便利性平衡ONNX Runtime在CPU上的优化已经非常出色能满足实时性要求对于512x512的图片SAM-ViT-B在i7-12700上约150ms同时避免了LibTorch的庞大体积和TensorRT的平台限制。社区支持ONNX生态活跃遇到导出或推理问题更容易找到解决方案或类似案例。确定了技术栈我们的核心任务就清晰了将SAM模型包括Image Encoder和Mask Decoder成功导出为ONNX格式并编写高效的C代码利用ONNX Runtime构建一个完整的推理管道。3. 实战步骤一模型导出与“手术”这是整个流程中最关键、也最容易卡住的一步。SAM的官方代码并未提供现成的ONNX导出脚本需要我们自己动手。3.1 环境准备与模型获取首先在一个Python环境中准备好一切。# 创建虚拟环境可选但推荐 conda create -n sam_export python3.9 conda activate sam_export # 安装核心依赖 pip install torch torchvision pip install onnx onnxruntime # 用于后续验证 pip install opencv-python pip install githttps://github.com/facebookresearch/segment-anything.git下载SAM的模型检查点例如sam_vit_b_01ec64.pth。3.2 分离并导出Image EncoderSAM的推理分为两部分Image Encoder和Mask Decoder。Image Encoder将整张图片编码为一个特征向量这部分是固定的可以预先计算非常适合导出为静态ONNX模型。import torch import numpy as np from segment_anything import sam_model_registry from segment_anything.utils.transforms import ResizeLongestSide import onnx import onnxruntime as ort # 1. 加载模型 sam_checkpoint ./sam_vit_b_01ec64.pth model_type vit_b sam sam_model_registry[model_type](checkpointsam_checkpoint) sam.eval() # 切换到评估模式 # 2. 准备示例输入 transform ResizeLongestSide(sam.image_encoder.img_size) sample_image np.random.randint(0, 255, (1080, 1920, 3), dtypenp.uint8) # 模拟一张输入图像 input_image transform.apply_image(sample_image) input_image_torch torch.as_tensor(input_image, devicecpu) input_image_torch input_image_torch.permute(2, 0, 1).contiguous() # HWC - CHW # SAM的预处理 pixel_mean torch.tensor([123.675, 116.28, 103.53]).view(-1, 1, 1) pixel_std torch.tensor([58.395, 57.12, 57.375]).view(-1, 1, 1) x (input_image_torch - pixel_mean) / pixel_std # 添加批次维度并填充到1024 h, w x.shape[-2:] padh sam.image_encoder.img_size - h padw sam.image_encoder.img_size - w x torch.nn.functional.pad(x, (0, padw, 0, padh)).unsqueeze(0) # 3. 导出Image Encoder image_encoder sam.image_encoder dummy_input x output_names [image_embeddings] # 导出为ONNX torch.onnx.export(image_encoder, dummy_input, sam_image_encoder.onnx, export_paramsTrue, opset_version14, # 使用较高的opset以获得更好的算子支持 do_constant_foldingTrue, input_names[input_image], output_namesoutput_names, dynamic_axes{input_image: {0: batch_size}} # 支持动态批次 ) print(Image Encoder exported successfully.)这个过程通常比较顺利因为Image Encoder是标准的ViT结构算子支持良好。3.3 导出Mask Decoder处理动态PromptMask Decoder的导出是真正的难点。它的输入包括Image Embedding、Prompt点、框、掩码、以及一些内部状态输出是掩码和置信度。Prompt是动态变化的每次推理的输入点数量、框的数量都可能不同。核心挑战PyTorch模型中可能包含一些控制流如if或动态reshape操作这些在转换为静态计算图ONNX时可能会失败或产生错误。解决方案对模型进行适当的修改和“手术”使其更易于导出。通常需要做以下工作定位问题先用一个简单的Prompt尝试导出ONNX导出器会报错指出不支持的算子或动态维度问题。修改源码找到segment_anything/modeling/mask_decoder.py中的predict_masks函数及相关部分。常见的修改包括替换torch.nn.functional.interpolate确保其size参数是常量或通过scale_factor指定避免动态尺寸。展开动态循环如果存在基于Prompt数量的小循环考虑将其展开或重构为矩阵运算。简化逻辑移除一些非核心的、对导出不友好的逻辑需谨慎不能影响精度。使用脚本导出编写一个专门的导出脚本精心构造输入。这里给出一个简化版的导出思路框架# 假设我们已经对mask_decoder.py进行了必要的修改 mask_decoder sam.mask_decoder # 构造符合动态输入的dummy input # image_embeddings: [1, 256, 64, 64] # point_coords: [1, num_points, 2] # num_points是动态的 # point_labels: [1, num_points] # mask_input: [1, 1, 256, 256] (可选) # has_mask_input: [1] (标量) # 关键使用dynamic_axes指定哪些维度是动态的 dynamic_axes { image_embeddings: {0: batch}, point_coords: {0: batch, 1: num_points}, point_labels: {0: batch, 1: num_points}, mask_input: {0: batch}, has_mask_input: {0: batch} } # 注意需要为每个动态输入提供一个具体的示例值用于追踪计算图 example_inputs (image_embeddings, point_coords, point_labels, mask_input, has_mask_input) output_names [masks, iou_predictions, low_res_masks] torch.onnx.export(mask_decoder, example_inputs, sam_mask_decoder.onnx, opset_version14, do_constant_foldingTrue, input_nameslist(dynamic_axes.keys()), output_namesoutput_names, dynamic_axesdynamic_axes)实操心得这一步没有银弹。你可能需要反复尝试结合ONNX Simplifier等工具并根据具体的错误信息去修改模型源码或调整导出参数。一个实用的技巧是先尝试导出固定Prompt数量比如2个点的版本成功后再挑战完全动态的版本。也可以在网上搜索社区其他人分享的已经修改好的导出脚本或ONNX模型。4. 实战步骤二构建C推理管道成功获得sam_image_encoder.onnx和sam_mask_decoder.onnx后我们就可以在C中大展拳脚了。4.1 环境搭建与ONNX Runtime集成我使用CMake作为构建工具这样跨平台更容易。假设你的项目结构如下your_project/ ├── CMakeLists.txt ├── src/ │ ├── main.cpp │ └── sam_inference.cpp ├── include/ │ └── sam_inference.h ├── models/ │ ├── sam_image_encoder.onnx │ └── sam_mask_decoder.onnx └── lib/ └── (放置onnxruntime的库文件)CMakeLists.txt关键配置cmake_minimum_required(VERSION 3.16) project(SAM_CPP_Deploy) set(CMAKE_CXX_STANDARD 17) # 1. 查找OpenCV (用于图像读写和预处理) find_package(OpenCV REQUIRED) # 2. 添加ONNX Runtime # 方式A如果ONNX Runtime安装在系统路径 find_package(ONNXRuntime REQUIRED) # 方式B更推荐指定本地解压的ONNX Runtime库路径 set(ONNXRUNTIME_ROOT_DIR ${CMAKE_SOURCE_DIR}/lib/onnxruntime-linux-x64-1.15.1) # 示例路径 set(ONNXRUNTIME_INCLUDE_DIR ${ONNXRUNTIME_ROOT_DIR}/include) set(ONNXRUNTIME_LIBRARY ${ONNXRUNTIME_ROOT_DIR}/lib/libonnxruntime.so) include_directories(${ONNXRUNTIME_INCLUDE_DIR} ${OpenCV_INCLUDE_DIRS}) add_executable(sam_demo src/main.cpp src/sam_inference.cpp) target_link_libraries(sam_demo ${OpenCV_LIBS} ${ONNXRUNTIME_LIBRARY})你需要从ONNX Runtime的GitHub Release页面下载对应平台如Linux-x64, Win-x64的预编译包解压后将include和lib目录放入项目。4.2 封装SAM推理类在sam_inference.h和.cpp中我们将封装一个SamInference类负责管理两个ONNX模型会话Session和执行完整的推理流程。头文件概览// sam_inference.h #pragma once #include opencv2/opencv.hpp #include onnxruntime/core/session/onnxruntime_cxx_api.h #include vector #include memory struct SamPrompt { std::vectorcv::Point2f points; // 归一化坐标 [0,1] std::vectorint labels; // 1前景0背景 cv::Rect2f box; // 归一化坐标 [0,1] bool use_box false; }; class SamInference { public: SamInference(const std::string encoder_model_path, const std::string decoder_model_path, int encoder_size 1024); ~SamInference(); bool encodeImage(const cv::Mat bgr_image); std::paircv::Mat, float predictMask(const SamPrompt prompt, const cv::Mat prev_mask cv::Mat()); private: // ONNX Runtime环境 Ort::Env env_; Ort::SessionOptions session_options_; std::unique_ptrOrt::Session encoder_session_; std::unique_ptrOrt::Session decoder_session_; // 图像编码器相关 int encoder_size_; cv::Mat image_embedding_; // 缓存编码后的特征 // 预处理和后处理辅助函数 cv::Mat preprocessImage(const cv::Mat bgr_image); cv::Mat postprocessMask(const Ort::Value tensor, const cv::Size original_size); // ... 其他辅助函数如坐标转换等 };4.3 核心实现图像编码与掩码预测1. 图像编码器推理 (encodeImage)这是预处理最复杂的一步需要完全复现SAM Python端的预处理逻辑。bool SamInference::encodeImage(const cv::Mat bgr_image) { // 1. 预处理 (完全复现SAM的transform) cv::Mat input_tensor preprocessImage(bgr_image); // 返回一个 [1, 3, 1024, 1024] 的CV_32F Mat // 2. 准备ONNX Runtime输入 std::vectorint64_t input_shape {1, 3, encoder_size_, encoder_size_}; size_t input_tensor_size 1 * 3 * encoder_size_ * encoder_size_; std::vectorfloat input_tensor_values(input_tensor_size); // 将cv::Mat数据拷贝到vector中注意内存布局是NCHW // ... (省略具体拷贝代码) std::vectorconst char* input_names {input_image}; std::vectorOrt::Value input_tensors; Ort::MemoryInfo memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); input_tensors.push_back(Ort::Value::CreateTensorfloat(memory_info, input_tensor_values.data(), input_tensor_size, input_shape.data(), input_shape.size())); // 3. 运行推理 std::vectorconst char* output_names {image_embeddings}; auto output_tensors encoder_session_-Run(Ort::RunOptions{nullptr}, input_names.data(), input_tensors.data(), 1, output_names.data(), 1); // 4. 获取并缓存输出 float* output_data output_tensors[0].GetTensorMutableDatafloat(); auto output_shape output_tensors[0].GetTensorTypeAndShapeInfo().GetShape(); // output_shape 通常是 [1, 256, 64, 64] int64_t embedding_size output_shape[1] * output_shape[2] * output_shape[3]; image_embedding_ cv::Mat(1, embedding_size, CV_32F); memcpy(image_embedding_.data, output_data, embedding_size * sizeof(float)); return true; }preprocessImage函数需要实现调整最长边、填充正方形、归一化减均值除标准差这一系列操作确保与Python端完全一致。这是保证精度的生命线。2. 掩码解码器推理 (predictMask)这部分处理动态的Prompt输入。std::paircv::Mat, float SamInference::predictMask(const SamPrompt prompt, const cv::Mat prev_mask) { // 1. 准备Prompt输入将归一化坐标转换为模型输入坐标空间(1024x1024) std::vectorfloat point_coords; std::vectorfloat point_labels; for (size_t i 0; i prompt.points.size(); i) { point_coords.push_back(prompt.points[i].x * encoder_size_); point_coords.push_back(prompt.points[i].y * encoder_size_); point_labels.push_back(static_castfloat(prompt.labels[i])); } // 如果提供了框也需要转换并添加为两个点左上右下 if (prompt.use_box) { point_coords.push_back(prompt.box.x * encoder_size_); point_coords.push_back(prompt.box.y * encoder_size_); point_labels.push_back(2.0f); // 特殊标签表示框起点 point_coords.push_back((prompt.box.x prompt.box.width) * encoder_size_); point_coords.push_back((prompt.box.y prompt.box.height) * encoder_size_); point_labels.push_back(3.0f); // 特殊标签表示框终点 } int64_t num_points point_coords.size() / 2; // 2. 构造输入Tensor std::vectorOrt::Value input_tensors; Ort::MemoryInfo memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); // 输入1: image_embeddings [1, 256, 64, 64] input_tensors.push_back(Ort::Value::CreateTensorfloat(memory_info, (float*)image_embedding_.data, image_embedding_.total(), {1, 256, 64, 64}, 4)); // 输入2: point_coords [1, num_points, 2] input_tensors.push_back(Ort::Value::CreateTensorfloat(memory_info, point_coords.data(), point_coords.size(), {1, num_points, 2}, 3)); // ... 类似地构造point_labels, mask_input, has_mask_input // 3. 准备输入输出名称 std::vectorconst char* input_names {image_embeddings, point_coords, point_labels, mask_input, has_mask_input}; std::vectorconst char* output_names {masks, iou_predictions, low_res_masks}; // 4. 运行推理 auto output_tensors decoder_session_-Run(Ort::RunOptions{nullptr}, input_names.data(), input_tensors.data(), input_tensors.size(), output_names.data(), 3); // 5. 后处理 cv::Mat mask postprocessMask(output_tensors[0], original_image_size_); float iou_score *output_tensors[1].GetTensorMutableDatafloat(); return {mask, iou_score}; }postprocessMask函数负责将模型输出的低分辨率掩码如256x256上采样到原始图像尺寸并应用阈值通常为0.0生成二值掩码。5. 性能优化与内存管理实战在C中性能优化是永恒的话题。部署SAM这类大模型以下几点至关重要5.1 会话Session配置优化创建Ort::Session时通过SessionOptions进行配置可以显著提升性能。Ort::SessionOptions session_options_; // 1. 设置线程数 session_options_.SetIntraOpNumThreads(4); // 设置模型内部并行运算的线程数 session_options_.SetInterOpNumThreads(2); // 设置并行执行多个操作时的线程数如果模型有并行分支 // 2. 启用内存模式对于需要多次推理的场景 session_options_.SetMemoryPatternOptimization(true); // 3. 【重要】设置执行提供程序Execution Provider // 如果使用CPU可以尝试不同的后端 // session_options_.AppendExecutionProvider(CPUExecutionProvider); // 默认 // 如果系统有ACL支持可以尝试 // Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_ACL(session_options, 0)); // 4. 设置图优化级别 session_options_.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL); encoder_session_ std::make_uniqueOrt::Session(env_, encoder_model_path.c_str(), session_options_);5.2 缓存与复用图像编码缓存image_embedding_在encodeImage后被缓存。对于同一张图片的多次交互式分割用户点选不同位置只需编码一次极大提升响应速度。输入输出Tensor复用对于predictMask这样会被频繁调用的函数可以考虑复用std::vectorOrt::Value input_tensors和output_tensors的内存避免频繁分配释放。但要注意每次推理前需要正确重置其中的数据。5.3 预处理与后处理加速使用OpenCV的UMat对于图像预处理缩放、填充、颜色转换如果支持OpenCL可以使用cv::UMat进行GPU加速。向量化操作在后处理中如上采样、阈值化尽量使用OpenCV的矩阵运算或并行循环避免逐像素操作。5.4 内存泄漏排查ONNX Runtime C API使用智能指针管理大部分资源但仍需注意Ort::Value的生命周期Run方法返回的std::vectorOrt::Value在离开作用域时会自动释放。但如果你提前获取了其中的原始指针如GetTensorMutableData要确保在Tensor有效期内使用。使用Valgrind或AddressSanitizer在Linux下使用valgrind --leak-checkfull ./your_program检查内存泄漏。这是C项目部署前的必备步骤。6. 常见问题与调试技巧实录在从Python模型导出到C集成的全链路中我遇到了无数坑。这里把最具代表性的问题和解决方法记录下来。6.1 模型导出阶段问题1导出ONNX时报错“Unsupported: ONNX export of operator XXX”原因PyTorch模型中的某个算子没有对应的ONNX实现。解决检查PyTorch和ONNX opset版本。尝试升级到更高版本如opset 17。找到具体是哪个算子。错误信息通常会给出函数名。去SAM模型源码中定位该算子。修改模型源码用一组等价的、ONNX支持的算子替换它。例如某些动态reshape可能需要用view加上固定计算逻辑来替代。这是最考验功力的地方。问题2导出的ONNX模型在C中推理结果与Python不一致原因几乎100%是预处理或后处理不一致。排查数据比对在C和Python中对同一张图片打印出预处理后输入给Encoder的第一个像素值、Encoder输出的第一个特征值、Decoder输入的Prompt坐标值。必须逐层比对确保完全一致。关注细节图像颜色通道顺序OpenCV默认是BGRPyTorch的ToTensor或SAM的预处理可能是RGB。归一化参数均值[123.675, 116.28, 103.53]和标准差[58.395, 57.12, 57.375]是否准确应用是(x - mean) / std还是x / 255 - mean填充值SAM填充的是归一化后的像素均值即(0 - mean) / std而不是0。坐标变换Prompt点从图像坐标到模型输入坐标1024x1024的变换公式必须一致。6.2 C推理阶段问题3运行时报错“Invalid argument: Got invalid dimensions for input XXX”原因输入Tensor的维度或类型与ONNX模型期望的不匹配。解决使用netron工具打开你的ONNX模型仔细查看每个输入节点的名称input_names、数据类型float32int64和维度例如point_coords是[batch, num_points, 2]。在C代码中确保Ort::Value::CreateTensor时传入的shape数组与模型定义完全一致。特别注意动态维度比如num_points在C中需要根据实际输入计算并传入正确的值。问题4推理速度慢无法满足实时性要求排查与优化性能分析使用ONNX Runtime的Profiling功能或者简单的计时找出瓶颈是在Encoder还是Decoder。Encoder优化Encoder是计算大头。考虑使用量化的ONNX模型。可以使用ONNX Runtime的量化工具将FP32模型量化为INT8在CPU上能获得显著的加速精度损失通常可接受。如果用户硬件固定可以考虑针对特定CPU型号如支持AVX512编译ONNX Runtime或者使用更快的Execution Provider。Decoder优化Decoder调用频繁但计算量相对小。确保没有不必要的内存拷贝Prompt的组装逻辑高效。问题5在多线程环境下调用崩溃原因ONNX Runtime的Session对象不是线程安全的。多个线程同时调用session-Run会导致未定义行为。解决方案A简单使用互斥锁std::mutex保护对Session的调用。这会牺牲并发性能。方案B推荐为每个线程创建独立的Session实例。虽然内存占用会增加但实现了真正的并行推理。注意多个Session可以共享同一个Ort::Env。6.3 集成与部署阶段问题6编译时链接错误找不到ONNX Runtime库解决确保CMake中指定的库路径正确并且库文件与你的编译架构x64 vs x86和链接方式动态链接.so/.dllvs 静态链接.a/.lib匹配。在Windows上还需要将onnxruntime.dll放在可执行文件同级目录或系统路径。问题7发布给用户后在缺少某些系统库的机器上运行失败解决这是C程序部署的经典问题。建议使用静态链接编译ONNX Runtime和你的程序。这会产生一个更大的可执行文件但几乎没有任何外部依赖。ONNX Runtime提供了静态库的编译指南。如果使用动态链接则必须收集所有依赖的DLL/SO文件并一起打包发布。在Linux上可以使用ldd命令查看依赖在Windows上可以使用Dependencies原Dependency Walker工具。整个流程走下来从模型导出、C管道搭建、性能优化到最终打包部署相当于把SAM这个“黑盒”从里到外摸了一遍。这种深度集成带来的控制力和性能提升是单纯调用Python API无法比拟的。它让你的应用真正具备了在复杂生产环境中稳定、高效运行的能力。最后再分享一个小心得在正式开始C编码前务必先用ONNX Runtime的Python API验证一遍导出的模型能排除很多低级错误事半功倍。本文还有配套的精品资源点击获取