aclmdlExecuteAsync【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明执行模型推理。异步接口。函数原型aclError aclmdlExecuteAsync(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output, aclrtStream stream)参数说明参数名输入/输出说明modelId输入指定需要执行推理的模型的ID。调用模型加载接口例如aclmdlLoadFromFile接口、aclmdlLoadFromMem等成功后会返回模型ID该ID作为本接口的输入。input输入模型推理的输入数据的指针。output输出模型推理的输出数据的指针。stream输入指定Stream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明对同一个modelId的模型不能调用aclmdlExecuteAsync接口执行多Stream并发场景下的模型推理。错误示例如下该示例中两次aclmdlExecuteAsync接口多Stream并发执行导致报错//...... aclmdlExecuteAsync(modelId1, input, output, stream1); aclmdlExecuteAsync(modelId1, input, output, stream2); aclrtSynchronizeStream(stream1); aclrtSynchronizeStream(stream2); //......若由于业务需求必须在多线程中使用同一个modelId则用户线程间需加锁保证刷新输入输出内存、保证执行是连续操作例如// 线程A的接口调用顺序 lock(handle1) - aclrtMemcpyAsync(stream1)刷新输入输出内存 - aclmdlExecuteAsync(modelId1,stream1)执行推理 - unlock(handle1) // 线程B的接口调用顺序 lock(handle1) - aclrtMemcpyAsync(stream1)刷新输入输出内存 - aclmdlExecuteAsync(modelId1,stream1)执行推理 - unlock(handle1)若需要使用外置Allocator则注册Allocator时的stream需与模型执行时的stream保持一致。存放模型输入/输出数据的内存为Device内存可以调用aclrtMalloc、hi_mpi_dvpp_malloc等接口申请Device内存。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
aclmdlExecuteAsync【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明执行模型推理。异步接口。函数原型aclError aclmdlExecuteAsync(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output, aclrtStream stream)参数说明参数名输入/输出说明modelId输入指定需要执行推理的模型的ID。调用模型加载接口例如aclmdlLoadFromFile接口、aclmdlLoadFromMem等成功后会返回模型ID该ID作为本接口的输入。input输入模型推理的输入数据的指针。output输出模型推理的输出数据的指针。stream输入指定Stream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明对同一个modelId的模型不能调用aclmdlExecuteAsync接口执行多Stream并发场景下的模型推理。错误示例如下该示例中两次aclmdlExecuteAsync接口多Stream并发执行导致报错//...... aclmdlExecuteAsync(modelId1, input, output, stream1); aclmdlExecuteAsync(modelId1, input, output, stream2); aclrtSynchronizeStream(stream1); aclrtSynchronizeStream(stream2); //......若由于业务需求必须在多线程中使用同一个modelId则用户线程间需加锁保证刷新输入输出内存、保证执行是连续操作例如// 线程A的接口调用顺序 lock(handle1) - aclrtMemcpyAsync(stream1)刷新输入输出内存 - aclmdlExecuteAsync(modelId1,stream1)执行推理 - unlock(handle1) // 线程B的接口调用顺序 lock(handle1) - aclrtMemcpyAsync(stream1)刷新输入输出内存 - aclmdlExecuteAsync(modelId1,stream1)执行推理 - unlock(handle1)若需要使用外置Allocator则注册Allocator时的stream需与模型执行时的stream保持一致。存放模型输入/输出数据的内存为Device内存可以调用aclrtMalloc、hi_mpi_dvpp_malloc等接口申请Device内存。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
