aclopExecuteV2【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明执行指定的算子。异步接口。每个算子的输入、输出、属性不同接口会根据optype、输入tensor的描述、输出tensor的描述、attr等信息查找对应的任务并下发执行因此在调用本接口时需严格按照算子输入、输出、属性来组织算子。函数原型aclError aclopExecuteV2(const char *opType, int numInputs, aclTensorDesc *inputDesc[], aclDataBuffer *inputs[], int numOutputs, aclTensorDesc *outputDesc[], aclDataBuffer *outputs[], aclopAttr *attr, aclrtStream stream)参数说明参数名输入/输出说明opType输入算子类型名称的指针。numInputs输入算子输入tensor的数量。inputDesc输入算子输入tensor描述的指针数组。需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。inputDesc数组中的元素个数必须与numInputs参数值保持一致且inputs数组与inputDesc数组中的元素必须一一对应。inputs输入算子输入tensor的指针数组。需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。inputs数组中的元素个数必须与numInputs参数值保持一致且inputs数组与inputDesc数组中的元素必须一一对应。numOutputs输入算子输出tensor的数量。outputDesc输入输出算子输出tensor描述的指针数组。需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。outputDesc数组中的元素个数必须与numOutputs参数值保持一致且outputs数组与outputDesc数组中的元素必须一一对应。outputs输出算子输出tensor的指针数组。需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。outputs数组中的元素个数必须与numOutputs参数值保持一致且outputs数组与outputDesc数组中的元素必须一一对应。attr输入算子属性的指针。需提前调用aclopCreateAttr接口创建aclopAttr类型。stream输入该算子需要加载的stream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明多线程场景下不支持调用本接口时指定同一个Stream或使用默认Stream否则可能任务执行异常。对于支持动态Shape的算子无法明确算子输出Shape时可调用aclopInferShape接口获取算子的输出Shape若可获取到准确的输出Shape则使用准确的输出Shape来构造outputDesc参数作为aclopExecuteV2的输入。该场景下aclopExecuteV2接口是异步接口对于异步接口调用接口成功仅表示任务下发成功不表示任务执行成功。调用该接口后需调用同步等待接口例如aclrtSynchronizeStream确保任务已执行完成。若无法获取准确的输出Shape仅能获取输出Shape范围则使用Shape最大值来构造outputDesc参数作为aclopExecuteV2的输入。该场景下在调用aclopExecuteV2接口执行算子后系统内部会计算出准确的输出Shape通过aclopExecuteV2接口的outputDesc参数输出此时aclopExecuteV2接口是同步接口。该场景预留若无法获取准确的输出Shape以及Shape范围则需由用户预估一个最大的Shape来构造outputDesc参数作为aclopExecuteV2的输入。该场景下在调用aclopExecuteV2接口执行算子后系统内部会计算出准确的输出Shape通过aclopExecuteV2接口的outputDesc参数输出此时aclopExecuteV2接口是同步接口。执行有可选输入的算子时如果可选输入不使用则需按此种方式创建aclTensorDesc类型的数据aclCreateTensorDesc(ACL_DT_UNDEFINED, 0, nullptr, ACL_FORMAT_UNDEFINED)表示数据类型设置为ACL_DT_UNDEFINEDFormat设置为ACL_FORMAT_UNDEFINEDShape信息为nullptr。则需按此种方式创建aclDataBuffer类型的数据aclCreateDataBuffer(nullptr, 0)同时aclDataBuffer中的数据不需要释放因为是空指针。执行有constant输入的算子时需要先调用aclSetTensorConst接口设置constant输入。调用aclopCompile接口、aclopExecuteV2接口时设置的constant输入数据必须保持一致。对于算子有constant输入的场景如果未调用aclSetTensorConst接口设置constant输入则需调用aclSetTensorPlaceMent设置TensorDesc的placement属性将memType设置为Host内存。在执行单算子时一般要求用户传入的输入/输出tensor数据是存放在Device内存的比如两个tensor相加的场景。但是也存在部分算子除了将featureMap、weight等Device内存中的tensor数据作为输入外还需tensor shape信息、learningRate、tensor的dims信息等通常在Host内存中的tensor数据也作为输入此时用户不需要额外将这些Host内存中的tensor数据拷贝到Device上作为输入只需要调用aclSetTensorPlaceMent接口设置对应TensorDesc的placement属性为Host内存在执行单算子时设置了placement属性为Host内存的TensorDesc其对应的tensor数据必须存放在Host内存中接口内部会自动将Host上的tensor数据拷贝到Device上。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
aclopExecuteV2【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明执行指定的算子。异步接口。每个算子的输入、输出、属性不同接口会根据optype、输入tensor的描述、输出tensor的描述、attr等信息查找对应的任务并下发执行因此在调用本接口时需严格按照算子输入、输出、属性来组织算子。函数原型aclError aclopExecuteV2(const char *opType, int numInputs, aclTensorDesc *inputDesc[], aclDataBuffer *inputs[], int numOutputs, aclTensorDesc *outputDesc[], aclDataBuffer *outputs[], aclopAttr *attr, aclrtStream stream)参数说明参数名输入/输出说明opType输入算子类型名称的指针。numInputs输入算子输入tensor的数量。inputDesc输入算子输入tensor描述的指针数组。需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。inputDesc数组中的元素个数必须与numInputs参数值保持一致且inputs数组与inputDesc数组中的元素必须一一对应。inputs输入算子输入tensor的指针数组。需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。inputs数组中的元素个数必须与numInputs参数值保持一致且inputs数组与inputDesc数组中的元素必须一一对应。numOutputs输入算子输出tensor的数量。outputDesc输入输出算子输出tensor描述的指针数组。需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。outputDesc数组中的元素个数必须与numOutputs参数值保持一致且outputs数组与outputDesc数组中的元素必须一一对应。outputs输出算子输出tensor的指针数组。需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。outputs数组中的元素个数必须与numOutputs参数值保持一致且outputs数组与outputDesc数组中的元素必须一一对应。attr输入算子属性的指针。需提前调用aclopCreateAttr接口创建aclopAttr类型。stream输入该算子需要加载的stream。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明多线程场景下不支持调用本接口时指定同一个Stream或使用默认Stream否则可能任务执行异常。对于支持动态Shape的算子无法明确算子输出Shape时可调用aclopInferShape接口获取算子的输出Shape若可获取到准确的输出Shape则使用准确的输出Shape来构造outputDesc参数作为aclopExecuteV2的输入。该场景下aclopExecuteV2接口是异步接口对于异步接口调用接口成功仅表示任务下发成功不表示任务执行成功。调用该接口后需调用同步等待接口例如aclrtSynchronizeStream确保任务已执行完成。若无法获取准确的输出Shape仅能获取输出Shape范围则使用Shape最大值来构造outputDesc参数作为aclopExecuteV2的输入。该场景下在调用aclopExecuteV2接口执行算子后系统内部会计算出准确的输出Shape通过aclopExecuteV2接口的outputDesc参数输出此时aclopExecuteV2接口是同步接口。该场景预留若无法获取准确的输出Shape以及Shape范围则需由用户预估一个最大的Shape来构造outputDesc参数作为aclopExecuteV2的输入。该场景下在调用aclopExecuteV2接口执行算子后系统内部会计算出准确的输出Shape通过aclopExecuteV2接口的outputDesc参数输出此时aclopExecuteV2接口是同步接口。执行有可选输入的算子时如果可选输入不使用则需按此种方式创建aclTensorDesc类型的数据aclCreateTensorDesc(ACL_DT_UNDEFINED, 0, nullptr, ACL_FORMAT_UNDEFINED)表示数据类型设置为ACL_DT_UNDEFINEDFormat设置为ACL_FORMAT_UNDEFINEDShape信息为nullptr。则需按此种方式创建aclDataBuffer类型的数据aclCreateDataBuffer(nullptr, 0)同时aclDataBuffer中的数据不需要释放因为是空指针。执行有constant输入的算子时需要先调用aclSetTensorConst接口设置constant输入。调用aclopCompile接口、aclopExecuteV2接口时设置的constant输入数据必须保持一致。对于算子有constant输入的场景如果未调用aclSetTensorConst接口设置constant输入则需调用aclSetTensorPlaceMent设置TensorDesc的placement属性将memType设置为Host内存。在执行单算子时一般要求用户传入的输入/输出tensor数据是存放在Device内存的比如两个tensor相加的场景。但是也存在部分算子除了将featureMap、weight等Device内存中的tensor数据作为输入外还需tensor shape信息、learningRate、tensor的dims信息等通常在Host内存中的tensor数据也作为输入此时用户不需要额外将这些Host内存中的tensor数据拷贝到Device上作为输入只需要调用aclSetTensorPlaceMent接口设置对应TensorDesc的placement属性为Host内存在执行单算子时设置了placement属性为Host内存的TensorDesc其对应的tensor数据必须存放在Host内存中接口内部会自动将Host上的tensor数据拷贝到Device上。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
![[Feature Area Name]](http://pic.xiahunao.cn/yaotu/[Feature Area Name])
