使用自定义逻辑流分配Pass定制并发【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge功能介绍由于算子执行时间、核占用、带宽等执行时的因素影响导致一套算法在不同硬件上并发效果不同并且在编译阶段无法准确预估目前并不存在一个完美的算法在任意网络、任意硬件上都能达到最佳并发。基于上述问题引入该章节的特性开放自定义逻辑流分配Pass的接入用户可以结合图的拓扑结构、根据Profiling来分析具体网络在具体硬件上的硬件利用率从而可以灵活地调整并发效果一网一策一卡一策达到最优性能。使用自定义逻辑流分配Pass定制并发一般有两种使用场景基于内置的逻辑流分配结果进行微调。基于图结构开发自研的流分配算法。相关概念逻辑流与物理流对应的概念在图上按某些条件拓扑序、引擎归属预分配的流这条逻辑流上的任务将按先后顺序执行本文讲述的流均为逻辑流。流分配指定某几个任务可以并行执行可以提升硬件利用率降低模型执行时间。本章节以场景一“基于内置的逻辑流分配结果进行微调”为例详细介绍如何使用自定义逻辑流分配Pass定制并发整体流程为首先用户可以调用REGISTER_CUSTOM_PASS注册宏按照指定的Pass名称完成Pass的注册其次通过把函数编译成动态库插件方式注册的Pass在逻辑流分配阶段之后被调用最终用户可以基于内置的流分配结果进行微调示例代码如下#include register_custom_pass.h // 用户自定义逻辑流分配函数 Status CustomStreamPassFunc(const ConstGraphPtr graph, StreamPassContext stream_context) { // 在此函数中定义逻辑流分配行为 return SUCCESS; } // Pass注册无需指定stage默认在逻辑流分配阶段之后执行 REGISTER_CUSTOM_PASS(pass_name).CustomAllocateStreamPassFn(CustomStreamPassFunc);register_custom_pass.h存储在“CANN软件安装目录/cann/include/register/”目录下包含该头文件可使用Pass注册相关类使用Pass注册相关接口。Status成功返回ge::GRAPH_SUCCESS返回其他全为失败。建议使用小于0的值作为返回的错误码大于0的值可能会和框架已使用的错误码产生冲突。CustomStreamPassFunc自定义Pass的执行函数详情请参见回调函数CustomAllocateStreamPassFunc。graph待分配逻辑流的图类型为ConstGraphPtr。stream_contextStreamPassContext类对象可参考StreamPassContext提供的方法。REGISTER_CUSTOM_PASS注册自定义Passpass_name可任意命名详情请参见REGISTER_CUSTOM_PASS。CustomAllocateStreamPassFn注册自定义的逻辑流分配Pass执行函数详情请参见CustomAllocateStreamPassFn。[!NOTE]说明开启强制单流开关时options参数说明中ge.enableSingleStream设置为true自定义逻辑流分配Pass不会被执行。开发示例前提条件结合下图结构和Profiling分析优化点图 1原图 其Profiling分析结果如下图所示由Profiling分析结果可知**有并发条件无数据依赖和控制依赖**的算子1和2为串行执行在逻辑流分配以后算子1和2被分配了同一个Stream ID可以基于本节提供的功能修改为并行执行。[!NOTE]说明有并发条件的算子若使用相同的计算资源且存在资源的抢占和等待并不总是能够获得并发收益需要根据Profiling详细分析此处仅以此为例介绍如何调整。开发步骤包含如下头文件#include iostream // 自定义Pass接口头文件 #include register_custom_pass.h开发自定义Pass对节点1分配新的Stream ID。如下代码仅为示例不可执行说明用户获取待分配逻辑流的图后只能对当前图上的节点做改动即只能使用GetDirectNode接口获取本图中的所有节点。#include iostream #include register_custom_pass.h // 自定义流分配Pass graphStatus AllocateStreamPass(const ConstGraphPtr graph, StreamPassContext context) { // 遍历图中所有直接子节点即不递归子图 for (const auto node : graph-GetDirectNode()) { AscendString node_name; node.GetName(node_name); // 获取节点名称 // 判断节点是否为指定的Abs_1节点 if (std::string(node_name.GetString()) Abs_1/unary_ops_composition_0_SquareAbs_1/unary_ops_composition_1_Abs) { // 为该节点分配一个新的Stream ID context.SetStreamId(node, context.AllocateNextStreamId()); } } return GRAPH_SUCCESS; } // 注册自定义Pass REGISTER_CUSTOM_PASS(AllocateStreamPass).CustomAllocateStreamPassFn(AllocateStreamPass);如何使用自定义Pass完成上述自定义Pass后本节简单介绍如何把用户自定义逻辑流分配函数编译成动态库插件方式以便注册的Pass在逻辑流分配阶段之后被调用。前提条件请参见《CANN 软件安装》安装CANN软件包。程序编译参见样例使用指导获取其中的CMakeLists.txt编辑脚本并按照Sample中的目录结构将用户自定义逻辑流分配函数**AllocateStreamPass.cpp**文件放在src目录下。根据实际情况修改CMakeLists.txt文件中的如下信息ASCEND_PATH指定CANN软件安装后文件存储路径以root安装用户为例/usr/local/Ascend/cann。target_include_directories需要包含的头文件对于本示例无需修改。如果是用户自行开发的代码当需要添加头文件时在示例下方直接增加行即可注意不要删除原有项目。如果网络中有自定义算子请增加自定义算子的原型定义头文件。target_link_libraries需要链接的库对于本示例无需修改。如果是用户自行开发的代码当需要添加链接库时在示例下方直接增加行即可注意不要删除原有项目。执行如下命令进行编译mkdir build cd build cmake .. make编译结束后在build目录下生成动态库文件lib_AllocateStreamPass_.so。将lib_AllocateStreamPass_.so拷贝到${ASCEND_PATH}/opp/vendors/xxx/custom_fusion_passes/目录下。其中“xxx”为用户自定义目录。支持设置软链接的方式.so文件对可执行用户需要有可读权限多个${ASCEND_PATH}/opp/vendors/xxx目录按照文本序排序后遍历寻找custom_fusion_passes/子目录单个子目录内的.so按照文本序加载非.so结尾的文件在加载时跳过xxx有且仅有一层自定义目录。custom_fusion_passes该目录下不能有子目录。自定义Pass使用支持但不限于如下几种入口编译模型文件如果要查看上述自定义Pass有没有生效在编译模型前需要dump图进行查看在执行之前设置DUMP_GE_GRAPH详细说明请参见《环境变量参考》环境变量然后使用如下入口编译模型使用ATC工具进行模型转换。ATC工具使用方法请参见《ATC离线模型编译工具》。编译Graph为离线模型。编译并运行Graph。结果验证[!NOTE]说明若一个动态shape模型中有可下沉的部分框架内部会将模型拆分为动态调度和下沉调度静态子图两部分其中下沉调度可能有多个小模型因此在对一个动静混合模型做自定义流分配时自定义Pass前后的dump图将会有多份第一份对应根图后面若干份对应模型中的静态模型当希望通过dump图查看分配结果时最好通过查看build图之前最后一次自定义流分配的dump图。设置了dump环境变量后程序执行完毕会在当前路径生成ge_onnx*.pbtxt等图文件用户可以获取如下两张图然后使用Netron等可视化软件查看ge_onnx_xxx_RunCustomPass_BeforeAssignLogicStream*.pbtxtPass执行前的图*代表具体的Pass名称图结构请参见图1。ge_onnx_xxx_RunCustomPass_AfterAssignLogicStream*.pbtxtPass执行后的图*代表具体的Pass名称图结构为从图中可以看出算子1被分配了新的Stream ID。用户也可以基于模型编译完成的图并结合Profiling查看最终的效果从图2查看算子1前后产生了Send/Recv等流间同步算子执行生成Profiling图3可知算子1、2在两条流上并发执行。Profiling操作请参见Profiling性能数据采集。图 2编译完成的图 图 3Profiling结果 【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
使用自定义逻辑流分配Pass定制并发【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge功能介绍由于算子执行时间、核占用、带宽等执行时的因素影响导致一套算法在不同硬件上并发效果不同并且在编译阶段无法准确预估目前并不存在一个完美的算法在任意网络、任意硬件上都能达到最佳并发。基于上述问题引入该章节的特性开放自定义逻辑流分配Pass的接入用户可以结合图的拓扑结构、根据Profiling来分析具体网络在具体硬件上的硬件利用率从而可以灵活地调整并发效果一网一策一卡一策达到最优性能。使用自定义逻辑流分配Pass定制并发一般有两种使用场景基于内置的逻辑流分配结果进行微调。基于图结构开发自研的流分配算法。相关概念逻辑流与物理流对应的概念在图上按某些条件拓扑序、引擎归属预分配的流这条逻辑流上的任务将按先后顺序执行本文讲述的流均为逻辑流。流分配指定某几个任务可以并行执行可以提升硬件利用率降低模型执行时间。本章节以场景一“基于内置的逻辑流分配结果进行微调”为例详细介绍如何使用自定义逻辑流分配Pass定制并发整体流程为首先用户可以调用REGISTER_CUSTOM_PASS注册宏按照指定的Pass名称完成Pass的注册其次通过把函数编译成动态库插件方式注册的Pass在逻辑流分配阶段之后被调用最终用户可以基于内置的流分配结果进行微调示例代码如下#include register_custom_pass.h // 用户自定义逻辑流分配函数 Status CustomStreamPassFunc(const ConstGraphPtr graph, StreamPassContext stream_context) { // 在此函数中定义逻辑流分配行为 return SUCCESS; } // Pass注册无需指定stage默认在逻辑流分配阶段之后执行 REGISTER_CUSTOM_PASS(pass_name).CustomAllocateStreamPassFn(CustomStreamPassFunc);register_custom_pass.h存储在“CANN软件安装目录/cann/include/register/”目录下包含该头文件可使用Pass注册相关类使用Pass注册相关接口。Status成功返回ge::GRAPH_SUCCESS返回其他全为失败。建议使用小于0的值作为返回的错误码大于0的值可能会和框架已使用的错误码产生冲突。CustomStreamPassFunc自定义Pass的执行函数详情请参见回调函数CustomAllocateStreamPassFunc。graph待分配逻辑流的图类型为ConstGraphPtr。stream_contextStreamPassContext类对象可参考StreamPassContext提供的方法。REGISTER_CUSTOM_PASS注册自定义Passpass_name可任意命名详情请参见REGISTER_CUSTOM_PASS。CustomAllocateStreamPassFn注册自定义的逻辑流分配Pass执行函数详情请参见CustomAllocateStreamPassFn。[!NOTE]说明开启强制单流开关时options参数说明中ge.enableSingleStream设置为true自定义逻辑流分配Pass不会被执行。开发示例前提条件结合下图结构和Profiling分析优化点图 1原图 其Profiling分析结果如下图所示由Profiling分析结果可知**有并发条件无数据依赖和控制依赖**的算子1和2为串行执行在逻辑流分配以后算子1和2被分配了同一个Stream ID可以基于本节提供的功能修改为并行执行。[!NOTE]说明有并发条件的算子若使用相同的计算资源且存在资源的抢占和等待并不总是能够获得并发收益需要根据Profiling详细分析此处仅以此为例介绍如何调整。开发步骤包含如下头文件#include iostream // 自定义Pass接口头文件 #include register_custom_pass.h开发自定义Pass对节点1分配新的Stream ID。如下代码仅为示例不可执行说明用户获取待分配逻辑流的图后只能对当前图上的节点做改动即只能使用GetDirectNode接口获取本图中的所有节点。#include iostream #include register_custom_pass.h // 自定义流分配Pass graphStatus AllocateStreamPass(const ConstGraphPtr graph, StreamPassContext context) { // 遍历图中所有直接子节点即不递归子图 for (const auto node : graph-GetDirectNode()) { AscendString node_name; node.GetName(node_name); // 获取节点名称 // 判断节点是否为指定的Abs_1节点 if (std::string(node_name.GetString()) Abs_1/unary_ops_composition_0_SquareAbs_1/unary_ops_composition_1_Abs) { // 为该节点分配一个新的Stream ID context.SetStreamId(node, context.AllocateNextStreamId()); } } return GRAPH_SUCCESS; } // 注册自定义Pass REGISTER_CUSTOM_PASS(AllocateStreamPass).CustomAllocateStreamPassFn(AllocateStreamPass);如何使用自定义Pass完成上述自定义Pass后本节简单介绍如何把用户自定义逻辑流分配函数编译成动态库插件方式以便注册的Pass在逻辑流分配阶段之后被调用。前提条件请参见《CANN 软件安装》安装CANN软件包。程序编译参见样例使用指导获取其中的CMakeLists.txt编辑脚本并按照Sample中的目录结构将用户自定义逻辑流分配函数**AllocateStreamPass.cpp**文件放在src目录下。根据实际情况修改CMakeLists.txt文件中的如下信息ASCEND_PATH指定CANN软件安装后文件存储路径以root安装用户为例/usr/local/Ascend/cann。target_include_directories需要包含的头文件对于本示例无需修改。如果是用户自行开发的代码当需要添加头文件时在示例下方直接增加行即可注意不要删除原有项目。如果网络中有自定义算子请增加自定义算子的原型定义头文件。target_link_libraries需要链接的库对于本示例无需修改。如果是用户自行开发的代码当需要添加链接库时在示例下方直接增加行即可注意不要删除原有项目。执行如下命令进行编译mkdir build cd build cmake .. make编译结束后在build目录下生成动态库文件lib_AllocateStreamPass_.so。将lib_AllocateStreamPass_.so拷贝到${ASCEND_PATH}/opp/vendors/xxx/custom_fusion_passes/目录下。其中“xxx”为用户自定义目录。支持设置软链接的方式.so文件对可执行用户需要有可读权限多个${ASCEND_PATH}/opp/vendors/xxx目录按照文本序排序后遍历寻找custom_fusion_passes/子目录单个子目录内的.so按照文本序加载非.so结尾的文件在加载时跳过xxx有且仅有一层自定义目录。custom_fusion_passes该目录下不能有子目录。自定义Pass使用支持但不限于如下几种入口编译模型文件如果要查看上述自定义Pass有没有生效在编译模型前需要dump图进行查看在执行之前设置DUMP_GE_GRAPH详细说明请参见《环境变量参考》环境变量然后使用如下入口编译模型使用ATC工具进行模型转换。ATC工具使用方法请参见《ATC离线模型编译工具》。编译Graph为离线模型。编译并运行Graph。结果验证[!NOTE]说明若一个动态shape模型中有可下沉的部分框架内部会将模型拆分为动态调度和下沉调度静态子图两部分其中下沉调度可能有多个小模型因此在对一个动静混合模型做自定义流分配时自定义Pass前后的dump图将会有多份第一份对应根图后面若干份对应模型中的静态模型当希望通过dump图查看分配结果时最好通过查看build图之前最后一次自定义流分配的dump图。设置了dump环境变量后程序执行完毕会在当前路径生成ge_onnx*.pbtxt等图文件用户可以获取如下两张图然后使用Netron等可视化软件查看ge_onnx_xxx_RunCustomPass_BeforeAssignLogicStream*.pbtxtPass执行前的图*代表具体的Pass名称图结构请参见图1。ge_onnx_xxx_RunCustomPass_AfterAssignLogicStream*.pbtxtPass执行后的图*代表具体的Pass名称图结构为从图中可以看出算子1被分配了新的Stream ID。用户也可以基于模型编译完成的图并结合Profiling查看最终的效果从图2查看算子1前后产生了Send/Recv等流间同步算子执行生成Profiling图3可知算子1、2在两条流上并发执行。Profiling操作请参见Profiling性能数据采集。图 2编译完成的图 图 3Profiling结果 【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
