图编译缓存【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge图编译缓存功能支持将图编译结果进行磁盘持久化从而在应用程序重新运行时可直接加载磁盘上缓存的编译结果。在编译并运行Graph过程中为了减少图编译时长可以开启图编译缓存功能。Atlas 200I/500 A2 推理产品不支持该特性。使用约束根据options参数中的ge.graph_compiler_cache_dir和ge.graph_key确定缓存文件缓存文件不存在则保存缓存缓存文件存在则直接加载缓存。ge.graph_compiler_cache_dir和ge.graph_key同时配置非空时该功能生效。ge.graph_compiler_cache_dir指定的缓存目录必须存在否则会导致编译失败。ge.graph_key由用户保证其唯一性否则在相同ge.graph_key的缓存已存在的情况下会直接加载对应的缓存。多进程场景下如果不同的图使用了相同的graph key和cache dir后触发缓存的图将不会实际编译而是加载先缓存的图。图发生变化后原来的缓存文件不可用用户需要手动删除缓存目录中的缓存文件或者修改ge.graph_key重新编译生成缓存文件。跨版本的缓存无法保证兼容性如果版本升级需要清理缓存目录重新编译生成缓存。使用方法std::mapge::AscendString, ge::AscendString session_options {{ge.graph_compiler_cache_dir, ./build_cache_dir}}; std::shared_ptrge::GeSession session std::make_sharedge::GeSession(session_options); const auto graph CreateGraph(); std::mapge::AscendString, ge::AscendString graph_options {{ge.graph_key, test_graph_001}}; ge::Status ret session-AddGraph(0, graph, graph_options); ...缓存文件生成规则生成文件包括模型缓存文件索引文件便于用户通过graph_key快速找到对应的缓存文件索引文件内容示例如下{ cache_file_list:[ { cache_file_name:./cache_dir/graph_$key1_20230117202307.om, graph_key:graph_$key1, var_desc_file_name:./cache_dir/graph_$key1_20230117202307.rdcpkt }, { cache_file_name:./cache_dir/graph_$key1_20230117203007.om, graph_key:graph_$key1, var_desc_file_name:./cache_dir/graph_$key1_20230117203007.rdcpkt } ] }变量格式文件仅在图中存在变量时生成。用于框架匹配模型缓存文件如果graph_key对应的图内变量格式发生变更则之前缓存的缓存文件将无法直接恢复使用该场景下会重新触发编译流程重新生成缓存文件。如果开启了权重外置功能即options选项中配置了ge.externalWeight参数并且设置为1则在ge.graph_compiler_cache_dir参数指定路径下还会生成weight目录用于保存原始网络中的Const/Constant节点的权重信息。文件名生成规则索引文件命名为ge.graph_key “.idx”。模型缓存文件命名为: ge.graph_key 时间戳 “.om”。变量格式文件命名为: ge.graph_key 时间戳 “.rdcpkt”。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
图编译缓存【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge图编译缓存功能支持将图编译结果进行磁盘持久化从而在应用程序重新运行时可直接加载磁盘上缓存的编译结果。在编译并运行Graph过程中为了减少图编译时长可以开启图编译缓存功能。Atlas 200I/500 A2 推理产品不支持该特性。使用约束根据options参数中的ge.graph_compiler_cache_dir和ge.graph_key确定缓存文件缓存文件不存在则保存缓存缓存文件存在则直接加载缓存。ge.graph_compiler_cache_dir和ge.graph_key同时配置非空时该功能生效。ge.graph_compiler_cache_dir指定的缓存目录必须存在否则会导致编译失败。ge.graph_key由用户保证其唯一性否则在相同ge.graph_key的缓存已存在的情况下会直接加载对应的缓存。多进程场景下如果不同的图使用了相同的graph key和cache dir后触发缓存的图将不会实际编译而是加载先缓存的图。图发生变化后原来的缓存文件不可用用户需要手动删除缓存目录中的缓存文件或者修改ge.graph_key重新编译生成缓存文件。跨版本的缓存无法保证兼容性如果版本升级需要清理缓存目录重新编译生成缓存。使用方法std::mapge::AscendString, ge::AscendString session_options {{ge.graph_compiler_cache_dir, ./build_cache_dir}}; std::shared_ptrge::GeSession session std::make_sharedge::GeSession(session_options); const auto graph CreateGraph(); std::mapge::AscendString, ge::AscendString graph_options {{ge.graph_key, test_graph_001}}; ge::Status ret session-AddGraph(0, graph, graph_options); ...缓存文件生成规则生成文件包括模型缓存文件索引文件便于用户通过graph_key快速找到对应的缓存文件索引文件内容示例如下{ cache_file_list:[ { cache_file_name:./cache_dir/graph_$key1_20230117202307.om, graph_key:graph_$key1, var_desc_file_name:./cache_dir/graph_$key1_20230117202307.rdcpkt }, { cache_file_name:./cache_dir/graph_$key1_20230117203007.om, graph_key:graph_$key1, var_desc_file_name:./cache_dir/graph_$key1_20230117203007.rdcpkt } ] }变量格式文件仅在图中存在变量时生成。用于框架匹配模型缓存文件如果graph_key对应的图内变量格式发生变更则之前缓存的缓存文件将无法直接恢复使用该场景下会重新触发编译流程重新生成缓存文件。如果开启了权重外置功能即options选项中配置了ge.externalWeight参数并且设置为1则在ge.graph_compiler_cache_dir参数指定路径下还会生成weight目录用于保存原始网络中的Const/Constant节点的权重信息。文件名生成规则索引文件命名为ge.graph_key “.idx”。模型缓存文件命名为: ge.graph_key 时间戳 “.om”。变量格式文件命名为: ge.graph_key 时间戳 “.rdcpkt”。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
