ASCEND_MAX_OP_CACHE_SIZE【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge功能描述启用算子编译缓存功能时可通过此环境变量限制某个AI处理器下缓存文件夹的磁盘空间的大小。默认为500单位为MB。当编译缓存文件的大小超过此环境变量的设置值且超过半小时缓存文件未被访问时缓存文件就会老化。若需要关闭编译缓存老化功能可将环境变量“ASCEND_MAX_OP_CACHE_SIZE”设置为“-1”此时访问算子缓存时不会更新访问时间算子编译缓存不会老化磁盘空间使用默认大小500MB。[!NOTE]说明 算子编译时不会因为编译缓存文件大小超过设置值而中断所以当此环境变量的值设置过小时会出现实际编译缓存文件大小超过此设置值的情况。配置示例export ASCEND_MAX_OP_CACHE_SIZE500使用约束系统读取缓存磁盘空间大小配置的优先级如下算子编译磁盘缓存的目录下的“op_cache.ini”配置文件 ASCEND_MAX_OP_CACHE_SIZE环境变量 默认值。即若开发者同时配置了op_cache.ini文件和环境变量则优先读取op_cache.ini文件中的配置项若op_cache.ini文件和环境变量都未设置则读取系统默认值默认磁盘空间大小为500MB。关于“op_cache.ini”配置文件的详细说明可参见op_cache.ini文件说明。op_cache.ini文件说明业务开启算子编译缓存功能后会在指定的算子编译磁盘缓存的目录下自动生成op_cache.ini文件开发者可通过该配置文件进行缓存磁盘空间大小的配置。若op_cache.ini文件不存在可在该路径下手动创建。不同场景下指定算子编译磁盘缓存目录的方法不同例如基于AscendCL接口开发AI应用场景下可在“aclCompileOpt”接口中通过编译选项ACL_OP_COMPILER_CACHE_DIR设置。Ascend Graph构图场景下可通过配置参数“ge.op_compiler_cache_dir”设置。ATC模型转换场景下可通过参数“--op_compiler_cache_dir”设置。PyTorch框架场景下可通过环境变量“ACL_OP_COMPILER_CACHE_DIR”设置关于“ACL_OP_COMPILER_CACHE_DIR”的介绍可参见《Ascend Extension for PyTorch 环境变量参考》。TensorFlow框架场景下可通过配置参数“op_compiler_cache_dir”设置。TF Adapter配置参数“op_compiler_cache_dir”的详细说明可参见《TensorFlow 1.15模型迁移》中的TF Adapter 1.x接口参考 session配置 session配置参数说明。《TensorFlow 2.6.5模型迁移》中的TF Adapter 2.x接口参考 npu.global_options 配置参数说明。[!NOTE]说明 以上列举场景仅为示例若无法覆盖您所使用的场景请查看对应场景的用户手册。在“op_cache.ini”文件中添加如下信息#配置文件格式必须包含自动生成的文件中默认包括如下信息手动创建时需要填写 [op_compiler_cache] #限制某个AI处理器下缓存文件的磁盘空间的大小整数单位为MB max_op_cache_size500 #当磁盘空间不足时设置需要保留的缓存文件比例取值范围[1,100]单位为百分比例如80表示磁盘空间不足时会保留80%的缓存空间中的文件其余删除 remain_cache_size_ratio80支持的型号全量芯片支持【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
ASCEND_MAX_OP_CACHE_SIZE【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge功能描述启用算子编译缓存功能时可通过此环境变量限制某个AI处理器下缓存文件夹的磁盘空间的大小。默认为500单位为MB。当编译缓存文件的大小超过此环境变量的设置值且超过半小时缓存文件未被访问时缓存文件就会老化。若需要关闭编译缓存老化功能可将环境变量“ASCEND_MAX_OP_CACHE_SIZE”设置为“-1”此时访问算子缓存时不会更新访问时间算子编译缓存不会老化磁盘空间使用默认大小500MB。[!NOTE]说明 算子编译时不会因为编译缓存文件大小超过设置值而中断所以当此环境变量的值设置过小时会出现实际编译缓存文件大小超过此设置值的情况。配置示例export ASCEND_MAX_OP_CACHE_SIZE500使用约束系统读取缓存磁盘空间大小配置的优先级如下算子编译磁盘缓存的目录下的“op_cache.ini”配置文件 ASCEND_MAX_OP_CACHE_SIZE环境变量 默认值。即若开发者同时配置了op_cache.ini文件和环境变量则优先读取op_cache.ini文件中的配置项若op_cache.ini文件和环境变量都未设置则读取系统默认值默认磁盘空间大小为500MB。关于“op_cache.ini”配置文件的详细说明可参见op_cache.ini文件说明。op_cache.ini文件说明业务开启算子编译缓存功能后会在指定的算子编译磁盘缓存的目录下自动生成op_cache.ini文件开发者可通过该配置文件进行缓存磁盘空间大小的配置。若op_cache.ini文件不存在可在该路径下手动创建。不同场景下指定算子编译磁盘缓存目录的方法不同例如基于AscendCL接口开发AI应用场景下可在“aclCompileOpt”接口中通过编译选项ACL_OP_COMPILER_CACHE_DIR设置。Ascend Graph构图场景下可通过配置参数“ge.op_compiler_cache_dir”设置。ATC模型转换场景下可通过参数“--op_compiler_cache_dir”设置。PyTorch框架场景下可通过环境变量“ACL_OP_COMPILER_CACHE_DIR”设置关于“ACL_OP_COMPILER_CACHE_DIR”的介绍可参见《Ascend Extension for PyTorch 环境变量参考》。TensorFlow框架场景下可通过配置参数“op_compiler_cache_dir”设置。TF Adapter配置参数“op_compiler_cache_dir”的详细说明可参见《TensorFlow 1.15模型迁移》中的TF Adapter 1.x接口参考 session配置 session配置参数说明。《TensorFlow 2.6.5模型迁移》中的TF Adapter 2.x接口参考 npu.global_options 配置参数说明。[!NOTE]说明 以上列举场景仅为示例若无法覆盖您所使用的场景请查看对应场景的用户手册。在“op_cache.ini”文件中添加如下信息#配置文件格式必须包含自动生成的文件中默认包括如下信息手动创建时需要填写 [op_compiler_cache] #限制某个AI处理器下缓存文件的磁盘空间的大小整数单位为MB max_op_cache_size500 #当磁盘空间不足时设置需要保留的缓存文件比例取值范围[1,100]单位为百分比例如80表示磁盘空间不足时会保留80%的缓存空间中的文件其余删除 remain_cache_size_ratio80支持的型号全量芯片支持【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
