GM与L1或L0数据搬运【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit总体说明Global Memory与L1 Buffer/L0 Buffer之间的数据搬运提供了灵活、分层的接口支持能够充分适配多样化的计算场景见表1。其中Global Memory与L1 Buffer、Global Memory-L0A Buffer、Global Memory-L0B Buffer的数据搬运用于矩阵计算参考矩阵计算的搬入L0C Buffer-Global Memory用于将矩阵计算结果搬出完成矩阵计算的输出流程参考矩阵计算的搬出。开发者能够通过灵活配置结构体参数精确控制数据块数量、数据块长度及地址间隔等关键属性实现高维切分数据搬运充分释放硬件的数据搬运与计算协同能力显著提升算子的执行效率与整体性能。表 1Global Memory与L1 Buffer/L0 Buffer数据搬运接口概述数据通路功能描述Global Memory与L1 Buffer连续数据搬运(DataCopy)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续数据搬运。Global Memory与L1 Buffer高维切分数据搬运(DataCopy)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续和非连续的数据搬运。Global Memory-L1 Buffer随路转换-ND2NZ搬运(DataCopy)支持在数据搬运时进行ND到NZ格式的转换。Global Memory-L1 Buffer随路转换-DN2NZ搬运(DataCopy)支持在数据搬运时进行DN到NZ格式的转换。Global Memory-L1 Buffer非对齐数据搬运(DataCopyPad)支持数据非对齐搬运可以根据开发者的需要自行填充数据。Global Memory-L1 BufferNZ数据搬运(LoadData2D矩阵搬运)负责完成NZ矩阵的数据搬运。Global Memory-L1 BufferNZ数据搬运(LoadData2D矩阵搬运V2)负责完成NZ矩阵的数据搬运。Global Memory-L0A Buffer2D格式分形矩阵搬运(LoadData2D矩阵搬运)负责完成普通矩阵计算所需的2D格式数据的搬运。Global Memory-L0B Buffer2D格式分形矩阵搬运(LoadData2D矩阵搬运)负责完成普通矩阵计算所需的2D格式数据的搬运。L0C Buffer-Global Memory随路量化激活搬运(DataCopy)支持多种随路能力的组合需要设置不同的寄存器配合DataCopy接口使能不同的数据搬运能力。L0C Buffer-Global Memory随路量化激活搬运(FixPipe)支持多种随路能力的组合FixPipe接口内包含了设置寄存器与数据搬运能力。GM与L1连续数据搬运(DataCopy)DataCopy能够实现Global Memory和L1 Buffer之间的连续数据搬运数据搬运时格式和内容保持不变。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1L1 Buffer - Global MemoryA1/B1 - GM搬运的数据用于矩阵计算接口具体介绍请参考GMToL1连续数据搬运DataCopy。src和dst分别为源操作数和目的操作数count为连续搬运的元素个数。Global Memory - L1 Buffertemplate typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const uint32_t count)L1 Buffer - Global Memorytemplate typename T __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorT src, const uint32_t count)GM与L1高维切分数据搬运(DataCopy)DataCopy能够实现Global Memory和L1 Buffer之间的连续数据搬运和非连续数据搬运数据搬运时格式和内容保持不变。高维切分是指能够通过配置数据块个数、单个数据块长度、地址偏移等搬运参数实现非连续搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1L1 Buffer - Global MemoryA1/B1 - GM搬运的数据用于矩阵计算接口具体介绍请参考GMToL1高维切分数据搬运DataCopy。src和dst分别为源操作数和目的操作数repeatParams为搬运参数。Global Memory - L1 Buffertemplate typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const DataCopyParams repeatParams)L1 Buffer - Global Memorytemplate typename T __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)GMToL1随路转换-ND2NZ搬运(DataCopy)该接口主要实现将数据从Global Memory搬运至L1 Buffer并支持在数据搬运时进行ND到NZ格式的转换。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1随路转换-ND2NZ搬运DataCopy。src和dst分别为源操作数和目的操作数intriParams为ND2NZ搬运配置参数。不支持enableSmallC0模式template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)支持enableSmallC0模式仅Ascend 950PR/Ascend 950DT支持template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)GMToL1随路转换-DN2NZ搬运(DataCopy)该接口主要实现将数据从Global Memory搬运至L1 Buffer并支持在数据搬运时进行DN到NZ格式的转换。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1随路转换-DN2NZ搬运DataCopy。src和dst分别为源操作数和目的操作数intriParams为DN2NZ搬运配置参数。支持enableSmallC0模式仅Ascend 950PR/Ascend 950DT支持template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Dn2NzParams intriParams);GMToL1非对齐数据搬运(DataCopyPad)该接口主要实现将数据从Global Memory搬运至L1 Buffer并支持在数据搬运时提供非对齐数据搬运功能可以根据开发者的需要自行填充数据。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1非对齐数据搬运DataCopyPad。src和dst分别为源操作数和目的操作数dataCopyParams和padParams为搬运参数。仅Ascend 950PR/Ascend 950DT支持template typename T, PaddingMode mode PaddingMode::Normal __aicore__ inline void DataCopyPad(const LocalTensorT dst, const GlobalTensorT src, const DataCopyExtParams dataCopyParams, const DataCopyPadExtParamsT padParams)GMToL1 NZ数据搬运(LoadData2D矩阵搬运)该接口主要实现将数据从Global Memory搬运至L1 Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1-2D矩阵搬运LoadData。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParams loadDataParams)GMToL1 NZ数据搬运(LoadData2D矩阵搬运V2)该接口主要实现将数据从Global Memory搬运至L1 Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1-2D矩阵搬运V2LoadData。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。仅Ascend 950PR/Ascend 950DT支持template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParamsV2 loadDataParams)GMToL0A 2D格式分形矩阵搬运(LoadData2D矩阵搬运)该接口主要实现将数据从Global Memory搬运至L0A Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L0A BufferGM - A2搬运的数据用于矩阵计算接口具体介绍请参考LoadData2D矩阵搬运。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParams loadDataParams)GMToL0B 2D格式分形矩阵搬运(LoadData2D矩阵搬运)该接口主要实现将数据从Global Memory搬运至L0B Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L0B BufferGM - B2搬运的数据用于矩阵计算接口具体介绍请参考LoadData2D矩阵搬运。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParams loadDataParams)L0CToGM随路量化激活搬运(DataCopy)该接口主要实现将数据从L0C Buffer搬运至Global Memory并支持多种随路能力的组合需要设置不同的寄存器。具体支持的数据通路为以逻辑位置TPosition表示L0C Buffer - Global MemoryCO1 - GM搬运的数据为矩阵计算的结果接口具体介绍请参考L0C到GM数据搬运DataCopy。src和dst分别为源操作数和目的操作数intriParams为搬运参数。template typename T, typename U __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorU src, const DataCopyCO12DstParams intriParams)L0CToGM随路量化激活搬运(FixPipe)该接口主要实现将数据从L0C Buffer搬运至Global Memory并支持多种随路能力的组合接口内包含了设置寄存器与数据搬运能力。具体支持的数据通路为以逻辑位置TPosition表示L0C Buffer - Global MemoryCO1 - GM搬运的数据为矩阵计算的结果以Ascend 950PR/Ascend 950DT为例接口示例如下注意不同产品型号的接口原型可能不同具体介绍请参考L0C到GM数据搬运Fixpipe。src和dst分别为源操作数和目的操作数intriParams为搬运参数cbufWorkspace为开启tensor量化时所需的量化参数。不开启随路tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const GlobalTensorT dst, const LocalTensorU src, const FixpipeParamsArch3510config.format intriParams)开启随路tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const GlobalTensorT dst, const LocalTensorU src, const LocalTensoruint64_t cbufWorkspace, const FixpipeParamsArch3510config.format intriParams)【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
GM与L1或L0数据搬运【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit总体说明Global Memory与L1 Buffer/L0 Buffer之间的数据搬运提供了灵活、分层的接口支持能够充分适配多样化的计算场景见表1。其中Global Memory与L1 Buffer、Global Memory-L0A Buffer、Global Memory-L0B Buffer的数据搬运用于矩阵计算参考矩阵计算的搬入L0C Buffer-Global Memory用于将矩阵计算结果搬出完成矩阵计算的输出流程参考矩阵计算的搬出。开发者能够通过灵活配置结构体参数精确控制数据块数量、数据块长度及地址间隔等关键属性实现高维切分数据搬运充分释放硬件的数据搬运与计算协同能力显著提升算子的执行效率与整体性能。表 1Global Memory与L1 Buffer/L0 Buffer数据搬运接口概述数据通路功能描述Global Memory与L1 Buffer连续数据搬运(DataCopy)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续数据搬运。Global Memory与L1 Buffer高维切分数据搬运(DataCopy)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续和非连续的数据搬运。Global Memory-L1 Buffer随路转换-ND2NZ搬运(DataCopy)支持在数据搬运时进行ND到NZ格式的转换。Global Memory-L1 Buffer随路转换-DN2NZ搬运(DataCopy)支持在数据搬运时进行DN到NZ格式的转换。Global Memory-L1 Buffer非对齐数据搬运(DataCopyPad)支持数据非对齐搬运可以根据开发者的需要自行填充数据。Global Memory-L1 BufferNZ数据搬运(LoadData2D矩阵搬运)负责完成NZ矩阵的数据搬运。Global Memory-L1 BufferNZ数据搬运(LoadData2D矩阵搬运V2)负责完成NZ矩阵的数据搬运。Global Memory-L0A Buffer2D格式分形矩阵搬运(LoadData2D矩阵搬运)负责完成普通矩阵计算所需的2D格式数据的搬运。Global Memory-L0B Buffer2D格式分形矩阵搬运(LoadData2D矩阵搬运)负责完成普通矩阵计算所需的2D格式数据的搬运。L0C Buffer-Global Memory随路量化激活搬运(DataCopy)支持多种随路能力的组合需要设置不同的寄存器配合DataCopy接口使能不同的数据搬运能力。L0C Buffer-Global Memory随路量化激活搬运(FixPipe)支持多种随路能力的组合FixPipe接口内包含了设置寄存器与数据搬运能力。GM与L1连续数据搬运(DataCopy)DataCopy能够实现Global Memory和L1 Buffer之间的连续数据搬运数据搬运时格式和内容保持不变。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1L1 Buffer - Global MemoryA1/B1 - GM搬运的数据用于矩阵计算接口具体介绍请参考GMToL1连续数据搬运DataCopy。src和dst分别为源操作数和目的操作数count为连续搬运的元素个数。Global Memory - L1 Buffertemplate typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const uint32_t count)L1 Buffer - Global Memorytemplate typename T __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorT src, const uint32_t count)GM与L1高维切分数据搬运(DataCopy)DataCopy能够实现Global Memory和L1 Buffer之间的连续数据搬运和非连续数据搬运数据搬运时格式和内容保持不变。高维切分是指能够通过配置数据块个数、单个数据块长度、地址偏移等搬运参数实现非连续搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1L1 Buffer - Global MemoryA1/B1 - GM搬运的数据用于矩阵计算接口具体介绍请参考GMToL1高维切分数据搬运DataCopy。src和dst分别为源操作数和目的操作数repeatParams为搬运参数。Global Memory - L1 Buffertemplate typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const DataCopyParams repeatParams)L1 Buffer - Global Memorytemplate typename T __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)GMToL1随路转换-ND2NZ搬运(DataCopy)该接口主要实现将数据从Global Memory搬运至L1 Buffer并支持在数据搬运时进行ND到NZ格式的转换。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1随路转换-ND2NZ搬运DataCopy。src和dst分别为源操作数和目的操作数intriParams为ND2NZ搬运配置参数。不支持enableSmallC0模式template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)支持enableSmallC0模式仅Ascend 950PR/Ascend 950DT支持template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)GMToL1随路转换-DN2NZ搬运(DataCopy)该接口主要实现将数据从Global Memory搬运至L1 Buffer并支持在数据搬运时进行DN到NZ格式的转换。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1随路转换-DN2NZ搬运DataCopy。src和dst分别为源操作数和目的操作数intriParams为DN2NZ搬运配置参数。支持enableSmallC0模式仅Ascend 950PR/Ascend 950DT支持template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Dn2NzParams intriParams);GMToL1非对齐数据搬运(DataCopyPad)该接口主要实现将数据从Global Memory搬运至L1 Buffer并支持在数据搬运时提供非对齐数据搬运功能可以根据开发者的需要自行填充数据。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1非对齐数据搬运DataCopyPad。src和dst分别为源操作数和目的操作数dataCopyParams和padParams为搬运参数。仅Ascend 950PR/Ascend 950DT支持template typename T, PaddingMode mode PaddingMode::Normal __aicore__ inline void DataCopyPad(const LocalTensorT dst, const GlobalTensorT src, const DataCopyExtParams dataCopyParams, const DataCopyPadExtParamsT padParams)GMToL1 NZ数据搬运(LoadData2D矩阵搬运)该接口主要实现将数据从Global Memory搬运至L1 Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1-2D矩阵搬运LoadData。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParams loadDataParams)GMToL1 NZ数据搬运(LoadData2D矩阵搬运V2)该接口主要实现将数据从Global Memory搬运至L1 Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L1 BufferGM - A1/B1搬运的数据用于矩阵计算接口具体介绍请参考GMToL1-2D矩阵搬运V2LoadData。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。仅Ascend 950PR/Ascend 950DT支持template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParamsV2 loadDataParams)GMToL0A 2D格式分形矩阵搬运(LoadData2D矩阵搬运)该接口主要实现将数据从Global Memory搬运至L0A Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L0A BufferGM - A2搬运的数据用于矩阵计算接口具体介绍请参考LoadData2D矩阵搬运。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParams loadDataParams)GMToL0B 2D格式分形矩阵搬运(LoadData2D矩阵搬运)该接口主要实现将数据从Global Memory搬运至L0B Buffer负责完成普通矩阵计算所需的2D格式数据的搬运以大小为512Byte的数据分形为单位进行搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - L0B BufferGM - B2搬运的数据用于矩阵计算接口具体介绍请参考LoadData2D矩阵搬运。src和dst分别为源操作数和目的操作数loadDataParams为搬运参数。template typename T __aicore__ inline void LoadData(const LocalTensorT dst, const GlobalTensorT src, const LoadData2DParams loadDataParams)L0CToGM随路量化激活搬运(DataCopy)该接口主要实现将数据从L0C Buffer搬运至Global Memory并支持多种随路能力的组合需要设置不同的寄存器。具体支持的数据通路为以逻辑位置TPosition表示L0C Buffer - Global MemoryCO1 - GM搬运的数据为矩阵计算的结果接口具体介绍请参考L0C到GM数据搬运DataCopy。src和dst分别为源操作数和目的操作数intriParams为搬运参数。template typename T, typename U __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorU src, const DataCopyCO12DstParams intriParams)L0CToGM随路量化激活搬运(FixPipe)该接口主要实现将数据从L0C Buffer搬运至Global Memory并支持多种随路能力的组合接口内包含了设置寄存器与数据搬运能力。具体支持的数据通路为以逻辑位置TPosition表示L0C Buffer - Global MemoryCO1 - GM搬运的数据为矩阵计算的结果以Ascend 950PR/Ascend 950DT为例接口示例如下注意不同产品型号的接口原型可能不同具体介绍请参考L0C到GM数据搬运Fixpipe。src和dst分别为源操作数和目的操作数intriParams为搬运参数cbufWorkspace为开启tensor量化时所需的量化参数。不开启随路tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const GlobalTensorT dst, const LocalTensorU src, const FixpipeParamsArch3510config.format intriParams)开启随路tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const GlobalTensorT dst, const LocalTensorU src, const LocalTensoruint64_t cbufWorkspace, const FixpipeParamsArch3510config.format intriParams)【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
