CANN/asc-devkit GetTensorC接口文档

GetTensorC【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90支持Kirin 9030支持功能说明Iterate后获取一块或者两块C矩阵片可以直接输出到GM tensor中也可以输出到UBVECINtensor中。当MatmulConfig参数中的ScheduleType取值为ScheduleType::INNER_PRODUCT时获取一块C矩阵片当MatmulConfig参数中的ScheduleType取值为ScheduleType::OUTER_PRODUCT时获取两块C矩阵片。该接口和Iterate接口配合使用用于在调用Iterate完成迭代计算后根据MatmulConfig参数中的ScheduleType取值获取一块或两块baseM * baseN大小的矩阵分片。迭代获取C矩阵分片的过程分为同步和异步两种模式同步执行完一次Iterate后执行一次GetTensorC需要同步等待C矩阵分片获取完成。异步调用Iterate后无需立即调用GetTensorC同步等待可以先执行其他逻辑待需要获取结果时再调用GetTensorC。异步方式可以减少同步等待提高并行度开发者对计算性能要求较高时可以选用该方式。函数原型获取C矩阵输出至UBVECINtemplate bool sync true __aicore__ inline void GetTensorC(const LocalTensorDstT co2Local, uint8_t enAtomic 0, bool enSequentialWrite false)支持同步模式支持异步模式获取C矩阵输出至GMtemplate bool sync true __aicore__ inline void GetTensorC(const GlobalTensorDstT gm, uint8_t enAtomic 0, bool enSequentialWrite false)支持同步模式支持异步模式获取C矩阵同时输出至GM和VECINtemplate bool sync true __aicore__ inline void GetTensorC(const GlobalTensorDstT gm, const LocalTensorDstT co2Local, uint8_t enAtomic 0, bool enSequentialWrite false)支持同步模式支持异步模式纯Cube模式只有矩阵计算模式暂不支持该接口Atlas 200I/500 A2 推理产品暂不支持同时输出至GM和VECIN获取异步场景用于缓存结果的Workspace上的C矩阵后续使用过程由开发者自行控制C矩阵输出到VECIN时分配给VECIN的Unified Buffer的大小会影响Matmul计算的力度分配给VECIN的大小过小时无法充分利用硬件算力。提供该接口支持返回缓存在Workspace上的C矩阵由开发者自行控制后续使用过程。注意在初始化时C矩阵的逻辑位置应设置为TPosition::VECIN调用该接口获取缓存的C矩阵后自行拷贝到Unified Buffer。template bool sync true __aicore__ inline GlobalTensorDstT GetTensorC(uint8_t enAtomic 0, bool enSequentialWrite false)支持异步模式以下接口中的doPad、height、width、srcGap、dstGap参数待废弃使用过程中无需传入保持默认值即可上文介绍的输出至VECIN的原型实际为不传入默认值的函数原型。template bool sync true, bool doPad false __aicore__ inline void GetTensorC(const LocalTensorDstT c, uint8_t enAtomic 0, bool enSequentialWrite false, uint32_t height 0, uint32_t width 0, uint32_t srcGap 0, uint32_t dstGap 0)参数说明表1模板参数说明参数名描述sync设置同步或者异步模式同步模式设置为true异步模式设置为false。Ascend 950PR/Ascend 950DT支持异步模式。Atlas A3 训练系列产品/Atlas A3 推理系列产品支持异步模式。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持异步模式。Atlas 推理系列产品AI Core不支持异步模式。Atlas 200I/500 A2 推理产品不支持异步模式。Kirin X90支持异步模式。表2接口参数说明参数名输入/输出描述c/co2Local输出取出C矩阵到UBVECIN。不同型号支持的数据类型请参考支持的数据类型。不同型号支持的数据格式请参考支持的数据格式。gm输出取出C矩阵到GM数据格式可以为ND或NZ。不同型号支持的数据类型请参考支持的数据类型。enAtomic输入是否开启Atomic操作默认值为0。参数取值0不开启Atomic操作1开启AtomicAdd累加操作2开启AtomicMax求最大值操作3开启AtomicMin求最小值操作对于Atlas 推理系列产品AI Core只有输出位置是GM才支持开启Atomic操作。对于Atlas 200I/500 A2 推理产品只有输出位置是GM才支持开启Atomic操作。enSequentialWrite输入是否开启连续写模式连续写写入[baseM, baseN]非连续写写入[singleCoreM, singleCoreN]中对应的位置默认值false非连续写模式。注意非连续写模式内部会按照迭代顺序算好偏移开发者不需要关注如果开发者需要决定排布顺序可以选择连续写模式自行按照设定的偏移进行搬运操作。对于Atlas 200I/500 A2 推理产品只支持非连续写模式。图1非连续写模式示意图图2连续写模式示意图返回值说明无约束说明传入的C矩阵地址空间大小需要保证不小于baseM * baseN。异步场景时需要使用一块临时空间来缓存Iterate计算结果调用GetTensorC时会在该临时空间中获取C的矩阵分片。临时空间通过SetWorkspace接口进行设置。SetWorkspace接口需要在Iterate接口之前调用。当开启MixDualMaster双主模式场景时即模板参数enableMixDualMaster设置为true不支持使用该接口。支持的数据类型Ascend 950PR/Ascend 950DT支持的数据类型为half、float、bfloat16_t、int32_t、int8_t、fp8_e4m3fn_t、hifloat8_t。Atlas A3 训练系列产品/Atlas A3 推理系列产品支持的数据类型为half、float、bfloat16_t、int32_t、int8_t。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持的数据类型为half、float、bfloat16_t、int32_t、int8_t。Atlas 推理系列产品AI Core支持的数据类型为half、float、int8_t、int32_t。Atlas 200I/500 A2 推理产品支持的数据类型为half、float、bfloat16_t、int32_t。Kirin X90支持的数据类型为half、int8_t、int32_t。Kirin 9030支持的数据类型为half。支持的数据格式Ascend 950PR/Ascend 950DT支持的数据类型为ND、NZ。Atlas A3 训练系列产品/Atlas A3 推理系列产品支持的数据类型为ND、NZ。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持的数据类型为ND、NZ。Atlas 推理系列产品AI Core支持的数据类型为NZ。Atlas 200I/500 A2 推理产品支持的数据类型为ND、NZ。调用示例获取C矩阵输出至UBVECIN// 同步模式样例 while (mm.Iterate()) { mm.GetTensorC(ubCmatrix); } // 异步模式样例 mm.template Iteratefalse(); // 其他操作 for (int i 0; i singleM / baseM * singleN / baseN; i) { mm.template GetTensorCfalse(ubCmatrix); // 其他操作 }获取C矩阵输出至GM同步模式样例while (mm.Iterate()) { mm.GetTensorC(gm); }获取C矩阵同时输出至GM和VECIN同步模式样例while (mm.Iterate()) { mm.GetTensorC(gm, ubCmatrix); }获取API接口返回的GM上的C矩阵手动拷贝至UB异步模式样例// BaseM * BaseN 128 *256 mm.SetTensorA(gmA); mm.SetTensorB(gmB); mm.SetTail(singleM, singleN, singleK); mm.template Iteratefalse(); // 其他操作 for (int i 0; i singleM / baseM * singleN / baseN; i) { // 获取每次计算的BaseM*BaseN的数据128*256 GlobalTensorT global mm.template GetTensorCfalse(); for (int j 0; j 4; j) { LocalTensor local que.AllocTensorhalf(); // 分配64*128大小的UB空间 DataCopy(local, global[64 * 128 * i], 64 * 128); // 将GM的数据拷贝进UB中进行后续的Vector操作 // 其他Vector操作 } }【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考