核间同步能力概述【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit核间同步的使用场景通常是一个核计算所依赖的数据需要等待其他相关核的计算全部完成后才能获取。以图1为例AIC需要依赖于AIV的ReduceSum计算结果。由于整体矢量较大必须拆分为多个部分由每个AIV分别完成部分计算。每个AIV将其部分计算结果通过原子累加写入GM。AIC需要读取的必须是所有AIV均完成累加后的最终结果因此需要通过核间同步来保证AIC读取ReduceSum结果时的时序正确性。图1核间同步业务场景示例图AIC:AIV为1 : 2AIC/AIV多核结构如下图2所示AIC/AIV按group划分。一个group内细分block及subblockblock与subblock比例为1:NN1block表示多少个“主核”subblock表示一个“主核”带多少个“从核”。算子按计算特征可分为三类Cube算子矩阵计算、Vector算子矢量计算和Mix算子同时包含矩阵和矢量计算。如表1所示算子类型决定了其所需的核间同步方式和可选的group配置模式。其中Mix算子通过函数修饰符指定AIC与AIV的block/subblock关系Cube算子和Vector算子为单类核执行不涉及block/subblock划分。AIV为block且AIC为subblock的配置即Vector核为主、Cube核为辅的模式当前不支持。表2总结了核间同步接口及其支持的同步场景。图2block和subblock之间关系灰色部分表示一个group即1个block和N个subblock 表1group配置算子类型函数修饰符Kernel类型block/subblock1 NCube算子__cube__KERNEL_TYPE_AIC_ONLYAIC为block无subblock不涉及Vector算子__vector__KERNEL_TYPE_AIV_ONLYAIV为block无subblock不涉及Mix算子__mix__(1, 0)KERNEL_TYPE_MIX_AIC_1_0AIC为block无subblock不涉及Mix算子__mix__(0, 1)KERNEL_TYPE_MIX_AIV_1_0AIV为block无subblock不涉及Mix算子__mix__(1, 1)KERNEL_TYPE_MIX_AIC_1_1AIC为blockAIV为subblock11Mix算子__mix__(1, 2)KERNEL_TYPE_MIX_AIC_1_2AIC为blockAIV为subblock12表2支持的核间同步场景接口名称核间同步场景概述同步类别CrossCoreSetFlag.md)/CrossCoreWaitFlag.md)多个AIC或AIV之间的同步控制。CrossCoreSetFlag负责发送通知CrossCoreWaitFlag负责阻塞直到CrossCoreSetFlag发送通知。支持以下同步场景•模式0同步等待全部AIC或者同步等待全部AIV执行结束。•模式1单个AI Core内全部AIV之间的同步。•模式2单个AI Core内AIC与全部AIV之间的同步。•模式4单个AI Core内AIC核与单个AIV之间同步。硬件同步IBSet/IBWaitIBSet和IBWait配合使用用于一对AIV间的同步等待核调用IBWait阻塞本核后续指令的执行被等待核调用IBSet通知等待核解除阻塞。上述同步过程的原理如下被等待核中调用IBSet通过将值1写入全局内存中某块地址来通知等待核而等待核中调用IBWait持续读取全局内存中相应地址块的值直到其值变为1。软件同步SyncAll用于多个核之间的同步控制支持以下同步场景•纯Vector算子的全核同步可参考CrossCoreSetFlag的模式0。•融合算子的全核同步一次性实现三个核间同步能力参考CrossCoreSetFlag的关键特性说明首先完成单个AI Core内AIC与全部AIV之间的同步AIC等AIV接着完成多个AI Core间所有AIC的同步最后完成单个AI Core内所有AIV与AIC同步AIV等AIC。硬件同步SyncAll仅支持纯Vector算子的多核参与同步的核数可通过入参指定同步。每一个AIV都向全局内存对应位置写入信号值1接着每一个AIV都持续轮询全局内存中所有AIV对应的信号值直到所有AIV核对应的信号值都变为1。软件同步InitDetermineComputeWorkspace/NotifyNextBlock/WaitPreBlock• InitDetermineComputeWorkspace、NotifyNextBlock和WaitPreBlock三个接口必须组合使用能够确保多个AIV核严格按照blockIdx的升序执行适用于要求确定性计算的场景。• InitDetermineComputeWorkspace初始化GM共享内存的值完成初始化后才可以调用NotifyNextBlock和WaitPreBlock。• NotifyNextBlock通过写全局内存来通知其他核当前核已执行完成其他核可以继续往下执行WaitPreBlock通过读取全局内存判断当前核是否可以继续往下执行。软件同步【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
核间同步能力概述【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit核间同步的使用场景通常是一个核计算所依赖的数据需要等待其他相关核的计算全部完成后才能获取。以图1为例AIC需要依赖于AIV的ReduceSum计算结果。由于整体矢量较大必须拆分为多个部分由每个AIV分别完成部分计算。每个AIV将其部分计算结果通过原子累加写入GM。AIC需要读取的必须是所有AIV均完成累加后的最终结果因此需要通过核间同步来保证AIC读取ReduceSum结果时的时序正确性。图1核间同步业务场景示例图AIC:AIV为1 : 2AIC/AIV多核结构如下图2所示AIC/AIV按group划分。一个group内细分block及subblockblock与subblock比例为1:NN1block表示多少个“主核”subblock表示一个“主核”带多少个“从核”。算子按计算特征可分为三类Cube算子矩阵计算、Vector算子矢量计算和Mix算子同时包含矩阵和矢量计算。如表1所示算子类型决定了其所需的核间同步方式和可选的group配置模式。其中Mix算子通过函数修饰符指定AIC与AIV的block/subblock关系Cube算子和Vector算子为单类核执行不涉及block/subblock划分。AIV为block且AIC为subblock的配置即Vector核为主、Cube核为辅的模式当前不支持。表2总结了核间同步接口及其支持的同步场景。图2block和subblock之间关系灰色部分表示一个group即1个block和N个subblock 表1group配置算子类型函数修饰符Kernel类型block/subblock1 NCube算子__cube__KERNEL_TYPE_AIC_ONLYAIC为block无subblock不涉及Vector算子__vector__KERNEL_TYPE_AIV_ONLYAIV为block无subblock不涉及Mix算子__mix__(1, 0)KERNEL_TYPE_MIX_AIC_1_0AIC为block无subblock不涉及Mix算子__mix__(0, 1)KERNEL_TYPE_MIX_AIV_1_0AIV为block无subblock不涉及Mix算子__mix__(1, 1)KERNEL_TYPE_MIX_AIC_1_1AIC为blockAIV为subblock11Mix算子__mix__(1, 2)KERNEL_TYPE_MIX_AIC_1_2AIC为blockAIV为subblock12表2支持的核间同步场景接口名称核间同步场景概述同步类别CrossCoreSetFlag.md)/CrossCoreWaitFlag.md)多个AIC或AIV之间的同步控制。CrossCoreSetFlag负责发送通知CrossCoreWaitFlag负责阻塞直到CrossCoreSetFlag发送通知。支持以下同步场景•模式0同步等待全部AIC或者同步等待全部AIV执行结束。•模式1单个AI Core内全部AIV之间的同步。•模式2单个AI Core内AIC与全部AIV之间的同步。•模式4单个AI Core内AIC核与单个AIV之间同步。硬件同步IBSet/IBWaitIBSet和IBWait配合使用用于一对AIV间的同步等待核调用IBWait阻塞本核后续指令的执行被等待核调用IBSet通知等待核解除阻塞。上述同步过程的原理如下被等待核中调用IBSet通过将值1写入全局内存中某块地址来通知等待核而等待核中调用IBWait持续读取全局内存中相应地址块的值直到其值变为1。软件同步SyncAll用于多个核之间的同步控制支持以下同步场景•纯Vector算子的全核同步可参考CrossCoreSetFlag的模式0。•融合算子的全核同步一次性实现三个核间同步能力参考CrossCoreSetFlag的关键特性说明首先完成单个AI Core内AIC与全部AIV之间的同步AIC等AIV接着完成多个AI Core间所有AIC的同步最后完成单个AI Core内所有AIV与AIC同步AIV等AIC。硬件同步SyncAll仅支持纯Vector算子的多核参与同步的核数可通过入参指定同步。每一个AIV都向全局内存对应位置写入信号值1接着每一个AIV都持续轮询全局内存中所有AIV对应的信号值直到所有AIV核对应的信号值都变为1。软件同步InitDetermineComputeWorkspace/NotifyNextBlock/WaitPreBlock• InitDetermineComputeWorkspace、NotifyNextBlock和WaitPreBlock三个接口必须组合使用能够确保多个AIV核严格按照blockIdx的升序执行适用于要求确定性计算的场景。• InitDetermineComputeWorkspace初始化GM共享内存的值完成初始化后才可以调用NotifyNextBlock和WaitPreBlock。• NotifyNextBlock通过写全局内存来通知其他核当前核已执行完成其他核可以继续往下执行WaitPreBlock通过读取全局内存判断当前核是否可以继续往下执行。软件同步【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
