1. 数据布局解决什么问题共享内存访问速度较快但如果一个 Warp 中的线程集中访问同一个 Bank访问可能被拆成多个步骤产生银行冲突。因此共享内存优化不仅要考虑数据是否放入共享内存线程是否正确同步数据是否会被重复使用还要考虑数据如何排列才能让一个 Warp 中的线程尽量访问不同的 Bank例如下面两种访问方式可能有不同性能方式一 线程 0 → Bank 0 线程 1 → Bank 1 线程 2 → Bank 2 线程 3 → Bank 3 方式二 线程 0 → Bank 0 线程 1 → Bank 0 线程 2 → Bank 0 线程 3 → Bank 0第一种可以更好地并行访问第二种可能发生银行冲突。2. 共享内存地址与 Bank 映射2.1 Bank 是什么共享内存被划分为多个 Bank。一个 Warp 中的线程访问共享内存时硬件会根据地址将访问分配到不同 Bank。在常见配置下可以近似使用下面的公式理解 Bank 编号Bank (地址 / 4) % 32其中地址表示共享内存字节地址4表示以 4 字节为一个基本访问单位32表示常见的 Bank 数量。具体硬件行为可能受到 GPU 架构、数据类型和访问宽度影响因此该公式主要用于理解和推导。2.2 连续元素的映射假设共享内存中有一个float数组__shared__floatdata[32];每个float占 4 字节因此data[0] → Bank 0 data[1] → Bank 1 data[2] → Bank 2 ... data[31] → Bank 31如果一个 Warp 中的线程分别访问data[threadIdx.x]那么线程 0 到线程 31 通常会访问不同 Bank。2.3 跨步访问的映射如果线程访问的元素间隔较大data[threadIdx.x*2]访问可能变成线程 0 → data[0] → Bank 0 线程 1 → data[2] → Bank 2 线程 2 → data[4] → Bank 4 ...当步长继续增大时Bank 映射可能发生周期性重复。例如步长为 32data[threadIdx.x*32]则线程 0 → Bank 0 线程 1 → Bank 0 线程 2 → Bank 0 ...这会造成严重的 Bank 冲突。3. 银行冲突、广播与不同地址访问3.1 银行冲突当同一个 Warp 中的多个线程访问同一个 Bank 的不同地址时可能产生银行冲突线程 0 → Bank 0 的地址 A 线程 1 → Bank 0 的地址 B 线程 2 → Bank 0 的地址 C硬件可能需要将访问分成多个阶段完成。冲突程度通常可以粗略理解为2 个线程访问同一 Bank可能形成 2 路冲突。4 个线程访问同一 Bank可能形成 4 路冲突。32 个线程访问同一 Bank可能形成严重冲突。3.2 广播访问如果多个线程访问同一个 Bank 中的同一个地址硬件通常可以进行广播线程 0 → data[0] 线程 1 → data[0] 线程 2 → data[0]这与多个线程访问同一个 Bank 中的不同地址不同线程 0 → data[0] 线程 1 → data[32] 线程 2 → data[64]因此多个线程读取同一个地址通常不同于多个线程读取同一个 Bank 中的不同地址。3.3 写入时也要考虑冲突银行冲突不只发生在读取时写入共享内存时也需要观察线程访问的地址分布。例如shared_data[threadIdx.x*stride]value;如果stride导致多个线程映射到同一个 Bank就可能影响写入效率。4. 一维数组的数据布局4.1 连续布局一维数组通常按照线性顺序排列__shared__floatdata[256];逻辑布局可以表示为data[0], data[1], data[2], ..., data[255]如果线程按下面的方式访问data[threadIdx.x]相邻线程通常访问相邻元素Bank 分布较均匀。4.2 跨步布局如果线程访问data[threadIdx.x*stride]Bank 分布由stride决定。可以使用简化公式推导访问元素 线程编号 × stride Bank (线程编号 × stride) % 32例如stride 1线程通常访问连续 Bank。stride 2线程访问 Bank 0、2、4、6 等。stride 16可能只使用少量 Bank。stride 32所有线程可能映射到同一 Bank。因此设计一维布局时需要同时观察线程访问的元素下标相邻线程的地址间隔这些地址对应的 Bank是否有多个线程访问同一 Bank 的不同地址。4.3 不同数据类型的影响如果共享内存中使用的是float一个元素通常占 4 字节。如果使用doubledata[...];一个元素通常占 8 字节。线程访问相邻double元素时一个元素会跨越更多字节Bank 映射和访问事务可能更复杂。因此不能只看“数组下标是否连续”还要考虑元素大小访问宽度数据是否自然对齐GPU 架构对该数据类型的处理方式。5. 二维数组与矩阵布局5.1 行主序C/C 中的二维数组通常按行主序存储floatmatrix[rows][cols];逻辑上第 0 行matrix[0][0] matrix[0][1] matrix[0][2] ... 第 1 行matrix[1][0] matrix[1][1] matrix[1][2] ... 第 2 行matrix[2][0] matrix[2][1] matrix[2][2] ...元素matrix[row][col]的线性下标为row*colscol5.2 按行访问如果一个 Warp 中的线程访问同一行的连续列matrix[row][threadIdx.x]那么访问的线性元素通常是matrix[row][0] matrix[row][1] matrix[row][2] ...相邻线程访问相邻元素Bank 分布通常较好。5.3 按列访问如果一个 Warp 中的线程访问同一列的不同行matrix[threadIdx.x][col]访问的线性下标是threadIdx.x * cols col相邻线程之间的步长为cols。当cols恰好是 32 或者是 32 的倍数时可能出现线程 0 → Bank 0 线程 1 → Bank 0 线程 2 → Bank 0 ...这会导致严重的银行冲突。因此按行存储的二维数组通常更适合按行访问而不是直接按列访问。6. Tile 布局与线程映射矩阵计算中经常把数据划分为小块称为 Tile完整矩阵 ------------------ | Tile | Tile | Tile | ------------------ | Tile | Tile | Tile | ------------------一个 Block 通常负责处理一个 Tile。6.1 典型二维线程映射introwblockIdx.y*blockDim.ythreadIdx.y;intcolblockIdx.x*blockDim.xthreadIdx.x;加载共享内存时tile[threadIdx.y][threadIdx.x]input[row*widthcol];如果threadIdx.x对应连续列那么一个 Warp 中的线程通常会连续读取全局内存。6.2 共享内存中的布局典型 Tile 布局__shared__floattile[32][32];逻辑上tile[0][0] tile[0][1] tile[0][2] ... tile[1][0] tile[1][1] tile[1][2] ... tile[2][0] tile[2][1] tile[2][2] ...访问tile[threadIdx.y][threadIdx.x]通常适合按行读取。但如果随后执行转置式访问tile[threadIdx.x][threadIdx.y]就可能出现按列读取从而引发银行冲突。7. Padding通过填充改变布局7.1 为什么需要 Padding假设共享内存使用__shared__floattile[32][32];按列访问时每一行的长度是 32。由于 Bank 数量通常也是 32相邻行的同一列可能映射到同一个 Bank。可以把地址关系简化为tile[row][col] 的线性位置 ≈ row × 32 col固定col、改变row时Bank (row × 32 col) % 32 col因此同一列的所有元素可能落在同一个 Bank。7.2 使用 33 列填充可以把布局改为__shared__floattile[32][33];这意味着每一行多出一个填充元素。固定列访问时Bank (row × 33 col) % 32 (row col) % 32随着row变化Bank 也随之变化线程访问会更均匀。示例__shared__floattile[32][33];这里的第 33 列通常不是有效数据而是为了改变行间距和 Bank 映射。7.3 Padding 的代价Padding 并不是免费优化会额外占用共享内存。可能降低每个 SM 同时驻留的 Block 数量。需要重新计算行跨度。不能保证所有访问模式都受益。因此应确认确实存在银行冲突Padding 能改变冲突的映射额外共享内存不会造成更大的资源瓶颈。8. 典型算法中的布局设计8.1 矩阵转置矩阵转置是共享内存布局优化的经典例子。目标是同时改善全局内存读取的连续性全局内存写入的连续性共享内存访问的 Bank 分布。典型流程全局内存按行连续读取 ↓ 写入共享内存 Tile ↓ 同步 Block 内线程 ↓ 改变读取方向 ↓ 全局内存按行连续写回共享内存通常使用 Padding__shared__floattile[32][33];示例结构__global__voidtranspose(constfloat*input,float*output,intwidth,intheight){__shared__floattile[32][33];intxblockIdx.x*32threadIdx.x;intyblockIdx.y*32threadIdx.y;if(xwidthyheight){tile[threadIdx.y][threadIdx.x]input[y*widthx];}__syncthreads();inttxblockIdx.y*32threadIdx.x;inttyblockIdx.x*32threadIdx.y;if(txheighttywidth){output[ty*heighttx]tile[threadIdx.x][threadIdx.y];}}这里加载阶段使用tile[threadIdx.y][threadIdx.x]读取阶段使用tile[threadIdx.x][threadIdx.y]第二维设置为 33用于减少转置访问中的银行冲突。8.2 矩阵乘法矩阵乘法通常需要让多个线程重复使用 Tile 中的数据。一种常见布局是__shared__floattile_a[TILE][TILE];__shared__floattile_b[TILE][TILE];线程加载tile_a[threadIdx.y][threadIdx.x]...;tile_b[threadIdx.y][threadIdx.x]...;计算时for(intk0;kTILE;k){sumtile_a[threadIdx.y][k]*tile_b[k][threadIdx.x];}这个布局的目标是让加载阶段尽量连续让计算阶段可以重复利用数据减少全局内存重复读取避免共享内存访问形成严重冲突。8.3 归约归约操作通常让线程把局部结果放入共享内存__shared__floatpartial[256];partial[threadIdx.x]input[index];__syncthreads();然后逐步合并for(intstrideblockDim.x/2;stride0;stride/2){if(threadIdx.xstride){partial[threadIdx.x]partial[threadIdx.xstride];}__syncthreads();}归约布局需要关注每轮哪些线程参与线程访问的下标间隔是否会出现 Bank 冲突同步是否放在正确位置。8.4 卷积和图像处理卷积通常把输入图像的一部分加载到共享内存输入图像 Tile 边界区域 ↓ 共享内存 ↓ 多个线程重复读取邻域数据布局设计需要考虑图像的行宽每个线程负责的像素Halo 区域即计算边界所需的额外输入行访问和列访问的 Bank 分布对齐和共享内存容量。9. 布局优化的分析方法9.1 第一步列出线程访问下标不要直接凭感觉判断是否冲突先写出一个 Warp 的访问下标。例如tile[threadIdx.x][5]假设tile每行长度为 32则线性下标为threadIdx.x × 32 5如果以 32 个 Bank 计算Bank (threadIdx.x × 32 5) % 32 5所有线程都映射到 Bank 5可能形成严重冲突。9.2 第二步修改布局后重新推导将行宽改为 33tile[threadIdx.x][5]线性下标变为threadIdx.x × 33 5Bank 为Bank (threadIdx.x × 33 5) % 32 (threadIdx.x 5) % 32此时线程会依次访问不同 Bank冲突明显减少。9.3 第三步检查同步关系布局优化不能只看 Bank还要保证数据依赖正确写入共享内存 ↓ __syncthreads() ↓ 其他线程读取如果没有同步即使 Bank 分布理想也可能读取到尚未写入完成的数据。9.4 第四步确认边界处理Tile 通常位于输入数据边界附近因此需要处理行数不是 Tile 大小整数倍列数不是 Tile 大小整数倍线程访问越过有效数据范围Padding 区域不应被误当作有效数据。常见做法if(rowheightcolwidth){tile[threadIdx.y][threadIdx.x]input[row*widthcol];}10. 如何验证布局优化10.1 检查结果正确性任何布局优化都必须先确认计算结果没有变化与 CPU 结果比较与未优化 Kernel 比较检查边界输入检查不同矩阵尺寸检查非 32 倍数尺寸。10.2 使用性能分析工具可以使用Nsight Compute分析共享内存事务、银行冲突和 Kernel 性能。Nsight Systems观察 Kernel 与数据传输时间线。CUDA Event测量 GPU 操作耗时。重点观察Shared Memory Bank ConflictsShared Memory Load/Store EfficiencyGlobal Memory Load/Store EfficiencyKernel 执行时间Occupancy 是否因共享内存增加而下降。10.3 对比完整成本Padding 或 Tile 优化后不应只看银行冲突指标还要综合观察银行冲突减少 共享内存使用量变化 Occupancy 变化 同步开销变化 Kernel 总时间变化最终目标是降低实际执行时间而不是只让某一个指标变得更好看。11. 常见误解误解一二维数组的行列位置不会影响性能会。按行存储的数据按行访问通常连续按列访问可能产生较大步长和银行冲突。误解二增加一列 Padding 就一定更快Padding 只对特定访问模式有效。如果原本没有冲突增加 Padding 只会额外消耗共享内存。误解三共享内存地址连续就一定没有冲突还要看相邻线程访问的地址元素大小Bank 数量访问宽度是否是读取同一地址或读取同一 Bank 的不同地址。误解四Bank 冲突和全局内存不合并访问是同一个问题两者都与内存访问模式有关但发生位置不同全局内存主要关注合并访问和内存事务共享内存主要关注 Bank 映射和银行冲突。误解五只改变共享内存数组大小不需要修改访问代码如果使用 Padding行跨度发生变化。所有计算行地址的代码都必须使用新的跨度否则可能访问错误位置。12. 总结CUDA 共享内存数据布局的核心是让一个 Warp 中的线程访问共享内存时尽量分布到不同 Bank同时保持数据访问逻辑正确。可以按照以下流程设计布局确定线程与数据元素的对应关系。写出一个 Warp 的共享内存访问下标。根据元素大小和行跨度推导 Bank 映射。判断是否存在多个线程访问同一 Bank 的不同地址。必要时使用 Padding 或调整数据布局。添加正确的同步屏障。检查边界和数据正确性。使用性能工具验证实际收益。最经典的布局技巧是__shared__floattile[32][33];它通过增加一个填充元素把原本可能集中到同一 Bank 的列访问分散开。但需要记住Padding 是解决特定 Bank 冲突的手段不是共享内存优化的通用答案。
1. 数据布局解决什么问题共享内存访问速度较快但如果一个 Warp 中的线程集中访问同一个 Bank访问可能被拆成多个步骤产生银行冲突。因此共享内存优化不仅要考虑数据是否放入共享内存线程是否正确同步数据是否会被重复使用还要考虑数据如何排列才能让一个 Warp 中的线程尽量访问不同的 Bank例如下面两种访问方式可能有不同性能方式一 线程 0 → Bank 0 线程 1 → Bank 1 线程 2 → Bank 2 线程 3 → Bank 3 方式二 线程 0 → Bank 0 线程 1 → Bank 0 线程 2 → Bank 0 线程 3 → Bank 0第一种可以更好地并行访问第二种可能发生银行冲突。2. 共享内存地址与 Bank 映射2.1 Bank 是什么共享内存被划分为多个 Bank。一个 Warp 中的线程访问共享内存时硬件会根据地址将访问分配到不同 Bank。在常见配置下可以近似使用下面的公式理解 Bank 编号Bank (地址 / 4) % 32其中地址表示共享内存字节地址4表示以 4 字节为一个基本访问单位32表示常见的 Bank 数量。具体硬件行为可能受到 GPU 架构、数据类型和访问宽度影响因此该公式主要用于理解和推导。2.2 连续元素的映射假设共享内存中有一个float数组__shared__floatdata[32];每个float占 4 字节因此data[0] → Bank 0 data[1] → Bank 1 data[2] → Bank 2 ... data[31] → Bank 31如果一个 Warp 中的线程分别访问data[threadIdx.x]那么线程 0 到线程 31 通常会访问不同 Bank。2.3 跨步访问的映射如果线程访问的元素间隔较大data[threadIdx.x*2]访问可能变成线程 0 → data[0] → Bank 0 线程 1 → data[2] → Bank 2 线程 2 → data[4] → Bank 4 ...当步长继续增大时Bank 映射可能发生周期性重复。例如步长为 32data[threadIdx.x*32]则线程 0 → Bank 0 线程 1 → Bank 0 线程 2 → Bank 0 ...这会造成严重的 Bank 冲突。3. 银行冲突、广播与不同地址访问3.1 银行冲突当同一个 Warp 中的多个线程访问同一个 Bank 的不同地址时可能产生银行冲突线程 0 → Bank 0 的地址 A 线程 1 → Bank 0 的地址 B 线程 2 → Bank 0 的地址 C硬件可能需要将访问分成多个阶段完成。冲突程度通常可以粗略理解为2 个线程访问同一 Bank可能形成 2 路冲突。4 个线程访问同一 Bank可能形成 4 路冲突。32 个线程访问同一 Bank可能形成严重冲突。3.2 广播访问如果多个线程访问同一个 Bank 中的同一个地址硬件通常可以进行广播线程 0 → data[0] 线程 1 → data[0] 线程 2 → data[0]这与多个线程访问同一个 Bank 中的不同地址不同线程 0 → data[0] 线程 1 → data[32] 线程 2 → data[64]因此多个线程读取同一个地址通常不同于多个线程读取同一个 Bank 中的不同地址。3.3 写入时也要考虑冲突银行冲突不只发生在读取时写入共享内存时也需要观察线程访问的地址分布。例如shared_data[threadIdx.x*stride]value;如果stride导致多个线程映射到同一个 Bank就可能影响写入效率。4. 一维数组的数据布局4.1 连续布局一维数组通常按照线性顺序排列__shared__floatdata[256];逻辑布局可以表示为data[0], data[1], data[2], ..., data[255]如果线程按下面的方式访问data[threadIdx.x]相邻线程通常访问相邻元素Bank 分布较均匀。4.2 跨步布局如果线程访问data[threadIdx.x*stride]Bank 分布由stride决定。可以使用简化公式推导访问元素 线程编号 × stride Bank (线程编号 × stride) % 32例如stride 1线程通常访问连续 Bank。stride 2线程访问 Bank 0、2、4、6 等。stride 16可能只使用少量 Bank。stride 32所有线程可能映射到同一 Bank。因此设计一维布局时需要同时观察线程访问的元素下标相邻线程的地址间隔这些地址对应的 Bank是否有多个线程访问同一 Bank 的不同地址。4.3 不同数据类型的影响如果共享内存中使用的是float一个元素通常占 4 字节。如果使用doubledata[...];一个元素通常占 8 字节。线程访问相邻double元素时一个元素会跨越更多字节Bank 映射和访问事务可能更复杂。因此不能只看“数组下标是否连续”还要考虑元素大小访问宽度数据是否自然对齐GPU 架构对该数据类型的处理方式。5. 二维数组与矩阵布局5.1 行主序C/C 中的二维数组通常按行主序存储floatmatrix[rows][cols];逻辑上第 0 行matrix[0][0] matrix[0][1] matrix[0][2] ... 第 1 行matrix[1][0] matrix[1][1] matrix[1][2] ... 第 2 行matrix[2][0] matrix[2][1] matrix[2][2] ...元素matrix[row][col]的线性下标为row*colscol5.2 按行访问如果一个 Warp 中的线程访问同一行的连续列matrix[row][threadIdx.x]那么访问的线性元素通常是matrix[row][0] matrix[row][1] matrix[row][2] ...相邻线程访问相邻元素Bank 分布通常较好。5.3 按列访问如果一个 Warp 中的线程访问同一列的不同行matrix[threadIdx.x][col]访问的线性下标是threadIdx.x * cols col相邻线程之间的步长为cols。当cols恰好是 32 或者是 32 的倍数时可能出现线程 0 → Bank 0 线程 1 → Bank 0 线程 2 → Bank 0 ...这会导致严重的银行冲突。因此按行存储的二维数组通常更适合按行访问而不是直接按列访问。6. Tile 布局与线程映射矩阵计算中经常把数据划分为小块称为 Tile完整矩阵 ------------------ | Tile | Tile | Tile | ------------------ | Tile | Tile | Tile | ------------------一个 Block 通常负责处理一个 Tile。6.1 典型二维线程映射introwblockIdx.y*blockDim.ythreadIdx.y;intcolblockIdx.x*blockDim.xthreadIdx.x;加载共享内存时tile[threadIdx.y][threadIdx.x]input[row*widthcol];如果threadIdx.x对应连续列那么一个 Warp 中的线程通常会连续读取全局内存。6.2 共享内存中的布局典型 Tile 布局__shared__floattile[32][32];逻辑上tile[0][0] tile[0][1] tile[0][2] ... tile[1][0] tile[1][1] tile[1][2] ... tile[2][0] tile[2][1] tile[2][2] ...访问tile[threadIdx.y][threadIdx.x]通常适合按行读取。但如果随后执行转置式访问tile[threadIdx.x][threadIdx.y]就可能出现按列读取从而引发银行冲突。7. Padding通过填充改变布局7.1 为什么需要 Padding假设共享内存使用__shared__floattile[32][32];按列访问时每一行的长度是 32。由于 Bank 数量通常也是 32相邻行的同一列可能映射到同一个 Bank。可以把地址关系简化为tile[row][col] 的线性位置 ≈ row × 32 col固定col、改变row时Bank (row × 32 col) % 32 col因此同一列的所有元素可能落在同一个 Bank。7.2 使用 33 列填充可以把布局改为__shared__floattile[32][33];这意味着每一行多出一个填充元素。固定列访问时Bank (row × 33 col) % 32 (row col) % 32随着row变化Bank 也随之变化线程访问会更均匀。示例__shared__floattile[32][33];这里的第 33 列通常不是有效数据而是为了改变行间距和 Bank 映射。7.3 Padding 的代价Padding 并不是免费优化会额外占用共享内存。可能降低每个 SM 同时驻留的 Block 数量。需要重新计算行跨度。不能保证所有访问模式都受益。因此应确认确实存在银行冲突Padding 能改变冲突的映射额外共享内存不会造成更大的资源瓶颈。8. 典型算法中的布局设计8.1 矩阵转置矩阵转置是共享内存布局优化的经典例子。目标是同时改善全局内存读取的连续性全局内存写入的连续性共享内存访问的 Bank 分布。典型流程全局内存按行连续读取 ↓ 写入共享内存 Tile ↓ 同步 Block 内线程 ↓ 改变读取方向 ↓ 全局内存按行连续写回共享内存通常使用 Padding__shared__floattile[32][33];示例结构__global__voidtranspose(constfloat*input,float*output,intwidth,intheight){__shared__floattile[32][33];intxblockIdx.x*32threadIdx.x;intyblockIdx.y*32threadIdx.y;if(xwidthyheight){tile[threadIdx.y][threadIdx.x]input[y*widthx];}__syncthreads();inttxblockIdx.y*32threadIdx.x;inttyblockIdx.x*32threadIdx.y;if(txheighttywidth){output[ty*heighttx]tile[threadIdx.x][threadIdx.y];}}这里加载阶段使用tile[threadIdx.y][threadIdx.x]读取阶段使用tile[threadIdx.x][threadIdx.y]第二维设置为 33用于减少转置访问中的银行冲突。8.2 矩阵乘法矩阵乘法通常需要让多个线程重复使用 Tile 中的数据。一种常见布局是__shared__floattile_a[TILE][TILE];__shared__floattile_b[TILE][TILE];线程加载tile_a[threadIdx.y][threadIdx.x]...;tile_b[threadIdx.y][threadIdx.x]...;计算时for(intk0;kTILE;k){sumtile_a[threadIdx.y][k]*tile_b[k][threadIdx.x];}这个布局的目标是让加载阶段尽量连续让计算阶段可以重复利用数据减少全局内存重复读取避免共享内存访问形成严重冲突。8.3 归约归约操作通常让线程把局部结果放入共享内存__shared__floatpartial[256];partial[threadIdx.x]input[index];__syncthreads();然后逐步合并for(intstrideblockDim.x/2;stride0;stride/2){if(threadIdx.xstride){partial[threadIdx.x]partial[threadIdx.xstride];}__syncthreads();}归约布局需要关注每轮哪些线程参与线程访问的下标间隔是否会出现 Bank 冲突同步是否放在正确位置。8.4 卷积和图像处理卷积通常把输入图像的一部分加载到共享内存输入图像 Tile 边界区域 ↓ 共享内存 ↓ 多个线程重复读取邻域数据布局设计需要考虑图像的行宽每个线程负责的像素Halo 区域即计算边界所需的额外输入行访问和列访问的 Bank 分布对齐和共享内存容量。9. 布局优化的分析方法9.1 第一步列出线程访问下标不要直接凭感觉判断是否冲突先写出一个 Warp 的访问下标。例如tile[threadIdx.x][5]假设tile每行长度为 32则线性下标为threadIdx.x × 32 5如果以 32 个 Bank 计算Bank (threadIdx.x × 32 5) % 32 5所有线程都映射到 Bank 5可能形成严重冲突。9.2 第二步修改布局后重新推导将行宽改为 33tile[threadIdx.x][5]线性下标变为threadIdx.x × 33 5Bank 为Bank (threadIdx.x × 33 5) % 32 (threadIdx.x 5) % 32此时线程会依次访问不同 Bank冲突明显减少。9.3 第三步检查同步关系布局优化不能只看 Bank还要保证数据依赖正确写入共享内存 ↓ __syncthreads() ↓ 其他线程读取如果没有同步即使 Bank 分布理想也可能读取到尚未写入完成的数据。9.4 第四步确认边界处理Tile 通常位于输入数据边界附近因此需要处理行数不是 Tile 大小整数倍列数不是 Tile 大小整数倍线程访问越过有效数据范围Padding 区域不应被误当作有效数据。常见做法if(rowheightcolwidth){tile[threadIdx.y][threadIdx.x]input[row*widthcol];}10. 如何验证布局优化10.1 检查结果正确性任何布局优化都必须先确认计算结果没有变化与 CPU 结果比较与未优化 Kernel 比较检查边界输入检查不同矩阵尺寸检查非 32 倍数尺寸。10.2 使用性能分析工具可以使用Nsight Compute分析共享内存事务、银行冲突和 Kernel 性能。Nsight Systems观察 Kernel 与数据传输时间线。CUDA Event测量 GPU 操作耗时。重点观察Shared Memory Bank ConflictsShared Memory Load/Store EfficiencyGlobal Memory Load/Store EfficiencyKernel 执行时间Occupancy 是否因共享内存增加而下降。10.3 对比完整成本Padding 或 Tile 优化后不应只看银行冲突指标还要综合观察银行冲突减少 共享内存使用量变化 Occupancy 变化 同步开销变化 Kernel 总时间变化最终目标是降低实际执行时间而不是只让某一个指标变得更好看。11. 常见误解误解一二维数组的行列位置不会影响性能会。按行存储的数据按行访问通常连续按列访问可能产生较大步长和银行冲突。误解二增加一列 Padding 就一定更快Padding 只对特定访问模式有效。如果原本没有冲突增加 Padding 只会额外消耗共享内存。误解三共享内存地址连续就一定没有冲突还要看相邻线程访问的地址元素大小Bank 数量访问宽度是否是读取同一地址或读取同一 Bank 的不同地址。误解四Bank 冲突和全局内存不合并访问是同一个问题两者都与内存访问模式有关但发生位置不同全局内存主要关注合并访问和内存事务共享内存主要关注 Bank 映射和银行冲突。误解五只改变共享内存数组大小不需要修改访问代码如果使用 Padding行跨度发生变化。所有计算行地址的代码都必须使用新的跨度否则可能访问错误位置。12. 总结CUDA 共享内存数据布局的核心是让一个 Warp 中的线程访问共享内存时尽量分布到不同 Bank同时保持数据访问逻辑正确。可以按照以下流程设计布局确定线程与数据元素的对应关系。写出一个 Warp 的共享内存访问下标。根据元素大小和行跨度推导 Bank 映射。判断是否存在多个线程访问同一 Bank 的不同地址。必要时使用 Padding 或调整数据布局。添加正确的同步屏障。检查边界和数据正确性。使用性能工具验证实际收益。最经典的布局技巧是__shared__floattile[32][33];它通过增加一个填充元素把原本可能集中到同一 Bank 的列访问分散开。但需要记住Padding 是解决特定 Bank 冲突的手段不是共享内存优化的通用答案。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
