前言随着目标检测的蓬勃发展近年来提出了几种深度卷积神经网络模型例如R-CNN、SSD和YOLO等。然而随着网络变得越来越复杂这些模型的规模不断增加这使得在现实生活中将这些模型部署到嵌入式设备上变得越来越困难。因此开发一种高效快速的物体检测模型以在不影响目标检测质量的情况下减小参数大小至关重要。PART/1前言深度学习模型在目标检测的性能上取得了重大突破。然而在传统模型中例如Faster R-CNN和YOLO由于计算资源有限和功率预算紧张这些网络的规模使其难以部署在嵌入式移动设备上。深度学习领域的加速发展极大地促进了目标检测的发展其在人脸检测、自动驾驶、机器人视觉和视频监控等方面的广泛应用。随着目标检测的蓬勃发展近年来提出了几种深度卷积神经网络模型例如R-CNN、SSD和YOLO等。然而随着网络变得越来越复杂这些模型的规模不断增加这使得在现实生活中将这些模型部署到嵌入式设备上变得越来越困难。因此开发一种高效快速的物体检测模型以在不影响目标检测质量的情况下减小参数大小至关重要。PART/2摘要总结今天我们分享的技术是通过减少网络信道的传统信道修剪方法难以有效地修剪具有深度卷积层和某些有效模块如流行的反向残差块的有效CNN模型。由于存在一些归一化层通过减少网络深度的先验深度修剪方法不适合于修剪一些有效的模型。此外通过直接移除激活层来微调子网会破坏原始模型权重阻碍修剪后的模型实现高性能。为了解决这些问题研究者提出了一种新的有效模型深度修剪方法。新方法为子网提出了一种新的块修剪策略和渐进训练方法。此外将修剪方法扩展到视觉Transformer模型。最终实验结果表明在各种修剪配置中新方法始终优于现有的深度修剪方法。将新方法应用于ConvNeXtV1获得了三个修剪后的ConvNeXtV1模型这些模型超过了大多数具有可比推理性能的SOTA有效模型。新方法还在视觉Transformer模型上实现了最先进的修剪性能。PART/3动机Network Pruning神经网络在计算机视觉领域已被广泛应用表现出非凡的能力。然而复杂的网络架构对高效的实时部署提出了挑战并需要大量的计算资源和能源成本。在端侧和边缘侧部署网络具体的挑战模型体积大FLOPsfloat-point operations浮点操作耗能处理器架构和处理速度内存占用推理时延这些挑战可以通过网络压缩等优化来克服。网络剪枝Network Pruning是网络压缩主要技术之一是一种减小内存大小和带宽的重要技术。剪枝就是通过去除网络中冗余的通道channels滤波器filters,神经元节点 neurons, 网络层layers以得到一个更轻量级的网络同时不影响性能。剪枝的不同分类根据网络元素类型可以分为神经元剪枝和连接剪枝根据剪枝前后网络结构是否是改变可以分为结构化剪枝和非结构化剪枝根据在推理阶段是否有剪枝可以分为静态剪枝和动态剪枝结构化剪枝可以包括神经元剪枝和连接剪枝但是是改变了剪枝前的网络结构。非结构化剪枝并没有改变网络结构而是将分支权重改为0这样权重为0的分支对整个网络没有影响从而相当于减掉了该分支。如果观察到在某些迭代权重为0的分支对本轮迭代作用很大影响性能可以动态恢复非结构化剪枝造成的为零权重提供网络性能。神经元剪枝会改变网络结构属于结构化剪枝。连接剪枝在权重设置为0并没有改变网络结构时属于非结构化剪枝在连接删除改变网络结构时属于结构化剪枝。Structural Reparameterization在block内不存在非线性激活函数的情况下结构重新参数化技术有助于将多个卷积层合并为单个卷积层。这种合并有效地减少了神经网络在推理过程中的内存需求从而加速了模型推理。RepVGG区分了训练和测试结构使普通网络能够超越ResNet的性能。此外DBB将多分支结构合并为一个卷积显著地超过了传统多分支单元的速度。Neural Architecture Search (NAS)既然网络不是设计出来的我们要搜那么怎么搜网络结构呢理解这个问题你就能了解NAS的最基本的思想。想象你是一个考试命题组的出题人你要出高考题那怎么出题呢首先这是高考你肯定只能出高中生学过的内容所以需要框定一个出题的范围这便是搜索空间。确定了出题范围我们还需要知道到底怎么出题到底是出选择题好呢还是填空题好呢这是出题的策略对应到这个问题上就是搜索策略。现在题也出完了但是我们还需要知道这个考卷的题目出的好不好一个好的高考试卷应该有一定的区分度所以我们需要一个评判的标准去了解这个题目出的好不好这个标准和可以是专家评议或者学生调研等等也就是相当于我们需要给我们一个评价的指标。围绕搜索空间、搜索策略以及评价搜索的指标三个维度展开搜索最优的网络先确定在哪些模块卷积池化等等里面搜索组合一个网络然后用什么样的方式组合我们的网络最后得出的网络我们如何评价它是否好用。这便是NAS算法自动搜索的基本思想。PART/4新框架详解深度修剪方法旨在通过提出新的具有重新参数化技术的块修剪策略来减少模型深度而不是直接省略块。如下图所示块修剪策略在块合并中将复杂而缓慢的块转换为简单而快速的块。对于块将激活层替换为标识层将LayerNormLN或GroupNormGN层替换为BatchNormBN层并在块末尾插入带有BatchNorm层的激活层以创建重新参数化的条件。然后重新参数化技术可以合并BatchNorm层、相邻的卷积或全连接层并跳过连接如下图所示Depth Pruner on CNN将新方法应用于CNN模型可以参考上图所示的管道。应该先找到基本块并参考上图中的修剪块来设计相应的修剪块。对于块中的激活层将其替换为标识层。对于块中不是BatchNorm层的规范化层将其替换为BatchNorm图层否则无需执行任何操作。最后将在块的末尾插入一个带有BatchNorm层的激活层。如果像ResNet34块这样的位置已经存在激活层则只需要在块末尾的激活层之后插入BatchNorm层。修剪块完成后回顾超网训练、子网搜索、子网训练和子网合并过程。将获得修剪后的CNN模型。对于普通的CNN模型可以定义可以包括两个或多个顺序卷积层的块。Depth Pruner on Vision Transformer研究者还将提出的深度修剪器应用于Vision Transformer模型。Vision Transformer块通常具有多头自注意MHSA模块和包括两个全连接层的MLP模块。特别是利用DeiT作为展示修剪流程的案例。如上图所示为了构建Supernet在原始模型的LN和活化GELU层旁边添加BN旁路并在剩余添加操作后插入GELU和BN块。经过子网搜索和子网训练获得了子网其原始LN和修剪块的GELU操作都被BN取代。添加残余物后连接GELUBN块。然后合并子网以获得快速修剪的模型如上图所示。PART/5实验及可视化下表与一些常见的有效模型进行了比较因为ConvNeXtV1没有压缩方法。在AMD平台上使用表中较慢的网络EfficientFormerV2-S2作为基准测试所有网络的速度。作者将模型分为不同 Level 深度剪枝方法在不同 Level 上实现了可比速度下的更高精度在今天分享中研究者为有效的CNN和Vision Transformer模型提供了一个统一的深度修剪器以在深度维度上修剪模型。深度修剪器包括四个步骤即超网训练、子网搜索、子网训练和子网合并。提出了一种新的块修剪方法和渐进训练策略以更好地利用基线模型权重。在子网合并过程中使用重新参数化技术使子网变得更浅、更快。将新方法应用于几个CNN模型和transformer模型。SOTA修剪性能证明了新方法的优越性。未来研究者们将在更多的Transformer模型和任务上探索新方法。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
前言随着目标检测的蓬勃发展近年来提出了几种深度卷积神经网络模型例如R-CNN、SSD和YOLO等。然而随着网络变得越来越复杂这些模型的规模不断增加这使得在现实生活中将这些模型部署到嵌入式设备上变得越来越困难。因此开发一种高效快速的物体检测模型以在不影响目标检测质量的情况下减小参数大小至关重要。PART/1前言深度学习模型在目标检测的性能上取得了重大突破。然而在传统模型中例如Faster R-CNN和YOLO由于计算资源有限和功率预算紧张这些网络的规模使其难以部署在嵌入式移动设备上。深度学习领域的加速发展极大地促进了目标检测的发展其在人脸检测、自动驾驶、机器人视觉和视频监控等方面的广泛应用。随着目标检测的蓬勃发展近年来提出了几种深度卷积神经网络模型例如R-CNN、SSD和YOLO等。然而随着网络变得越来越复杂这些模型的规模不断增加这使得在现实生活中将这些模型部署到嵌入式设备上变得越来越困难。因此开发一种高效快速的物体检测模型以在不影响目标检测质量的情况下减小参数大小至关重要。PART/2摘要总结今天我们分享的技术是通过减少网络信道的传统信道修剪方法难以有效地修剪具有深度卷积层和某些有效模块如流行的反向残差块的有效CNN模型。由于存在一些归一化层通过减少网络深度的先验深度修剪方法不适合于修剪一些有效的模型。此外通过直接移除激活层来微调子网会破坏原始模型权重阻碍修剪后的模型实现高性能。为了解决这些问题研究者提出了一种新的有效模型深度修剪方法。新方法为子网提出了一种新的块修剪策略和渐进训练方法。此外将修剪方法扩展到视觉Transformer模型。最终实验结果表明在各种修剪配置中新方法始终优于现有的深度修剪方法。将新方法应用于ConvNeXtV1获得了三个修剪后的ConvNeXtV1模型这些模型超过了大多数具有可比推理性能的SOTA有效模型。新方法还在视觉Transformer模型上实现了最先进的修剪性能。PART/3动机Network Pruning神经网络在计算机视觉领域已被广泛应用表现出非凡的能力。然而复杂的网络架构对高效的实时部署提出了挑战并需要大量的计算资源和能源成本。在端侧和边缘侧部署网络具体的挑战模型体积大FLOPsfloat-point operations浮点操作耗能处理器架构和处理速度内存占用推理时延这些挑战可以通过网络压缩等优化来克服。网络剪枝Network Pruning是网络压缩主要技术之一是一种减小内存大小和带宽的重要技术。剪枝就是通过去除网络中冗余的通道channels滤波器filters,神经元节点 neurons, 网络层layers以得到一个更轻量级的网络同时不影响性能。剪枝的不同分类根据网络元素类型可以分为神经元剪枝和连接剪枝根据剪枝前后网络结构是否是改变可以分为结构化剪枝和非结构化剪枝根据在推理阶段是否有剪枝可以分为静态剪枝和动态剪枝结构化剪枝可以包括神经元剪枝和连接剪枝但是是改变了剪枝前的网络结构。非结构化剪枝并没有改变网络结构而是将分支权重改为0这样权重为0的分支对整个网络没有影响从而相当于减掉了该分支。如果观察到在某些迭代权重为0的分支对本轮迭代作用很大影响性能可以动态恢复非结构化剪枝造成的为零权重提供网络性能。神经元剪枝会改变网络结构属于结构化剪枝。连接剪枝在权重设置为0并没有改变网络结构时属于非结构化剪枝在连接删除改变网络结构时属于结构化剪枝。Structural Reparameterization在block内不存在非线性激活函数的情况下结构重新参数化技术有助于将多个卷积层合并为单个卷积层。这种合并有效地减少了神经网络在推理过程中的内存需求从而加速了模型推理。RepVGG区分了训练和测试结构使普通网络能够超越ResNet的性能。此外DBB将多分支结构合并为一个卷积显著地超过了传统多分支单元的速度。Neural Architecture Search (NAS)既然网络不是设计出来的我们要搜那么怎么搜网络结构呢理解这个问题你就能了解NAS的最基本的思想。想象你是一个考试命题组的出题人你要出高考题那怎么出题呢首先这是高考你肯定只能出高中生学过的内容所以需要框定一个出题的范围这便是搜索空间。确定了出题范围我们还需要知道到底怎么出题到底是出选择题好呢还是填空题好呢这是出题的策略对应到这个问题上就是搜索策略。现在题也出完了但是我们还需要知道这个考卷的题目出的好不好一个好的高考试卷应该有一定的区分度所以我们需要一个评判的标准去了解这个题目出的好不好这个标准和可以是专家评议或者学生调研等等也就是相当于我们需要给我们一个评价的指标。围绕搜索空间、搜索策略以及评价搜索的指标三个维度展开搜索最优的网络先确定在哪些模块卷积池化等等里面搜索组合一个网络然后用什么样的方式组合我们的网络最后得出的网络我们如何评价它是否好用。这便是NAS算法自动搜索的基本思想。PART/4新框架详解深度修剪方法旨在通过提出新的具有重新参数化技术的块修剪策略来减少模型深度而不是直接省略块。如下图所示块修剪策略在块合并中将复杂而缓慢的块转换为简单而快速的块。对于块将激活层替换为标识层将LayerNormLN或GroupNormGN层替换为BatchNormBN层并在块末尾插入带有BatchNorm层的激活层以创建重新参数化的条件。然后重新参数化技术可以合并BatchNorm层、相邻的卷积或全连接层并跳过连接如下图所示Depth Pruner on CNN将新方法应用于CNN模型可以参考上图所示的管道。应该先找到基本块并参考上图中的修剪块来设计相应的修剪块。对于块中的激活层将其替换为标识层。对于块中不是BatchNorm层的规范化层将其替换为BatchNorm图层否则无需执行任何操作。最后将在块的末尾插入一个带有BatchNorm层的激活层。如果像ResNet34块这样的位置已经存在激活层则只需要在块末尾的激活层之后插入BatchNorm层。修剪块完成后回顾超网训练、子网搜索、子网训练和子网合并过程。将获得修剪后的CNN模型。对于普通的CNN模型可以定义可以包括两个或多个顺序卷积层的块。Depth Pruner on Vision Transformer研究者还将提出的深度修剪器应用于Vision Transformer模型。Vision Transformer块通常具有多头自注意MHSA模块和包括两个全连接层的MLP模块。特别是利用DeiT作为展示修剪流程的案例。如上图所示为了构建Supernet在原始模型的LN和活化GELU层旁边添加BN旁路并在剩余添加操作后插入GELU和BN块。经过子网搜索和子网训练获得了子网其原始LN和修剪块的GELU操作都被BN取代。添加残余物后连接GELUBN块。然后合并子网以获得快速修剪的模型如上图所示。PART/5实验及可视化下表与一些常见的有效模型进行了比较因为ConvNeXtV1没有压缩方法。在AMD平台上使用表中较慢的网络EfficientFormerV2-S2作为基准测试所有网络的速度。作者将模型分为不同 Level 深度剪枝方法在不同 Level 上实现了可比速度下的更高精度在今天分享中研究者为有效的CNN和Vision Transformer模型提供了一个统一的深度修剪器以在深度维度上修剪模型。深度修剪器包括四个步骤即超网训练、子网搜索、子网训练和子网合并。提出了一种新的块修剪方法和渐进训练策略以更好地利用基线模型权重。在子网合并过程中使用重新参数化技术使子网变得更浅、更快。将新方法应用于几个CNN模型和transformer模型。SOTA修剪性能证明了新方法的优越性。未来研究者们将在更多的Transformer模型和任务上探索新方法。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
