简介本资源是北京交通大学2024年计算机视觉课程核心考点精要汇总面向高校本科生、考研学生及CV入门学习者系统梳理课程中高频必考的40个关键知识点覆盖图像滤波原理相关/卷积/内积、Canny边缘检测全流程、Harris角点与SIFT特征提取机制、高斯核参数设计、滤波器组与多尺度分析、CNN基础结构感受野、权值共享、1×1卷积、残差模块、目标检测演进R-CNN→Faster R-CNN、损失函数与优化策略交叉熵、铰链损失、Momentum、Dropout等硬核内容。资源为单文件PDF共1个9.69MB高清讲义排版清晰、公式规范、原理与实例并重便于考前速查、课堂补充与自学复盘。已有666人学习下载内容深度适配课程教学节奏兼具理论严谨性与应试实用性是掌握CV基础框架与解题逻辑的高效学习抓手。1. 计算机视觉到底是什么不是“让机器看图说话”而是教它用数学眼睛理解世界你有没有试过给手机相册打标签比如输入“海滩”它自动翻出所有带海、沙、太阳的照片——背后不是AI真认出了浪花而是把每张图拆成成千上万个数字再用一套精密的数学规则判断哪些数字组合更像“海滩”。这就是计算机视觉Computer Vision最朴素的本质它不靠眼睛靠卷积不靠直觉靠梯度不靠经验靠尺度空间里的极值响应。很多人一听到“计算机视觉”第一反应是“人脸识别”“自动驾驶”“美颜相机”觉得那是高不可攀的黑科技。但2024年某高校计算机视觉课的这份必考知识点清单恰恰撕开了这层神秘面纱——它里面没有一行调用API的代码全是手推公式、手画滤波器、手算高斯核、手解特征向量。它问的是“为什么3×3卷积能替代7×7”“为什么Canny非得用双阈值单阈值不行吗”“SIFT描述子为什么非得切成4×4小块再统计梯度直方图”这些问题的答案不在模型权重里而在图像信号与线性算子之间那场持续几十年的对话中。这份资料不是速成秘籍也不是调参指南。它是一份“视觉认知说明书”告诉你图像怎么被当成函数来积分边缘怎么被当成导数来捕捉角点怎么被当成矩阵特征值来定位关键点怎么被当成尺度空间里的山峰来寻找。如果你曾对着OpenCV的一行cv2.Canny()发呆不知道里面发生了什么如果你调通了YOLO却说不清RoI Pooling和NMS到底在替你做哪两件事如果你背过“感受野”“权值共享”却画不出它们在神经元连接图上的真实形状——那么这份资料就是帮你把那些飘在空中的术语一锤一锤钉进数学土壤里的铁砧。它不教你“怎么跑通一个demo”它教你“为什么必须这么设计”。而当你真正搞懂高斯核为何要设为6σ、SIFT为何要建双塔金字塔、RPN为何要用锚点anchor而不是直接回归框——你会发现所谓前沿模型不过是这些基础原理在不同约束下的最优排列组合。这不是考试押题这是给你配一副能看清算法骨架的眼镜。2. 图像滤波不是“加个滤镜”而是用数学模板对像素做三次不同视角的“投票”图像滤波是计算机视觉的起点也是最容易被误解的起点。很多人以为“滤波模糊”或者“滤波锐化”就像手机里点一下“怀旧”“冷艳”“胶片”——但课程里考的第一题就直击本质相关、卷积、内积这三种定义方式根本不是操作差异而是数学视角的切换。它们像三台不同精度的显微镜观察的是同一组像素与同一组模板之间的关系。2.1 相关最直觉的“模板匹配式投票”想象你有一张“OK手势”的截图你想在另一张大图里找所有出现这个手势的位置。最朴素的办法是什么拿这个小图当“探针”从左到右、从上到下在大图每个位置上盖一下把探针每个像素和底下对应像素相乘再把所有乘积加起来。这个总和越大说明当前位置越像“OK”。这就是相关Correlation模板不翻转原样滑动逐点相乘再求和。公式写出来就是$$(I \star K)(x,y) \sum_{i}\sum_{j} I(xi, yj) \cdot K(i,j)$$其中 $K$ 是你的模板比如一个3×3的“边缘检测器”$I$ 是图像$(x,y)$ 是当前滑动到的位置。注意这里模板 $K$ 的坐标 $(i,j)$ 是以自己中心为原点的所以当它盖在图像 $(x,y)$ 上时实际对齐的是 $I(xi, yj)$。这种“模板不动、图像动”的方式最符合人类直觉——我们看图找东西从来不会先把模板倒过来再比。2.2 卷积为满足“系统可交换性”而生的数学约定那为什么教科书和框架如PyTorch的nn.Conv2d默认用的是卷积Convolution而不是相关答案藏在信号处理的底层契约里一个理想的线性系统必须满足“输入先A后B”和“输入先B后A”结果一样——即系统可交换性。而只有当滤波操作定义为“模板先旋转180°再做相关”这个性质才成立。举个例子假设你有两个滤波器一个是高斯平滑 $G$一个是拉普拉斯锐化 $L$。如果先平滑再锐化和先锐化再平滑结果应该一致至少在数学理想情况下。但如果你用“相关”去实现两者结果会错位只有把其中一个模板旋转180°即变成卷积才能保证顺序无关。所以卷积的公式是$$(I * K)(x,y) \sum_{i}\sum_{j} I(xi, yj) \cdot K(-i,-j)$$等价于先把 $K$ 绕中心旋转180°得到 $K_{\text{rot}}$再计算 $I \star K_{\text{rot}}$。在深度学习中我们几乎总是用卷积因为CNN的整个理论大厦权值共享、反向传播、感受野推导都建立在这个数学约定之上。但实操中你完全可以把卷积层的权重看作“已经旋转好的模板”——训练过程自动学出了那个该旋转的版本你无需手动翻转。2.3 内积把二维操作降维成“向量打分”前两种都是在二维空间里滑动计算而内积Inner Product则提供了一个更代数、更本质的视角它把滤波看作两个向量的相似度打分。怎么做把模板 $K$ 按行或列拉成一个一维向量 $\mathbf{k}$长度为 $k^2$比如3×3模板拉成9维向量再把图像上当前覆盖的 $k×k$ 区域也拉成同样长度的向量 $\mathbf{i}$。然后计算 $\mathbf{i}^\top \mathbf{k}$ —— 就是标准的向量内积。这个操作和相关完全等价只是表达形式不同$$\mathbf{i}^\top \mathbf{k} \sum_{m1}^{k^2} i_m \cdot k_m$$它揭示了一个关键事实滤波的本质是将局部图像块投影到模板向量所张成的方向上投影长度就是响应强度。所以一个高斯模板就是在告诉系统“朝‘整体灰度均匀’这个方向多投一点分”一个Sobel模板就是在说“朝‘水平梯度强’这个方向重点打分”。这也是为什么CNN的卷积层可以被看作“一堆可学习的模板探测器”——每个卷积核就是一个待优化的$\mathbf{k}$向量它在不断调整自己的方向以便在输入图像的高维空间里找到最具判别性的投影轴。2.4 常见误区相关 vs 卷积 vs 内积三者不是“谁更好”而是“谁在回答哪个问题”易混点为什么混怎么区分以为“相关”就是错的卷积才是标准因为教材和框架都叫conv初学者误以为相关是“不规范”的写法实际上相关是更自然的匹配逻辑卷积是为满足系统理论而做的数学适配。在目标检测如模板匹配中相关反而更直观在CNN特征提取中卷积是必须的约定。二者只是坐标系定义不同结果可通过旋转模板互换。把“内积”当成一种独立的滤波操作看到“向量化”“投影”等词以为内积是第三种并列的算法内积不是新操作它是相关/卷积的等价代数表述。它不改变计算结果只改变理解维度——从“滑动窗口”升级到“向量空间几何”。当你需要分析滤波器的正交性、能量分布或可视化其“模板方向”时内积视角不可替代。认为滤波器大小如3×3只决定计算量看到“小尺寸滤波器参数少”就以为只是工程优化滤波器尺寸直接绑定感受野和信息粒度。一个1×1卷积无法感知邻域关系一个3×3是能捕获八邻域的最小单元而5×5虽大一圈却可能因参数爆炸导致过拟合。尺寸选择本质是在“局部细节保真度”和“全局模式泛化力”之间做物理尺度的权衡。3. 高斯核与边缘检测为什么“先模糊再求导”不是妥协而是噪声与结构的终极和解如果把图像看作一张起伏的地形图那么像素值就是海拔高度。边缘就是这座山上陡峭的悬崖角点就是几道山脊交汇的峰顶而噪声则是山顶上随机刮起的沙尘暴。高斯核和它的衍生工具高斯偏导、LoG、Canny就是一套专为这张地形图设计的测绘仪——它不追求绝对清晰而追求在混沌中稳定地勾勒出结构的骨架。3.1 高斯核为什么“6σ”是平滑的黄金分割点高斯函数 $G(x,y) \frac{1}{2\pi\sigma^2} e^{-\frac{x^2y^2}{2\sigma^2}}$ 长得像个馒头σ 决定馒头的胖瘦。σ 越小馒头越尖只照顾眼皮底下那几个像素σ 越大馒头越扁影响力铺开一大片。但问题来了实际编程时你不可能用无限大的核。必须截断。截到哪里课程里那句“kernel size 6σ”不是拍脑袋而是3σ原则的工程落地高斯分布中±3σ 范围内包含了约99.7%的概率质量。也就是说把核设为 $6\sigma \times 6\sigma$向上取整为奇数就等于把99.7%的有效权重都囊括进来剩下0.3%的“尾巴”对结果的影响已经小到可以忽略不计。举个具体例子若 σ 1理论核宽应为6常用3×3或5×5若 σ 2理论核宽为12但实践中常取7×7或9×9若 σ 3理论宽18但15×15已足够——因为超出15的权重连0.001都不到。这就是为什么题目里说“kernel size不同但σ相同时结果类似”只要size ≥ 6σ你再把核扩大一倍比如从9×9到17×17新增的那些极外围像素贡献的加权和几乎为零。平滑效果的“质变点”不在尺寸而在σ——它决定了你愿意为噪声付出多少“模糊代价”。3.2 高斯偏导核把“去噪”和“找边”合成一步的聪明偷懒边缘检测的理想流程应该是先用高斯模糊把沙尘暴压下去去噪再用梯度算子如Sobel去找哪里坡度最陡找边。但数学上这两个操作可以合并对图像 $I$ 先高斯模糊再求导等价于图像 $I$ 直接与“高斯函数的导数”做卷积。即$\frac{\partial}{\partial x}(G * I) (\frac{\partial G}{\partial x}) * I$其中 $\frac{\partial G}{\partial x}$ 就是高斯一阶偏导核它长这样x方向[ -0.11 0.00 0.11 ] [ -0.17 0.00 0.17 ] [ -0.11 0.00 0.11 ]y方向同理转置即可这个核的妙处在于它天然自带“中心为零、两侧反对称”的结构。这意味着它对均匀区域平地响应为零对缓慢变化区域缓坡响应微弱只对剧烈跳变悬崖给出强响应——而且由于高斯部分已经平滑了噪声这个强响应是干净、稳定的。所以高斯偏导不是“又加了一道工序”而是用一个数学恒等式把两步串行计算压缩成一步并行卷积。计算量减半精度反升。这是信号处理里“先滤波再微分”思想的完美体现。3.3 Canny的“细边缘”与“双阈值”如何让机器学会“宁缺毋滥”Canny的目标不是找出所有可能的边缘点而是找出最可信、最连贯、最细的单像素边缘链。它用两招实现第一招非极大值抑制NMS for Edge Thinning梯度图里边缘本应是一条细线但实际计算出的梯度幅值图边缘是一片“高原”。NMS要做的就是在这片高原上只保留山脊线即梯度方向上最高峰的那个点把两边的“山坡”削掉。具体操作对每个像素看它在梯度方向上的两个邻居比如方向是0°就看左右是45°就看右上和左下。如果当前像素梯度值不是三者中最大就设为0。这相当于用一把“方向性刻刀”沿着边缘生长方向把毛边刮干净。第二招双阈值滞后阈值Hysteresis Thresholding单阈值会面临两难阈值设高漏掉弱边缘如远处物体轮廓设低引入大量噪声伪边缘。Canny的解法是设两个阈值$T_{high}$ 和 $T_{low}$通常 $T_{low} \approx 0.4 \times T_{high}$。所有梯度 $T_{high}$ 的点无条件保留称为“强边缘”所有梯度 $T_{low}$ 的点无条件丢弃夹在中间的点只保留那些与强边缘有路径连通的即通过8邻域能走到一个强边缘点。这就像修路$T_{high}$ 是主干道施工队只在确定是路的地方打桩$T_{low}$ 是巡线员他发现一段疑似路基的土埂但只在他能从主干道一路走过去的地方才允许填土加固。最终路是连续的且宽度严格控制在单像素。提示这个“连通性”判断正是Canny比Sobel、Prewitt更鲁棒的核心——它用图论思想把边缘从“孤立点集”升级为“拓扑连通结构”。3.4 常见误区高斯、LoG、DoG不是“一代更比一代强”而是“不同任务配不同扳手”易混点为什么混怎么区分以为LoG拉普拉斯高斯就是“高级版高斯偏导”都带“高斯”都用于边缘检测名字听起来像升级版LoG是二阶导响应的是“零交叉点”即从正变负或负变正的位置最适合检测斑点blob如细胞、瞳孔、光斑而高斯偏导是一阶导响应的是梯度幅值峰值专为边缘设计。二者物理意义完全不同一个找“山包的顶”一个找“山崖的边”。把DoG高斯差分当成LoG的近似以为精度更低SIFT里用DoG代替LoG容易让人觉得是“凑合方案”DoG是两尺度高斯相减$D(x,y,\sigma) G(x,y,k\sigma) - G(x,y,\sigma)$。它不仅是LoG的良好近似当$k\to1$时DoG→LoG更重要的是DoG计算只需两次高斯卷积一次减法而LoG需要先算高斯再算二阶导数值不稳定且易放大噪声。DoG是工程智慧——用可计算性换鲁棒性。认为“滤波器组Filter Bank”就是堆一堆不同方向的Sobel看到“多种滤波器”直觉是“多角度边缘检测”滤波器组是多尺度、多方向、多功能的组合。例如Gabor滤波器组能同时编码“特定频率特定方向特定尺度”的纹理而课程里提到的“高斯、LoG、高斯偏导”分别负责平滑积分、斑点检测二阶微分、边缘检测一阶微分。它们不是重复劳动而是构建图像的“多维特征指纹”。4. 特征检测与描述从Harris角点到SIFT一场关于“什么是稳定视觉锚点”的三十年追问如果把图像比作一张城市地图那么滤波是在绘制等高线而特征检测则是在地图上精准标出“故宫”“东方明珠”“埃菲尔铁塔”这样的地标——它们必须足够独特Distinctive、足够稳定Stable、足够可复现Repeatable。Harris和SIFT代表了这场追问的两个里程碑前者用矩阵特征值回答“哪里是角点”后者用尺度空间极值回答“哪里是关键点”。4.1 Harris角点用“灰度变化曲面”的曲率定位图像里的“十字路口”Harris的出发点非常朴素在一个小窗口里往任意方向移动一点点如果窗口内灰度变化都很大那这个窗口大概率盖住了“角点”如窗框交叉处如果只在一个方向变化大那是“边缘”如墙沿如果各个方向都不怎么变那是“平面”如白墙。数学上它定义灰度变化函数$$E(u,v) \sum_{x,y} w(x,y) [I(xu,yv) - I(x,y)]^2$$其中 $w$ 是窗口权重常用高斯$(u,v)$ 是微小位移。对 $I(xu,yv)$ 做一阶泰勒展开得到$$E(u,v) \approx [u\ v] M \begin{bmatrix} u \ v \end{bmatrix}, \quad M \sum_{x,y} w(x,y) \begin{bmatrix} I_x^2 I_x I_y \ I_x I_y I_y^2 \end{bmatrix}$$这个 $M$ 就是结构张量Structure Tensor它编码了窗口内梯度的分布。关键洞察来了$M$ 是实对称矩阵可对角化。它的两个特征值 $\lambda_1, \lambda_2$ 决定了“灰度变化曲面”的形状$\lambda_1$ 和 $\lambda_2$ 都大 → 曲面像马鞍四面八方都陡 →角点一个大一个小 → 曲面像山脊只有一向陡 →边缘都很小 → 曲面像平原 →平面。但算特征值太慢Harris用迹trace和行列式det构造快速响应函数$$R \det(M) - k \cdot \operatorname{trace}(M)^2 \lambda_1 \lambda_2 - k(\lambda_1 \lambda_2)^2$$其中 $k$ 是经验值常取0.04~0.06。$R$ 大且正 → 角点$R$ 负 → 边缘$R$ 接近0 → 平面。这就是Harris角点检测的全部不追踪边缘不拟合模型只靠一个窗口内的梯度协方差就完成了对局部结构的几何分类。4.2 SIFT的“双塔”结构为什么必须建金字塔又为什么必须建两座SIFT要解决Harris的一个致命短板尺度不变性。Harris在原图上找角点但如果同一物体在照片里有远有近尺度不同Harris会在大图上找到很多点在小图上却找不到——因为它没考虑“多大才算一个角”。SIFT的答案是构建尺度空间Scale Space。不是只看一张图而是看一摞图——从原图开始不断用高斯核模糊并按比例缩小形成“高斯金字塔”Gaussian Pyramid。每一层都代表图像在不同尺度下的“概览”。但只有一座塔不够。SIFT建了“双塔”塔1Octave 1原图 $I$用 $\sigma, k\sigma, k^2\sigma, ...$ 模糊得到 $L$ 层塔2Octave 2把塔1的第3层或第4层下采样2倍作为新塔的底层再用同样 $\sigma$ 序列模糊……为什么要下采样再建新塔因为如果只用一个超大高斯核如 $\sigma10$去模糊原图计算量爆炸而下采样后的图分辨率变小用小 $\sigma$ 就能达到同等模糊效果物理尺度等价。这是用空间换时间的经典工程智慧。更绝的是SIFT不直接在高斯金字塔上找极值而是建第二座塔——高斯差分金字塔DoG Pyramid对同一塔内相邻两层做减法。为什么因为DoG是LoG的良好近似而LoG的极值点正好对应图像中尺度自适应的斑点/角点。在DoG中找局部极大/极小值就等效于在尺度空间中找“山峰”——这个山峰的位置 $(x,y)$ 给出空间坐标层数 $s$ 给出尺度 $\sigma_s$三者共同定义一个尺度不变的关键点。4.3 SIFT描述子为什么要把关键点邻域切成16块每块统计8方向梯度找到关键点只是开始如何让两个不同视角、不同光照下的同一物体能被程序判定为“同一个”SIFT的描述子就是它的身份证。步骤精炼为三句话定向以关键点为中心取半径 $1.5\sigma$ 的圆形区域$\sigma$ 是该点所在尺度计算区域内每个像素的梯度幅值和方向用加权直方图距离中心越近、幅值越大权重越高投票选出主方向——这解决了旋转不变性。归一化把主方向旋转到0°让所有描述子“面朝同一方向”消除旋转影响。分块直方图将旋转后的正方形区域边长 $16\sigma$划分为 $4×416$ 个子块每个子块计算8方向梯度直方图0°~360°每45°一档得到16×8128维向量。最后L2归一化——这解决了光照不变性归一化压制了整体亮度变化和局部形变鲁棒性分块削弱了小范围扭曲影响。这个128维向量就是SIFT描述子。它不记录像素值只记录“在哪个局部区域梯度主要朝哪几个方向走”。这种分布式、方向性、归一化的表示让SIFT在2004年横空出世后统治局部特征领域长达十年——直到深度学习用端到端的方式重新定义了“什么是好的描述子”。4.4 常见误区Harris、SIFT、ORB不是“谁更先进”而是“谁在什么约束下最务实”易混点为什么混怎么区分以为SIFT是Harris的“升级版”所以Harris过时了都检测角点SIFT更鲁棒容易线性理解为迭代关系Harris是轻量级实时检测器如SLAM前端计算快、内存省SIFT是高精度匹配器如全景拼接、考古图像比对追求跨尺度/旋转/光照的绝对一致性。二者适用场景不同Harris适合“我需要马上知道哪里有角”SIFT适合“我需要确保十年后重拍的照片还能和今天对上”。把ORB当成“SIFT的免费替代品”忽视其设计取舍ORB用FAST检测BRIEF描述号称又快又好ORB的FAST检测器不计算梯度只做像素比较速度极快但对噪声敏感BRIEF描述子是二进制串匹配快但缺乏旋转/尺度不变性需额外用rBRIEF补救。ORB是为嵌入式和移动端妥协的产物它牺牲了SIFT的部分鲁棒性换取了百倍的速度提升和极小的内存占用。认为“特征点越多越好”盲目增加Harris的阈值或SIFT的对比度看到检测结果稀疏第一反应是调低阈值特征点质量远大于数量。Harris阈值过低会把噪声当角点SIFT对比度阈值过低会生成大量位于纹理弱区的不稳定关键点。好的特征点应该像城市里的地铁枢纽——数量不多但连接性强、覆盖广、容错高。课程里强调“自动尺度选择”正是为了找到那个“枢纽密度最优”的尺度。5. 从传统方法到深度学习卷积神经网络如何把“手工设计滤波器”变成“自动学习滤波器组”如果说Harris和SIFT是工程师用刻刀在图像上雕琢特征那么CNN就是请来一位不知疲倦的学徒把整座雕刻工厂数据交给他让他自己摸索出最顺手的刻刀滤波器和最高效的工序网络结构。这个转变不是简单的“自动化”而是对“什么是视觉特征”的范式重构。5.1 CNN的基石感受野与权值共享如何用数学实现“局部连接”和“平移不变”全连接网络MLP处理图像会把一张224×224的图拉成50176维向量每个像素都要和所有神经元连接——参数量爆炸且完全无视“相邻像素更相关”这一图像基本规律。CNN用两个核心约束破局感受野Receptive Field指网络中某个神经元其输出值依赖于输入图像的哪一块区域。第一层卷积感受野就是卷积核大小如3×3第二层每个神经元依赖于第一层多个神经元的输出其感受野就扩大为5×5依此类推。感受野的逐层扩张模拟了人类视觉从局部细节到全局结构的认知过程。它不是靠记忆整张图而是靠层层汇聚的局部证据。权值共享Weight Sharing同一个卷积核滤波器在整张特征图上滑动使用。这意味着检测“垂直边缘”的能力不是只在图像左上角有效而是在所有位置都有效——这直接赋予了CNN平移不变性Translation Invariance。你把一只猫从图左移到图右CNN依然能认出它因为“猫耳朵的纹理模式”这个滤波器在新位置照样能激活。这两点结合让CNN的参数量从MLP的 $O(HW \cdot C_{out} \cdot C_{in})$ 降到 $O(K^2 \cdot C_{in} \cdot C_{out})$$K$ 为核大小下降了数百倍。更关键的是它把“设计滤波器”的任务从人工如Sobel、Gabor移交给了数据驱动的优化。5.2 从AlexNet到ResNet每一次架构演进都在解决一个具体的“学习瓶颈”课程里列出的AlexNet、VGG、ResNet特点不是罗列名词而是记录了一场持续十年的“打怪升级”AlexNet2012第一个引爆深度学习的CNN。它用ReLU解决Sigmoid的梯度消失Sigmoid在两端梯度≈0反向传播时连乘趋零ReLU在正区梯度恒为1用Dropout随机屏蔽50%神经元防止过拟合用Data Augmentation镜像、裁剪人为扩充数据——它证明了足够深的网络足够巧的正则足够多的数据能碾压所有手工特征。VGG2014用堆叠3×3小卷积替代大卷积如7×7在保持感受野的同时大幅减少参数$3×3×327$ vs $7×749$并增加非线性每层后接ReLU让决策边界更复杂。它确立了“小核深网”是更优的归纳偏置。ResNet2015解决“网络越深性能越差”的退化问题。它引入残差连接Shortcut让网络学习残差 $F(x)$而非原始映射 $H(x)$即 $H(x) F(x) x$。这样即使 $F(x)0$恒等映射网络也能完美传递信息。残差块让1000层网络的训练成为可能它把优化目标从“学一个复杂函数”降维成“学一个微小修正”。这些演进每一步都直指一个具体痛点梯度消失、参数爆炸、优化困难。它们不是炫技而是工程师在损失函数的陡坡上一阶一阶凿出的台阶。5.3 R-CNN系列从“两阶段”到“端到端”目标检测如何把“找框”和“识物”拧成一股绳传统目标检测如Viola-Jones是“滑动窗口分类器”计算量巨大。R-CNN开创了“区域提议Region Proposal 分类回归”的两阶段范式但自身有硬伤R-CNN对每个2000个候选框都独立过一遍CNN——2000次前向传播慢如蜗牛。Fast R-CNN先对整图过CNN得特征图再用RoI Pooling将任意大小的候选框区域池化为固定7×7大小提取特征——共享卷积计算速度提升10倍。Faster R-CNN把“生成候选框”这个最耗时的环节也交给CNN来做——引入区域提议网络RPN。RPN在特征图上滑动对每个位置预设9个不同尺度/长宽比的“锚点Anchor”预测“这个锚点是否含物体”二分类和“如何调整锚点成精确框”4维回归。从此“找框”和“识物”彻底统一在同一个网络里端到端训练。RPN的设计精髓在于锚点Anchor机制它不从零开始回归框而是对一组精心设计的先验框如128×128, 256×256, 512×512各配1:1, 1:2, 2:1长宽比做微调。这极大降低了回归难度让网络能聚焦于“判别”和“精修”而非“无中生有”。5.4 常见误区CNN、R-CNN、Transformer不是“技术迭代”而是“不同问题的不同解法”易混点为什么混怎么区分以为“CNN过时了现在都用ViTVision Transformer”看到论文刷榜、新模型发布产生线性进化幻觉ViT在大数据集如JFT-300M上表现优异但其自注意力机制计算量随图像块数平方增长对小图、实时场景如手机端仍不如CNN高效。CNN的归纳偏置局部性、平移不变是图像的先天属性ViT的归纳偏置全局关系建模是任务后天需求。二者是互补非替代。把“1×1卷积”当成摆设或只当它为“通道数变换”看到Conv2d(64, 128, 1)只理解为“升维”1×1卷积是**跨通道的线性本文还有配套的精品资源点击获取
简介本资源是北京交通大学2024年计算机视觉课程核心考点精要汇总面向高校本科生、考研学生及CV入门学习者系统梳理课程中高频必考的40个关键知识点覆盖图像滤波原理相关/卷积/内积、Canny边缘检测全流程、Harris角点与SIFT特征提取机制、高斯核参数设计、滤波器组与多尺度分析、CNN基础结构感受野、权值共享、1×1卷积、残差模块、目标检测演进R-CNN→Faster R-CNN、损失函数与优化策略交叉熵、铰链损失、Momentum、Dropout等硬核内容。资源为单文件PDF共1个9.69MB高清讲义排版清晰、公式规范、原理与实例并重便于考前速查、课堂补充与自学复盘。已有666人学习下载内容深度适配课程教学节奏兼具理论严谨性与应试实用性是掌握CV基础框架与解题逻辑的高效学习抓手。1. 计算机视觉到底是什么不是“让机器看图说话”而是教它用数学眼睛理解世界你有没有试过给手机相册打标签比如输入“海滩”它自动翻出所有带海、沙、太阳的照片——背后不是AI真认出了浪花而是把每张图拆成成千上万个数字再用一套精密的数学规则判断哪些数字组合更像“海滩”。这就是计算机视觉Computer Vision最朴素的本质它不靠眼睛靠卷积不靠直觉靠梯度不靠经验靠尺度空间里的极值响应。很多人一听到“计算机视觉”第一反应是“人脸识别”“自动驾驶”“美颜相机”觉得那是高不可攀的黑科技。但2024年某高校计算机视觉课的这份必考知识点清单恰恰撕开了这层神秘面纱——它里面没有一行调用API的代码全是手推公式、手画滤波器、手算高斯核、手解特征向量。它问的是“为什么3×3卷积能替代7×7”“为什么Canny非得用双阈值单阈值不行吗”“SIFT描述子为什么非得切成4×4小块再统计梯度直方图”这些问题的答案不在模型权重里而在图像信号与线性算子之间那场持续几十年的对话中。这份资料不是速成秘籍也不是调参指南。它是一份“视觉认知说明书”告诉你图像怎么被当成函数来积分边缘怎么被当成导数来捕捉角点怎么被当成矩阵特征值来定位关键点怎么被当成尺度空间里的山峰来寻找。如果你曾对着OpenCV的一行cv2.Canny()发呆不知道里面发生了什么如果你调通了YOLO却说不清RoI Pooling和NMS到底在替你做哪两件事如果你背过“感受野”“权值共享”却画不出它们在神经元连接图上的真实形状——那么这份资料就是帮你把那些飘在空中的术语一锤一锤钉进数学土壤里的铁砧。它不教你“怎么跑通一个demo”它教你“为什么必须这么设计”。而当你真正搞懂高斯核为何要设为6σ、SIFT为何要建双塔金字塔、RPN为何要用锚点anchor而不是直接回归框——你会发现所谓前沿模型不过是这些基础原理在不同约束下的最优排列组合。这不是考试押题这是给你配一副能看清算法骨架的眼镜。2. 图像滤波不是“加个滤镜”而是用数学模板对像素做三次不同视角的“投票”图像滤波是计算机视觉的起点也是最容易被误解的起点。很多人以为“滤波模糊”或者“滤波锐化”就像手机里点一下“怀旧”“冷艳”“胶片”——但课程里考的第一题就直击本质相关、卷积、内积这三种定义方式根本不是操作差异而是数学视角的切换。它们像三台不同精度的显微镜观察的是同一组像素与同一组模板之间的关系。2.1 相关最直觉的“模板匹配式投票”想象你有一张“OK手势”的截图你想在另一张大图里找所有出现这个手势的位置。最朴素的办法是什么拿这个小图当“探针”从左到右、从上到下在大图每个位置上盖一下把探针每个像素和底下对应像素相乘再把所有乘积加起来。这个总和越大说明当前位置越像“OK”。这就是相关Correlation模板不翻转原样滑动逐点相乘再求和。公式写出来就是$$(I \star K)(x,y) \sum_{i}\sum_{j} I(xi, yj) \cdot K(i,j)$$其中 $K$ 是你的模板比如一个3×3的“边缘检测器”$I$ 是图像$(x,y)$ 是当前滑动到的位置。注意这里模板 $K$ 的坐标 $(i,j)$ 是以自己中心为原点的所以当它盖在图像 $(x,y)$ 上时实际对齐的是 $I(xi, yj)$。这种“模板不动、图像动”的方式最符合人类直觉——我们看图找东西从来不会先把模板倒过来再比。2.2 卷积为满足“系统可交换性”而生的数学约定那为什么教科书和框架如PyTorch的nn.Conv2d默认用的是卷积Convolution而不是相关答案藏在信号处理的底层契约里一个理想的线性系统必须满足“输入先A后B”和“输入先B后A”结果一样——即系统可交换性。而只有当滤波操作定义为“模板先旋转180°再做相关”这个性质才成立。举个例子假设你有两个滤波器一个是高斯平滑 $G$一个是拉普拉斯锐化 $L$。如果先平滑再锐化和先锐化再平滑结果应该一致至少在数学理想情况下。但如果你用“相关”去实现两者结果会错位只有把其中一个模板旋转180°即变成卷积才能保证顺序无关。所以卷积的公式是$$(I * K)(x,y) \sum_{i}\sum_{j} I(xi, yj) \cdot K(-i,-j)$$等价于先把 $K$ 绕中心旋转180°得到 $K_{\text{rot}}$再计算 $I \star K_{\text{rot}}$。在深度学习中我们几乎总是用卷积因为CNN的整个理论大厦权值共享、反向传播、感受野推导都建立在这个数学约定之上。但实操中你完全可以把卷积层的权重看作“已经旋转好的模板”——训练过程自动学出了那个该旋转的版本你无需手动翻转。2.3 内积把二维操作降维成“向量打分”前两种都是在二维空间里滑动计算而内积Inner Product则提供了一个更代数、更本质的视角它把滤波看作两个向量的相似度打分。怎么做把模板 $K$ 按行或列拉成一个一维向量 $\mathbf{k}$长度为 $k^2$比如3×3模板拉成9维向量再把图像上当前覆盖的 $k×k$ 区域也拉成同样长度的向量 $\mathbf{i}$。然后计算 $\mathbf{i}^\top \mathbf{k}$ —— 就是标准的向量内积。这个操作和相关完全等价只是表达形式不同$$\mathbf{i}^\top \mathbf{k} \sum_{m1}^{k^2} i_m \cdot k_m$$它揭示了一个关键事实滤波的本质是将局部图像块投影到模板向量所张成的方向上投影长度就是响应强度。所以一个高斯模板就是在告诉系统“朝‘整体灰度均匀’这个方向多投一点分”一个Sobel模板就是在说“朝‘水平梯度强’这个方向重点打分”。这也是为什么CNN的卷积层可以被看作“一堆可学习的模板探测器”——每个卷积核就是一个待优化的$\mathbf{k}$向量它在不断调整自己的方向以便在输入图像的高维空间里找到最具判别性的投影轴。2.4 常见误区相关 vs 卷积 vs 内积三者不是“谁更好”而是“谁在回答哪个问题”易混点为什么混怎么区分以为“相关”就是错的卷积才是标准因为教材和框架都叫conv初学者误以为相关是“不规范”的写法实际上相关是更自然的匹配逻辑卷积是为满足系统理论而做的数学适配。在目标检测如模板匹配中相关反而更直观在CNN特征提取中卷积是必须的约定。二者只是坐标系定义不同结果可通过旋转模板互换。把“内积”当成一种独立的滤波操作看到“向量化”“投影”等词以为内积是第三种并列的算法内积不是新操作它是相关/卷积的等价代数表述。它不改变计算结果只改变理解维度——从“滑动窗口”升级到“向量空间几何”。当你需要分析滤波器的正交性、能量分布或可视化其“模板方向”时内积视角不可替代。认为滤波器大小如3×3只决定计算量看到“小尺寸滤波器参数少”就以为只是工程优化滤波器尺寸直接绑定感受野和信息粒度。一个1×1卷积无法感知邻域关系一个3×3是能捕获八邻域的最小单元而5×5虽大一圈却可能因参数爆炸导致过拟合。尺寸选择本质是在“局部细节保真度”和“全局模式泛化力”之间做物理尺度的权衡。3. 高斯核与边缘检测为什么“先模糊再求导”不是妥协而是噪声与结构的终极和解如果把图像看作一张起伏的地形图那么像素值就是海拔高度。边缘就是这座山上陡峭的悬崖角点就是几道山脊交汇的峰顶而噪声则是山顶上随机刮起的沙尘暴。高斯核和它的衍生工具高斯偏导、LoG、Canny就是一套专为这张地形图设计的测绘仪——它不追求绝对清晰而追求在混沌中稳定地勾勒出结构的骨架。3.1 高斯核为什么“6σ”是平滑的黄金分割点高斯函数 $G(x,y) \frac{1}{2\pi\sigma^2} e^{-\frac{x^2y^2}{2\sigma^2}}$ 长得像个馒头σ 决定馒头的胖瘦。σ 越小馒头越尖只照顾眼皮底下那几个像素σ 越大馒头越扁影响力铺开一大片。但问题来了实际编程时你不可能用无限大的核。必须截断。截到哪里课程里那句“kernel size 6σ”不是拍脑袋而是3σ原则的工程落地高斯分布中±3σ 范围内包含了约99.7%的概率质量。也就是说把核设为 $6\sigma \times 6\sigma$向上取整为奇数就等于把99.7%的有效权重都囊括进来剩下0.3%的“尾巴”对结果的影响已经小到可以忽略不计。举个具体例子若 σ 1理论核宽应为6常用3×3或5×5若 σ 2理论核宽为12但实践中常取7×7或9×9若 σ 3理论宽18但15×15已足够——因为超出15的权重连0.001都不到。这就是为什么题目里说“kernel size不同但σ相同时结果类似”只要size ≥ 6σ你再把核扩大一倍比如从9×9到17×17新增的那些极外围像素贡献的加权和几乎为零。平滑效果的“质变点”不在尺寸而在σ——它决定了你愿意为噪声付出多少“模糊代价”。3.2 高斯偏导核把“去噪”和“找边”合成一步的聪明偷懒边缘检测的理想流程应该是先用高斯模糊把沙尘暴压下去去噪再用梯度算子如Sobel去找哪里坡度最陡找边。但数学上这两个操作可以合并对图像 $I$ 先高斯模糊再求导等价于图像 $I$ 直接与“高斯函数的导数”做卷积。即$\frac{\partial}{\partial x}(G * I) (\frac{\partial G}{\partial x}) * I$其中 $\frac{\partial G}{\partial x}$ 就是高斯一阶偏导核它长这样x方向[ -0.11 0.00 0.11 ] [ -0.17 0.00 0.17 ] [ -0.11 0.00 0.11 ]y方向同理转置即可这个核的妙处在于它天然自带“中心为零、两侧反对称”的结构。这意味着它对均匀区域平地响应为零对缓慢变化区域缓坡响应微弱只对剧烈跳变悬崖给出强响应——而且由于高斯部分已经平滑了噪声这个强响应是干净、稳定的。所以高斯偏导不是“又加了一道工序”而是用一个数学恒等式把两步串行计算压缩成一步并行卷积。计算量减半精度反升。这是信号处理里“先滤波再微分”思想的完美体现。3.3 Canny的“细边缘”与“双阈值”如何让机器学会“宁缺毋滥”Canny的目标不是找出所有可能的边缘点而是找出最可信、最连贯、最细的单像素边缘链。它用两招实现第一招非极大值抑制NMS for Edge Thinning梯度图里边缘本应是一条细线但实际计算出的梯度幅值图边缘是一片“高原”。NMS要做的就是在这片高原上只保留山脊线即梯度方向上最高峰的那个点把两边的“山坡”削掉。具体操作对每个像素看它在梯度方向上的两个邻居比如方向是0°就看左右是45°就看右上和左下。如果当前像素梯度值不是三者中最大就设为0。这相当于用一把“方向性刻刀”沿着边缘生长方向把毛边刮干净。第二招双阈值滞后阈值Hysteresis Thresholding单阈值会面临两难阈值设高漏掉弱边缘如远处物体轮廓设低引入大量噪声伪边缘。Canny的解法是设两个阈值$T_{high}$ 和 $T_{low}$通常 $T_{low} \approx 0.4 \times T_{high}$。所有梯度 $T_{high}$ 的点无条件保留称为“强边缘”所有梯度 $T_{low}$ 的点无条件丢弃夹在中间的点只保留那些与强边缘有路径连通的即通过8邻域能走到一个强边缘点。这就像修路$T_{high}$ 是主干道施工队只在确定是路的地方打桩$T_{low}$ 是巡线员他发现一段疑似路基的土埂但只在他能从主干道一路走过去的地方才允许填土加固。最终路是连续的且宽度严格控制在单像素。提示这个“连通性”判断正是Canny比Sobel、Prewitt更鲁棒的核心——它用图论思想把边缘从“孤立点集”升级为“拓扑连通结构”。3.4 常见误区高斯、LoG、DoG不是“一代更比一代强”而是“不同任务配不同扳手”易混点为什么混怎么区分以为LoG拉普拉斯高斯就是“高级版高斯偏导”都带“高斯”都用于边缘检测名字听起来像升级版LoG是二阶导响应的是“零交叉点”即从正变负或负变正的位置最适合检测斑点blob如细胞、瞳孔、光斑而高斯偏导是一阶导响应的是梯度幅值峰值专为边缘设计。二者物理意义完全不同一个找“山包的顶”一个找“山崖的边”。把DoG高斯差分当成LoG的近似以为精度更低SIFT里用DoG代替LoG容易让人觉得是“凑合方案”DoG是两尺度高斯相减$D(x,y,\sigma) G(x,y,k\sigma) - G(x,y,\sigma)$。它不仅是LoG的良好近似当$k\to1$时DoG→LoG更重要的是DoG计算只需两次高斯卷积一次减法而LoG需要先算高斯再算二阶导数值不稳定且易放大噪声。DoG是工程智慧——用可计算性换鲁棒性。认为“滤波器组Filter Bank”就是堆一堆不同方向的Sobel看到“多种滤波器”直觉是“多角度边缘检测”滤波器组是多尺度、多方向、多功能的组合。例如Gabor滤波器组能同时编码“特定频率特定方向特定尺度”的纹理而课程里提到的“高斯、LoG、高斯偏导”分别负责平滑积分、斑点检测二阶微分、边缘检测一阶微分。它们不是重复劳动而是构建图像的“多维特征指纹”。4. 特征检测与描述从Harris角点到SIFT一场关于“什么是稳定视觉锚点”的三十年追问如果把图像比作一张城市地图那么滤波是在绘制等高线而特征检测则是在地图上精准标出“故宫”“东方明珠”“埃菲尔铁塔”这样的地标——它们必须足够独特Distinctive、足够稳定Stable、足够可复现Repeatable。Harris和SIFT代表了这场追问的两个里程碑前者用矩阵特征值回答“哪里是角点”后者用尺度空间极值回答“哪里是关键点”。4.1 Harris角点用“灰度变化曲面”的曲率定位图像里的“十字路口”Harris的出发点非常朴素在一个小窗口里往任意方向移动一点点如果窗口内灰度变化都很大那这个窗口大概率盖住了“角点”如窗框交叉处如果只在一个方向变化大那是“边缘”如墙沿如果各个方向都不怎么变那是“平面”如白墙。数学上它定义灰度变化函数$$E(u,v) \sum_{x,y} w(x,y) [I(xu,yv) - I(x,y)]^2$$其中 $w$ 是窗口权重常用高斯$(u,v)$ 是微小位移。对 $I(xu,yv)$ 做一阶泰勒展开得到$$E(u,v) \approx [u\ v] M \begin{bmatrix} u \ v \end{bmatrix}, \quad M \sum_{x,y} w(x,y) \begin{bmatrix} I_x^2 I_x I_y \ I_x I_y I_y^2 \end{bmatrix}$$这个 $M$ 就是结构张量Structure Tensor它编码了窗口内梯度的分布。关键洞察来了$M$ 是实对称矩阵可对角化。它的两个特征值 $\lambda_1, \lambda_2$ 决定了“灰度变化曲面”的形状$\lambda_1$ 和 $\lambda_2$ 都大 → 曲面像马鞍四面八方都陡 →角点一个大一个小 → 曲面像山脊只有一向陡 →边缘都很小 → 曲面像平原 →平面。但算特征值太慢Harris用迹trace和行列式det构造快速响应函数$$R \det(M) - k \cdot \operatorname{trace}(M)^2 \lambda_1 \lambda_2 - k(\lambda_1 \lambda_2)^2$$其中 $k$ 是经验值常取0.04~0.06。$R$ 大且正 → 角点$R$ 负 → 边缘$R$ 接近0 → 平面。这就是Harris角点检测的全部不追踪边缘不拟合模型只靠一个窗口内的梯度协方差就完成了对局部结构的几何分类。4.2 SIFT的“双塔”结构为什么必须建金字塔又为什么必须建两座SIFT要解决Harris的一个致命短板尺度不变性。Harris在原图上找角点但如果同一物体在照片里有远有近尺度不同Harris会在大图上找到很多点在小图上却找不到——因为它没考虑“多大才算一个角”。SIFT的答案是构建尺度空间Scale Space。不是只看一张图而是看一摞图——从原图开始不断用高斯核模糊并按比例缩小形成“高斯金字塔”Gaussian Pyramid。每一层都代表图像在不同尺度下的“概览”。但只有一座塔不够。SIFT建了“双塔”塔1Octave 1原图 $I$用 $\sigma, k\sigma, k^2\sigma, ...$ 模糊得到 $L$ 层塔2Octave 2把塔1的第3层或第4层下采样2倍作为新塔的底层再用同样 $\sigma$ 序列模糊……为什么要下采样再建新塔因为如果只用一个超大高斯核如 $\sigma10$去模糊原图计算量爆炸而下采样后的图分辨率变小用小 $\sigma$ 就能达到同等模糊效果物理尺度等价。这是用空间换时间的经典工程智慧。更绝的是SIFT不直接在高斯金字塔上找极值而是建第二座塔——高斯差分金字塔DoG Pyramid对同一塔内相邻两层做减法。为什么因为DoG是LoG的良好近似而LoG的极值点正好对应图像中尺度自适应的斑点/角点。在DoG中找局部极大/极小值就等效于在尺度空间中找“山峰”——这个山峰的位置 $(x,y)$ 给出空间坐标层数 $s$ 给出尺度 $\sigma_s$三者共同定义一个尺度不变的关键点。4.3 SIFT描述子为什么要把关键点邻域切成16块每块统计8方向梯度找到关键点只是开始如何让两个不同视角、不同光照下的同一物体能被程序判定为“同一个”SIFT的描述子就是它的身份证。步骤精炼为三句话定向以关键点为中心取半径 $1.5\sigma$ 的圆形区域$\sigma$ 是该点所在尺度计算区域内每个像素的梯度幅值和方向用加权直方图距离中心越近、幅值越大权重越高投票选出主方向——这解决了旋转不变性。归一化把主方向旋转到0°让所有描述子“面朝同一方向”消除旋转影响。分块直方图将旋转后的正方形区域边长 $16\sigma$划分为 $4×416$ 个子块每个子块计算8方向梯度直方图0°~360°每45°一档得到16×8128维向量。最后L2归一化——这解决了光照不变性归一化压制了整体亮度变化和局部形变鲁棒性分块削弱了小范围扭曲影响。这个128维向量就是SIFT描述子。它不记录像素值只记录“在哪个局部区域梯度主要朝哪几个方向走”。这种分布式、方向性、归一化的表示让SIFT在2004年横空出世后统治局部特征领域长达十年——直到深度学习用端到端的方式重新定义了“什么是好的描述子”。4.4 常见误区Harris、SIFT、ORB不是“谁更先进”而是“谁在什么约束下最务实”易混点为什么混怎么区分以为SIFT是Harris的“升级版”所以Harris过时了都检测角点SIFT更鲁棒容易线性理解为迭代关系Harris是轻量级实时检测器如SLAM前端计算快、内存省SIFT是高精度匹配器如全景拼接、考古图像比对追求跨尺度/旋转/光照的绝对一致性。二者适用场景不同Harris适合“我需要马上知道哪里有角”SIFT适合“我需要确保十年后重拍的照片还能和今天对上”。把ORB当成“SIFT的免费替代品”忽视其设计取舍ORB用FAST检测BRIEF描述号称又快又好ORB的FAST检测器不计算梯度只做像素比较速度极快但对噪声敏感BRIEF描述子是二进制串匹配快但缺乏旋转/尺度不变性需额外用rBRIEF补救。ORB是为嵌入式和移动端妥协的产物它牺牲了SIFT的部分鲁棒性换取了百倍的速度提升和极小的内存占用。认为“特征点越多越好”盲目增加Harris的阈值或SIFT的对比度看到检测结果稀疏第一反应是调低阈值特征点质量远大于数量。Harris阈值过低会把噪声当角点SIFT对比度阈值过低会生成大量位于纹理弱区的不稳定关键点。好的特征点应该像城市里的地铁枢纽——数量不多但连接性强、覆盖广、容错高。课程里强调“自动尺度选择”正是为了找到那个“枢纽密度最优”的尺度。5. 从传统方法到深度学习卷积神经网络如何把“手工设计滤波器”变成“自动学习滤波器组”如果说Harris和SIFT是工程师用刻刀在图像上雕琢特征那么CNN就是请来一位不知疲倦的学徒把整座雕刻工厂数据交给他让他自己摸索出最顺手的刻刀滤波器和最高效的工序网络结构。这个转变不是简单的“自动化”而是对“什么是视觉特征”的范式重构。5.1 CNN的基石感受野与权值共享如何用数学实现“局部连接”和“平移不变”全连接网络MLP处理图像会把一张224×224的图拉成50176维向量每个像素都要和所有神经元连接——参数量爆炸且完全无视“相邻像素更相关”这一图像基本规律。CNN用两个核心约束破局感受野Receptive Field指网络中某个神经元其输出值依赖于输入图像的哪一块区域。第一层卷积感受野就是卷积核大小如3×3第二层每个神经元依赖于第一层多个神经元的输出其感受野就扩大为5×5依此类推。感受野的逐层扩张模拟了人类视觉从局部细节到全局结构的认知过程。它不是靠记忆整张图而是靠层层汇聚的局部证据。权值共享Weight Sharing同一个卷积核滤波器在整张特征图上滑动使用。这意味着检测“垂直边缘”的能力不是只在图像左上角有效而是在所有位置都有效——这直接赋予了CNN平移不变性Translation Invariance。你把一只猫从图左移到图右CNN依然能认出它因为“猫耳朵的纹理模式”这个滤波器在新位置照样能激活。这两点结合让CNN的参数量从MLP的 $O(HW \cdot C_{out} \cdot C_{in})$ 降到 $O(K^2 \cdot C_{in} \cdot C_{out})$$K$ 为核大小下降了数百倍。更关键的是它把“设计滤波器”的任务从人工如Sobel、Gabor移交给了数据驱动的优化。5.2 从AlexNet到ResNet每一次架构演进都在解决一个具体的“学习瓶颈”课程里列出的AlexNet、VGG、ResNet特点不是罗列名词而是记录了一场持续十年的“打怪升级”AlexNet2012第一个引爆深度学习的CNN。它用ReLU解决Sigmoid的梯度消失Sigmoid在两端梯度≈0反向传播时连乘趋零ReLU在正区梯度恒为1用Dropout随机屏蔽50%神经元防止过拟合用Data Augmentation镜像、裁剪人为扩充数据——它证明了足够深的网络足够巧的正则足够多的数据能碾压所有手工特征。VGG2014用堆叠3×3小卷积替代大卷积如7×7在保持感受野的同时大幅减少参数$3×3×327$ vs $7×749$并增加非线性每层后接ReLU让决策边界更复杂。它确立了“小核深网”是更优的归纳偏置。ResNet2015解决“网络越深性能越差”的退化问题。它引入残差连接Shortcut让网络学习残差 $F(x)$而非原始映射 $H(x)$即 $H(x) F(x) x$。这样即使 $F(x)0$恒等映射网络也能完美传递信息。残差块让1000层网络的训练成为可能它把优化目标从“学一个复杂函数”降维成“学一个微小修正”。这些演进每一步都直指一个具体痛点梯度消失、参数爆炸、优化困难。它们不是炫技而是工程师在损失函数的陡坡上一阶一阶凿出的台阶。5.3 R-CNN系列从“两阶段”到“端到端”目标检测如何把“找框”和“识物”拧成一股绳传统目标检测如Viola-Jones是“滑动窗口分类器”计算量巨大。R-CNN开创了“区域提议Region Proposal 分类回归”的两阶段范式但自身有硬伤R-CNN对每个2000个候选框都独立过一遍CNN——2000次前向传播慢如蜗牛。Fast R-CNN先对整图过CNN得特征图再用RoI Pooling将任意大小的候选框区域池化为固定7×7大小提取特征——共享卷积计算速度提升10倍。Faster R-CNN把“生成候选框”这个最耗时的环节也交给CNN来做——引入区域提议网络RPN。RPN在特征图上滑动对每个位置预设9个不同尺度/长宽比的“锚点Anchor”预测“这个锚点是否含物体”二分类和“如何调整锚点成精确框”4维回归。从此“找框”和“识物”彻底统一在同一个网络里端到端训练。RPN的设计精髓在于锚点Anchor机制它不从零开始回归框而是对一组精心设计的先验框如128×128, 256×256, 512×512各配1:1, 1:2, 2:1长宽比做微调。这极大降低了回归难度让网络能聚焦于“判别”和“精修”而非“无中生有”。5.4 常见误区CNN、R-CNN、Transformer不是“技术迭代”而是“不同问题的不同解法”易混点为什么混怎么区分以为“CNN过时了现在都用ViTVision Transformer”看到论文刷榜、新模型发布产生线性进化幻觉ViT在大数据集如JFT-300M上表现优异但其自注意力机制计算量随图像块数平方增长对小图、实时场景如手机端仍不如CNN高效。CNN的归纳偏置局部性、平移不变是图像的先天属性ViT的归纳偏置全局关系建模是任务后天需求。二者是互补非替代。把“1×1卷积”当成摆设或只当它为“通道数变换”看到Conv2d(64, 128, 1)只理解为“升维”1×1卷积是**跨通道的线性本文还有配套的精品资源点击获取
