发布时间:2026/8/25 17:22:45
沐神-动手学习深度学习-习题 4.3. 多层感知机的简洁实现 ####答案这一节介绍了如何使用深度学习框架如 PyTorch的高级 API 简洁地实现多层感知机MLP。相比上一节的“从零实现”简洁实现将重点放在了模型架构的定义和训练流程的标准化上。核心内容总结A. 模型定义使用 nn.Sequential 构建模型它可以按顺序将各个层串联起来。层级结构展平层 (nn.Flatten)将输入的 28 \times 28 二维图像转换为 784 维的一维向量。隐藏层 (nn.Linear)定义了输入为 784、输出为 256 的全连接层。激活层 (nn.ReLU)在隐藏层后添加非线性变换。输出层 (nn.Linear)将 256 个隐藏单元映射到 10 个分类输出。B. 参数初始化使用 nn.init.normal_ 对权重进行随机正态分布初始化。通常将偏置项初始化为 0。C. 训练配置损失函数使用 nn.CrossEntropyLoss()。它在内部结合了 Softmax 和交叉熵计算并处理了数值稳定性问题。优化器使用 torch.optim.SGD设置学习率如 0.1来更新参数。训练循环直接调用 d2l.train_ch3 函数这与之前的 Softmax 回归训练过程完全一致。习题答案解析Q1: 尝试添加更多的隐藏层看看它对结果有什么影响现象添加更多层可以增加模型的表达能力容量有时能进一步降低训练损失。风险如果层数过多且没有合适的正则化如 Dropout模型更容易发生过拟合。同时训练时间会增加。深度建议在 Fashion-MNIST 这种简单数据集上两到三个隐藏层通常就足够了。Q2: 尝试不同的激活函数。哪个效果最好ReLU目前最通用的选择收敛快且计算简单。Sigmoid容易导致梯度消失尤其是在层数较多时训练速度明显慢于 ReLU。Tanh性能通常介于两者之间但在深度网络中依然不如 ReLU 常用。Leaky ReLU在输入为负时保留微弱梯度有时能改善神经元“死亡”的问题。Q3: 尝试不同的方案来初始化权重。Xavier 初始化 (nn.init.xavier_uniform_)旨在保持每一层输出的方差一致特别适合 Sigmoid 和 Tanh 激活函数。Kaiming 初始化 (nn.init.kaiming_normal_)专为 ReLU 激活函数设计是目前深层网络中最主流的初始化方式。结论使用 Kaiming 初始化通常会让基于 ReLU 的 MLP 收敛更稳定。Q4: 调整超参数如学习率、迭代轮数、隐藏单元个数观察并分析结果。学习率太高会导致 Loss 震荡不下降太低会导致训练极慢。隐藏单元个数增加个数如 512 或 1024能提升准确率上限但会显著消耗更多显存和计算资源。迭代轮数 (Epochs)通常观察训练集和验证集的损失曲线。当验证集损失不再下降甚至上升时应停止训练防止过拟合。下一步建议掌握了简洁实现后你已经具备了构建中等复杂度网络的能力。接下来的 4.4 节“模型选择、欠拟合和过拟合” 将带你探讨如何科学地评估模型性能避免模型只是“死记硬背”数据。你想了解如何绘制损失曲线图来识别过拟合还是想看看**权重衰减L2 正则化**是如何解决这个问题的

相关新闻

2026/8/25 17:22:45

从功能清单到测试思维:深度拆解朋友圈测试用例设计

1. 从面试题到实战思维:朋友圈测试用例的深度拆解最近帮团队面试,又看到了这道经典题:“写一个微信朋友圈的测试用例”。说实话,这道题出现的频率高到几乎成了测试岗位的“必考题”。但有意思的是,十个候选人里&#x…

2026/8/25 17:17:44

智能体可观测性与管控实践:QClaw与ADP构建企业级AI工作流

1. 项目概述:从“智能体”到“可管可控”的跨越最近在折腾智能体(Agent)开发的朋友,估计都经历过一个相似的阶段:一开始,我们用LangChain、LlamaIndex这类框架,或者直接在Dify、Coze这类平台上拖…

2026/8/25 17:17:44

开源AI智能体协作框架:构建专业AI专家团队实现复杂任务自动化

1. 项目概述:当AI从单兵作战走向“团队协作”最近在AI圈子里,一个叫“agency-agents”的开源项目热度不低。乍一看名字,你可能会联想到那些“AI智能体”或者“多智能体”框架,但它的核心定位更聚焦、也更务实:构建一个…

2026/8/25 20:03:21

【毕业设计】基于hadoop的高校教学资源推荐系统

❤小编介绍:小编所在团队为图灵学术中心,专注于 Java 、Python、物联网、电子信息、STM32 相关项目,提供程序设计开发、源码分享、技术指导与定制化服务。团队经验扎实、专业实力雄厚,能够充分适配客户各类需求。从精准选题到顺利…

2026/8/25 20:03:21

LLM大模型训练工具,小白也能轻松搞定!

LLM大模型训练工具,小白也能轻松搞定! Axolotl Axolotl 是一款旨在简化各种人工智能模型微调的工具,支持多种配置和架构。 主要特点: 支持的常见开源大模型,多种训练方式,包括:全参微调、LoRA…

2026/8/25 20:03:21

转型大面积遇阻!IDC数据:低代码扛起企业数字化落地大旗

近几年,数字化转型几乎成为所有企业的标配战略。上到集团型企业全域上云、系统重构,下到中小微企业业务线上化改造,行业整体数字化投入连年攀升。但拨开资本市场和行业媒体的热闹包装,落地真相极其残酷:投入持续加码&a…

2026/8/25 20:03:21

软件测试面试全攻略:从初级到高级的核心考察点

1. 软件测试面试的核心考察维度软件测试岗位的面试通常围绕技术能力、项目经验、思维逻辑三个维度展开。作为从业十年的测试工程师,我发现不同级别的候选人在这三个维度的考察重点存在明显差异:1.1 初级测试工程师考察重点对于0-3年经验的初级候选人&…

2026/8/25 20:03:21

2023软件测试面试全攻略:35道高频题解析

1. 软件测试面试题的价值与准备策略在软件测试领域求职过程中,面试题准备是每个候选人必须面对的挑战。最近三年行业数据显示,超过78%的测试工程师在初面阶段因基础知识不扎实被淘汰,而系统化的面试准备能通过率提升3倍以上。这35道精选面试题…

2026/8/25 19:58:14

长辈的快乐,都藏在居家的细碎日常

慢慢发现,长辈的快乐,都藏在居家的细碎日常。 买过不少好看的衣服,却常常被搁置在衣柜。版型拘束、面料硬邦邦,再好看,穿着不舒服也不会愿意穿。 这套家居服,恰好贴合长辈的生活习惯。 柔和碎花不张扬…

2026/8/25 1:04:19

[光学原理与应用-521]:对光的错误理解与纠偏

首先光是一种能量的载体和形态,宏观上观察到的光是由无数个微观的光量子组成的,每个光子在产生的瞬间,其在真空的空间中以确定不变的速度沿着一个初始的方向一直向前,在微观层面,每个光量子的运动轨迹是以波函数所展现…

2026/8/25 11:48:27

SIP通话转接原理与REFER方法实战解析

1. 通话转接不是“挂断再拨号”,而是SIP会话的动态重定向你有没有遇到过这样的场景:客服坐席A正在和客户通电话,突然需要把这通对话无缝转给专家坐席B,客户完全感知不到中间的断连——既没听到忙音,也没被要求重新拨号…

2026/8/25 16:56:43

Kolla-ansible单节点OpenStack部署实战:从环境准备到排坑指南

1. 为什么选择Kolla-ansible来部署单节点OpenStack?如果你正在寻找一种能把OpenStack从“概念”快速变成“可用的实验环境”的方法,那么Kolla-ansible几乎是当前最主流、最省心的选择。我见过太多人卡在手动编译依赖、配置服务、处理版本冲突的泥潭里&am…

2026/8/25 0:04:14

三步把QQ空间历史说说导出到本地:GetQzonehistory 极简指南

三步把QQ空间历史说说导出到本地:GetQzonehistory 极简指南 【免费下载链接】GetQzonehistory 获取QQ空间发布的历史说说 项目地址: https://gitcode.com/GitHub_Trending/ge/GetQzonehistory Meta Description:GetQzonehistory 是一个QQ空间历史说…

2026/8/25 0:04:14

洛谷 P7912:[CSP-J 2021 T4] 小熊的果篮 ← 双向链表

【题目来源】 https://www.luogu.com.cn/problem/P7912 【题目描述】 小熊的水果店里摆放着一排 n 个水果。每个水果只可能是苹果或桔子,从左到右依次用正整数 1,2,…,n 编号。连续排在一起的同一种水果称为一个“块”。小熊要把这一排水果挑到若干个果篮里&#x…

2026/8/24 13:42:17

实测才敢推 AI论文网站 2026最新测评与推荐

2026年真正好用的AI论文网站,核心看生成的论文质量、低AI味、格式正确、学术适配四大指标。综合实测,千笔AI、ThouPen、豆包、DeepSeek、Grammarly 是当前最值得推荐的梯队,覆盖从免费到付费、从中文到英文、从文科到理工的全场景需求。一、综…

2026/8/24 18:13:48

2026必备!AI论文网站测评:最新推荐与深度对比

2026年真正好用的AI论文网站,核心看生成的论文质量、低AI味、格式正确、学术适配四大指标。综合实测,千笔AI、ThouPen、豆包、DeepSeek、Grammarly 是当前最值得推荐的梯队,覆盖从免费到付费、从中文到英文、从文科到理工的全场景需求。 一、…

2026/8/25 1:08:14

摆脱论文困扰!盘点2026年全网爆红的的AI论文写作工具

一天写完毕业论文在2026年已不再是天方夜谭。2026年最炸裂、实测能大幅提速的AI论文写作工具,覆盖选题构思、文献整理、内容生成、格式排版等核心场景,真正帮你高效搞定论文难题。 一、全流程王者:一站式搞定论文全链路(一天定稿首…