简介基于Python的深度学习课堂行为图像识别分类项目源码是为毕业设计或期末大作业准备的完整可运行方案。项目以课堂监控或课堂录像中的学生行为为对象通过卷积神经网络等深度学习模型对举手、睡觉、交流等状态进行图像分类识别覆盖数据准备、模型搭建、训练评估到结果可视化的主要环节也适合作为图像分类入门的学习范例。压缩包共1206个文件其中1183张JPG图片组成分类数据集14个Python脚本承担模型定义、训练、测试与预测等核心功能搭配PNG图示、Markdown说明文档等辅助材料整体大小约100.29MB。源码经过严格调试评审得分达95分以上具备较好的稳定性和规范性便于直接运行复现或二次修改文件中还保留了数据与代码的组织结构可帮助读者快速理解深度学习项目的工程脉络。目前已有571人学习使用适合需要快速搭建课堂行为识别系统的开发者、学生参考。1. 课堂行为图像识别与分类从一段课堂视频到一张行为报表如果你接到一个“基于python的深度学习的课堂行为图像识别分类项目源码.zip”大概率不是想研究论文而是想搞清楚三件事这东西能识别哪些行为、怎么训练出来、放到实际课堂里为什么偶尔不准。把题目拆开看它本质上是一条“摄像头采集图像 → 学生个体检测 → 行为类别分类 → 输出统计报表”的流水线属于计算机视觉里目标检测加图像分类的经典组合不是玄学也不神秘。这类项目真正能为一线解决的问题很具体教务想统计一节课里有多少次举手、有多少人趴在桌上、哪些时段学生低头写字靠自己盯视频回放非常耗费时间用深度学习模型做自动识别后能输出一段时间内的行为占比和异常时段给教研和督导做参考。适合谁来研究这套源码一个是用 PyTorch 做课程设计的学生一个是刚入门深度学习、准备接智慧教室项目的小团队。理解它的最短路径不是先去翻模型结构论文而是先跑通“数据 → 训练 → 推理”这一段闭环再回来调整分类策略。下面分享的这套做法是围绕“检测人 分类行为”的主流工程方案展开的这也是大多数课堂行为识别源码采用的技术基线。2. 定行为类别、准备数据集先让标注规范再让模型做事2.1 先选“场景级分类”还是“目标级分类”课堂行为识别的第一刀不是选模型而是选任务拆分方式。常见做法有两种一种是“场景级分类”把整张教室图像直接喂给一个分类模型输出“上课中”“学生举手”“学生睡觉”这样的整体状态优点是数据制作快不用画框但缺点很明显——教室里几十个学生行为各异整图分类结果只能代表图像主体没法回答“谁在睡觉、谁在举手”这种个体问题。另一种是“目标级分类”先用车牌识别领域常用的目标检测模型把每个学生的人体框找出来再对裁剪出的人体小图做行为分类。图片中同一时刻有成百上千个学生必须带上检测再识别所以实践里基本都走这条路。真正到实现层建议用“YOLO 检测学生位置 ResNet 分类学生行为”的双模型结构如果视频机位固定、人数少比如小班在线课也可以只用整图分类勉强交差但做教务统计一定会被追问“第几排第几个学生”所以更可靠的目标级方案一开始就应该定下来。2.2 行为类别定义8 类是容易操作的上限行为类别定得越多模型越难学。课堂场景通常定 6 到 8 类再多就会出现边界模糊。下表是一套被验证过的类别定义前四类是“正向学习行为”后四类是“疑似负向行为”这套定义后来生成的统计口径也比较自然编号类别名说明最容易混淆的情况0listening抬头面向讲台或屏幕低头看书但正在听讲1hand_raising举手抬手摸头、伸懒腰2writing低头且手部在桌面连续移动低头看手机3reading低头或注视书本/屏幕与书写动作过渡态相似4phone低头注视手机写字时手部遮挡手机5sleeping趴在桌面或长时间闭眼不动低头且完全静止6standing站立站起来又立刻坐下7talking侧头与邻座交流低头捡东西、自言自语定义类别时要给出一套“判别规则说明书”而不是只给类名。一个常见坑是标注人员在判断“低头”时标准不一同样一张图有人标 reading有人标 phone造成类别重叠。建议在标注前定一条规则图像中看不到屏幕光斑或手机边缘时一律不标 phone有明显的伏案动作时优先标 sleeping。这类规则的颗粒度直接决定标注一致性和模型上限。2.3 数据采集与转换从视频抽帧到裁剪出个体训练集课堂行为数据不会自带标签通常从教室监控视频里抽帧再人工标注。抽帧最简单的方式是 ffmpeg 按 0.2 帧率也就是每 5 秒取一帧ffmpeg -i course_01.mp4 -vf fps0.2 -q:v 2 frames/lesson01_%04d.jpg参数说明fps0.2表示每秒抽取 0.2 帧即 5 秒一帧这是行为识别里比较稳妥的密度-q:v 2控制输出 JPEG 质量为高质量避免压缩带来的模糊。如果相机帧率本身只有 15fps抽帧间隔不改也没关系关键是保证同一行为在连续时间段内出现足够多的样本。抽完帧用 LabelImg 或 labelme 打开图片先画人体框person再给人体框标行为类别导出格式建议选 YOLO txt 格式每行是“类别编号 中心点x 中心点y 宽度 高度”坐标都是归一化后的 0 到 1 的小数加载训练时很方便。拿到 YOLO 标注后还需要把它转成分类任务的数据集做法是“按人体框裁剪原图以类别名建文件夹存小图”。import os from glob import glob from PIL import Image IMG_DIR ./frames TXT_DIR ./labels_yolo OUT_ROOT ./behavior_dataset CLS [listening, hand_raising, writing, reading, phone, sleeping, standing, talking] for txt_path in glob(os.path.join(TXT_DIR, *.txt)): img_path os.path.join(IMG_DIR, os.path.basename(txt_path)[:-4] .jpg) if not os.path.exists(img_path): continue image Image.open(img_path) width, height image.size with open(txt_path) as f: for line in f.readlines(): tokens line.split() if len(tokens) ! 5: continue cls_idx, x_center, y_center, box_w, box_h map(float, tokens) left int((x_center - box_w / 2.0) * width) top int((y_center - box_h / 2.0) * height) right int((x_center box_w / 2.0) * width) bottom int((y_center box_h / 2.0) * height) left, top max(0, left), max(0, top) right, bottom min(width, right), min(height, bottom) crop image.crop((left, top, right, bottom)) out_dir os.path.join(OUT_ROOT, CLS[int(cls_idx)]) os.makedirs(out_dir, exist_okTrue) file_name f{os.path.basename(txt_path)[:-4]}_{left}_{top}.jpg crop.save(os.path.join(out_dir, file_name))这段脚本的逻辑不难先读每一帧和对应的 txt 标注把归一化框还原成像素坐标再做边界裁剪防止越界最后按类别存文件夹。有一点要注意YOLO 的框可能是全身体框裁剪出的图像可能包含邻座同学的半个身体对分类是干扰项。好在我标注时只画学生上半身或者脚本里裁剪后保留目标框的 1.2 倍范围这样手部动作不太容易被切掉。“只为分类模型造数据”这一步很容易被低估。通常每类至少准备 150 到 250 张裁剪图8 类就是 2000 张左右如果是从零训练这个量还会翻倍。数据规模不足时优先做的不是找更多标注员而是提高每一帧的标注一致性而且要利用同一帧的多人框来扩充样本数。2.4 数据增强参数小样本场景下最有效的几个设置课堂图像的特殊性在于角度固定、背景单一所以增强策略不能太激进以免把“手部动作”破坏掉。一组稳妥的增强参数如下增强方式推荐参数作用随机水平翻转p0.5教室左右对称不破坏语义亮度扰动±0.2应对上午、下午不同采光对比度扰动±0.2应付黑板反光和背光随机缩放裁剪0.8 到 1.0模拟前排同学遮挡增强抗遮挡能力CutOut8 到 12 像素随机遮挡图像小块防过拟合MixUpalpha0.2小样本分类时稳定边界做增强时要跟着模型的表现走。比如刚训练完发现“writing”和“reading”混淆严重说明手部细节特征不够此时加大随机裁切的幅度反而不利更好的做法是把这类样本的裁剪范围固定为框内 1.0 倍并去掉翻转。数据增强没有绝对标准最终判断依据是混淆矩阵不是训练损失的数值。3. 模型选型与训练分类头 ResNet18 是性价比最高的组合3.1 为什么图像分类模型先从轻量 CNN 起步标题里写的是“深度学习图像识别分类”对应到工程实现优先选 resnet18 或者 efficientnet-b0 这类轻量 CNN而不是一上来用 vision transformer。课堂上被判别的对象是人体小图空间尺度不大局部纹理特征比如手部位置、屏幕亮斑、头肩角度ResNet 的卷积结构足够提取到而 ViT 在小数据集上的强依赖性问题非常典型几千张课堂图很难撑起 attention 训练容易欠拟合。如果你看过“深度学习 cnn”相关的入门教程就应该明白CNN 收敛快、依赖数据少、推理开销低在嵌入式摄像头和普通 GPU 机器上都生活得比较好作为这个项目的起点是最不容易翻车的。具体选型上主力用 ResNet18backbone 加载 ImageNet 预训练权重最后把全连接层改成 8 类输出。如果机器显存小或要部署到 Jetson换成 EfficientNetB0 也可以肉眼差异很小。整理成对照表更直观模型相对推理开销小样本表现建议ResNet18中好首选基线EfficientNetB0小中部署资源受限时选ResNet50大中数据超过 1 万张再考虑ViT-small大容易欠拟合数据充分后尝试3.2 训练代码与核心参数一套可以直接改的 PyTorch 脚本模型结构确定后训练流程用 PyTorch 实现不算长。下面这段代码覆盖了“加载数据 → 初始化模型 → 设置损失和优化器 → 训练一个 epoch”适合第一次把项目跑通。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, models, transforms from torch.optim.lr_scheduler import CosineAnnealingLR train_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset datasets.ImageFolder(./behavior_dataset/train, train_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, 8) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max50) for epoch in range(50): model.train() running_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() scheduler.step() print(fepoch {epoch1}, loss: {running_loss / len(train_loader):.4f}) torch.save(model.state_dict(), ./checkpoints/behavior_resnet18.pth)代码中的几个关键参数直接决定训练效果。batch_size64是本项目的最优区间太大单卡容易显存不足而且课堂数据里同一场景的相似帧多大 batch 反而会加剧过拟合lr1e-4是迁移学习的标准起点如果模型收敛太慢可以放大到 3e-4但超过 1e-3 很容易在预训练权重上表现剧烈weight_decay1e-4用于抑制过拟合CosineAnnealingLR把学习率从 1e-4 余弦降到接近 0小样本训练时比固定学习率更利于收敛。训练到后期如果损失一直不降检查一下model.fc是不是忘了从 512 维改成 8 维这种低级报错经常被忽略。3.3 类别不均衡用 class weight 而不是盲目加数据课堂行为数据天然不均衡。“听讲”占一半“举手”“睡觉”可能只有 5% 以下。直接硬训会让模型偏向多数类在小类别上的准确率几乎为 0。最简单有效的方法是用CrossEntropyLoss的weight参数权重的计算方式为“总体样本数 / 类别数 / 该类别样本数”class_counts torch.tensor([1200, 150, 380, 420, 90, 60, 110, 1000]) n_samples int(class_counts.sum()) n_classes len(class_counts) class_weights n_samples / (n_classes * class_counts.float()) criterion nn.CrossEntropyLoss(weightclass_weights)要注意的是class_weights要转为 float 再传给损失函数否则在部分版本的 PyTorch 里会报类型不匹配。加了权重后少数类的 loss 惩罚会变大训练曲线会出现轻微震荡这是正常现象。如果权重导致的震荡太剧烈可以把权重开根号后再用也就是 “sqrt 平滑”技巧也可以配合WeightedRandomSampler把少数类样本的采样概率提上来两种方式都试过之后优先保留下调class_weights因为它实现简单而且不会让每个 epoch 的样本分布变化太大。4. 推理落地检测人、裁剪、滑动窗口平滑、然后上线4.1 推理骨架先检测人体框再对裁剪图做分类训练完成的分类模型还不能直接扔给视频用因为一帧图像里有几十号人得先有一段代码定位“每个学生在哪”再让分类模型对每个裁剪框分别判断。用 YOLO 系列做检测是通用做法我一般用 YOLOv8 的官方 Python 包输出每个学生的人体框坐标再按坐标裁图送入行为分类模型。核心流程如下import cv2 import torch from ultralytics import YOLO from torchvision import transforms det_model YOLO(yolov8n.pt) cls_model torch.load(behavior_resnet18.pth, map_locationcpu) transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) frame cv2.imread(frame_0001.jpg) frame_rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results det_model.predict(frame_rgb, conf0.4, verboseFalse) for box in results[0].boxes: x1, y1, x2, y2 [int(v) for v in box.xyxy[0].tolist()] crop_rgb frame_rgb[y1:y2, x1:x2] if crop_rgb.size 0: continue crop_img transforms.ToPILImage()(crop_rgb) crop_tensor transform(crop_img).unsqueeze(0) with torch.no_grad(): logits cls_model(crop_tensor) pred logits.argmax(dim1).item() # pred 对应 8 类中的编号再映射到类别名输出注意这段代码里把 YOLO 的专用 object 转成了普通 BGR 帧里的坐标很多新人栽在这直接用results[0].boxes的坐标去切 RGB 图没问题但如果原图是 BGR切完后要转换颜色空间否则图像颜色错乱会让分类结果下降好几个点。另一个容易被忽略的地方是pred是对每一帧每个框单独输出的完全没有利用时间维度所以接下来还要做时序平滑。4.2 时间滑窗把帧级预测变成行为片段单帧推理容易受动作模糊和检测框抖动影响比如手臂刚抬起来那 0.5 秒被裁成奇怪形状分类器就会误判。课堂行为是连续性事件一个行为至少持续 5 到 10 秒所以对连续帧做时间投票能明显提升稳定性。用“5 帧一窗”的策略窗口内每个类别投票阈值超过 3 票才输出该行为否则沿用上一窗口结果。import numpy as np from collections import Counter WINDOW 5 VOTE_THRESHOLD 3 def smooth_predictions(predictions): smoothed [] last_valid predictions[0] for i in range(0, len(predictions), WINDOW): window predictions[i:i WINDOW] counter Counter(window) pred, votes counter.most_common(1)[0] if votes VOTE_THRESHOLD or not smoothed: last_valid pred smoothed.append(pred) else: smoothed.append(last_valid) return smoothed这里的参数解释WINDOW5配合前面 5 秒一帧的抽帧策略代表约 25 秒的行为判定单位VOTE_THRESHOLD3表示窗口内至少有 3 帧投同一类别才接受新结果低于阈值就沿用上个有效状态。这样做虽然会让切换行为的时间延迟 1 到 2 个窗口但换来的好处是几乎消除了单帧跳变——“低头1秒”不会被误判为“sleeping”课堂手势的突发性也能被压住。4.3 低成本上线导出 ONNX 并用 FastAPI 暴露接口训练完成后如果还要交付给别的系统调用建议把 PyTorch 模型导出成 ONNX推理时用 onnxruntime 加载。这样可以摆脱训练代码中的各类 transforms 依赖对不同 Python 版本的兼容性更好。导出时只导出分类模型不需要再包含检测模型因为视频抽帧后的检测逻辑可以在上层完成import torch from torchvision import models model models.resnet18() model.fc torch.nn.Linear(model.fc.in_features, 8) model.load_state_dict(torch.load(behavior_resnet18.pth)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, behavior_resnet18.onnx, input_names[image], output_names[logits], dynamic_axes{image: {0: batch}, logits: {0: batch}})拿到behavior_resnet18.onnx后用 FastAPI 做一个极简接口接收一张裁剪图返回 8 类对应的概率。业务方拿到接口后只需要把每一帧的检测结果发过来就能得到个体行为标签。部署形态不强求 GPUCPU 上用 onnxruntime 推理单张 224x224 图耗时通常在 20 毫秒以内视频并发路数多时再考虑 NVIDIA Triton 或 TensorRT小团队没必要一上来就上重型推理框架。5. 五个常见问题与避坑手册为什么效果不好以及怎么调5.1 小样本过拟合准确率有九成但抽样一看全部预测成“听讲”现象训练集只有几百张图训练 loss 降得很快验证集准确率却上不去打开预测结果发现几乎所有裁剪图都被判成“listening”。原因是数据量太少模型用“是不是课堂场景”来判断行为类别没有学到细节特征。解决方法是先做类别均衡采样每类至少补到 150 张再用增强扩展同时把模型冻结前几层只微调后面两个 stage相当于强制模型关注课堂图像独有的细节。5.2 类别不均衡少数类识别率低迷到等于没识别现象睡觉、玩手机这两类样本稀少F1 值接近 0训练集里哪怕模型输出了这个类别也大概率是错的。原因在于交叉熵损失被多数类主导。解决方式除了前面说的class_weights我还会检查数据增强是否把少数类的关键特征破坏掉比如“sleeping”的样本被随机裁剪切掉了手臂模型就不再有计算依据对少数类必须关闭比例过大的随机裁剪。5.3 动态模糊与低帧率低头动作被误判为睡觉现象学生不过是低头捡东西或者侧头看桌面模型频繁输出“sleeping”。原因是摄像头帧率低快速动作在采样瞬间形成运动模糊特征和静止低头的形态接近。解决思路是两层一是图像预处理时对裁剪图做轻微锐化常用cv2.filter2D加 3x3 锐化核二是充分依赖前面的时间窗口投票并提高VOTE_THRESHOLD到 4宁可延迟识别也不误报睡觉。5.4 同框多人遮挡人体框频繁变化行为归因错乱现象前排同学站起来挡住后排后排学生的人体框被检测模型丢掉或切掉半边行为统计时归属到错误的学生。原因不是分类模型的问题而是检测模型的漏检和框抖动。解决方法是先跑一个 ByteTrack 这类多目标跟踪器给每个学生分配稳定的 ID裁剪时不要只裁剪到精确边框稍微外扩 10% 到 20% 像素把被遮挡的手臂和书本包含进来分类稳定度会显著提升。5.5 夜间与背光场景一整排学生被判为睡觉现象晚上补光不足学生面部和桌面都是暗色模型输出大量“sleeping”。原因不是模型学坏了而是预训练权重见过的自然光图像更多对低照度的课堂图像特征不敏感。解决的土办法是把图像亮度拉回正常区间比如做一次亮度自适应计算灰度图均值如果低于 60用 gamma 校正把暗部提亮再在数据增强里把“亮度扰动”从 ±0.2 加到 ±0.3。仍然不行的话要单独采一小段夜间场景数据做二次微调这类数据量不需要很多200 张就够把模型“拉回现实”。6. 从“能识别”到“能汇报”注意力曲线、预警时间轴与抽帧复核模型稳定后下一步不是继续调准确率而是把行为识别变成可用报告。按时间窗口统计每个行为的累计时长和占比公式很简单兴奋度 举手占比 讨论占比专注度 听讲占比 书写占比 阅读占比。|assistant|6.1 行为统计与“专注度”指标怎么映射一段 45 分钟的课堂视频如果每 5 秒取一帧总共约 540 个决策窗口。每个窗口输出一个行为类别然后按“行为时长占比”做汇总生成行级别的统计表。实际操作中我习惯把“专注度”定义为聆听、书写、阅读三类行为的窗口数占比“课堂活跃度”则定义为举手、发言讨论两类行为窗口数占比。这两个指标比单独看某一类行为更容易被非技术老师接受也可以作为模型的评估展示层。统计脚本不复杂用 pandas 按时间段聚合即可例如按分钟切分“第 10 分钟的专注度 该分钟内行为窗口为正向行为的窗口数 / 该分钟内窗口总数”。这里有一个必须注意的选择是否对每个学生独立统计。如果要输出“全班整体专注曲线”对每帧的全体学生行为做聚合就可以如果要输出“张三第几分钟走神”就必须有稳定的学生 ID背后要接多目标跟踪。在源码交付阶段先做全班整体统计单学生统计作为扩展功能。6.2 预警时间轴不需要逐帧汇报只挑“异常片段”把识别结果全部平铺成 JSON 没有意义使用者真正关心的是“这节课哪个时段异常”。我的做法是设定一个行为阈值例如“睡觉窗口占比连续超过 30%”就记录一个预警片段并把这段时间的视频抽成 GIF 或截取几帧图片留给人工复核。预警时间轴可以和原始视频时间戳对应这样督导老师能直接点击定位到录像位置不需要来回拖动进度条。这一层很小但价值密度最高因为它把模型的输出从“标签序列”变成了“可行动的线索”。抽查复核也是最后一道防线。人工抽 5 段各 30 秒的视频把模型输出和肉眼判断做对比记录“误报片段”和“漏报片段”。我通常要求误报率不超过 15%超过这个线就回到第 5 章的避坑项里排查原因。这个抽检习惯形成之后整个项目的可信度比单纯看论文数据要高得多。6.3 保留推理中间产物给复核留后悔药项目运行时我会把关键中间结果写盘每个检测框的裁剪图、模型 softmax 概率、预测类别、时间戳统一存成 JSON 或数据库。这样当老师质疑某个判断“他明明只是在捡笔怎么标成睡觉”时可以把当时的裁剪图和概率分布调出来直接看到模型为什么这么判。很多团队觉得存中间文件占空间但它能在上线初期省下大量扯皮时间这个习惯我一直保留着。最后给阅读这份源码的你一句实在建议先把“检测 分类 时间投票”这个主链路跑通再回头优化模型结构和数据量不要一开始就追新模型。课堂行为识别没有完美的模型只有经得起抽检的工程方案。希望这套一线走过的流程能帮你在自己的环境里少走一轮弯路。本文还有配套的精品资源点击获取
简介基于Python的深度学习课堂行为图像识别分类项目源码是为毕业设计或期末大作业准备的完整可运行方案。项目以课堂监控或课堂录像中的学生行为为对象通过卷积神经网络等深度学习模型对举手、睡觉、交流等状态进行图像分类识别覆盖数据准备、模型搭建、训练评估到结果可视化的主要环节也适合作为图像分类入门的学习范例。压缩包共1206个文件其中1183张JPG图片组成分类数据集14个Python脚本承担模型定义、训练、测试与预测等核心功能搭配PNG图示、Markdown说明文档等辅助材料整体大小约100.29MB。源码经过严格调试评审得分达95分以上具备较好的稳定性和规范性便于直接运行复现或二次修改文件中还保留了数据与代码的组织结构可帮助读者快速理解深度学习项目的工程脉络。目前已有571人学习使用适合需要快速搭建课堂行为识别系统的开发者、学生参考。1. 课堂行为图像识别与分类从一段课堂视频到一张行为报表如果你接到一个“基于python的深度学习的课堂行为图像识别分类项目源码.zip”大概率不是想研究论文而是想搞清楚三件事这东西能识别哪些行为、怎么训练出来、放到实际课堂里为什么偶尔不准。把题目拆开看它本质上是一条“摄像头采集图像 → 学生个体检测 → 行为类别分类 → 输出统计报表”的流水线属于计算机视觉里目标检测加图像分类的经典组合不是玄学也不神秘。这类项目真正能为一线解决的问题很具体教务想统计一节课里有多少次举手、有多少人趴在桌上、哪些时段学生低头写字靠自己盯视频回放非常耗费时间用深度学习模型做自动识别后能输出一段时间内的行为占比和异常时段给教研和督导做参考。适合谁来研究这套源码一个是用 PyTorch 做课程设计的学生一个是刚入门深度学习、准备接智慧教室项目的小团队。理解它的最短路径不是先去翻模型结构论文而是先跑通“数据 → 训练 → 推理”这一段闭环再回来调整分类策略。下面分享的这套做法是围绕“检测人 分类行为”的主流工程方案展开的这也是大多数课堂行为识别源码采用的技术基线。2. 定行为类别、准备数据集先让标注规范再让模型做事2.1 先选“场景级分类”还是“目标级分类”课堂行为识别的第一刀不是选模型而是选任务拆分方式。常见做法有两种一种是“场景级分类”把整张教室图像直接喂给一个分类模型输出“上课中”“学生举手”“学生睡觉”这样的整体状态优点是数据制作快不用画框但缺点很明显——教室里几十个学生行为各异整图分类结果只能代表图像主体没法回答“谁在睡觉、谁在举手”这种个体问题。另一种是“目标级分类”先用车牌识别领域常用的目标检测模型把每个学生的人体框找出来再对裁剪出的人体小图做行为分类。图片中同一时刻有成百上千个学生必须带上检测再识别所以实践里基本都走这条路。真正到实现层建议用“YOLO 检测学生位置 ResNet 分类学生行为”的双模型结构如果视频机位固定、人数少比如小班在线课也可以只用整图分类勉强交差但做教务统计一定会被追问“第几排第几个学生”所以更可靠的目标级方案一开始就应该定下来。2.2 行为类别定义8 类是容易操作的上限行为类别定得越多模型越难学。课堂场景通常定 6 到 8 类再多就会出现边界模糊。下表是一套被验证过的类别定义前四类是“正向学习行为”后四类是“疑似负向行为”这套定义后来生成的统计口径也比较自然编号类别名说明最容易混淆的情况0listening抬头面向讲台或屏幕低头看书但正在听讲1hand_raising举手抬手摸头、伸懒腰2writing低头且手部在桌面连续移动低头看手机3reading低头或注视书本/屏幕与书写动作过渡态相似4phone低头注视手机写字时手部遮挡手机5sleeping趴在桌面或长时间闭眼不动低头且完全静止6standing站立站起来又立刻坐下7talking侧头与邻座交流低头捡东西、自言自语定义类别时要给出一套“判别规则说明书”而不是只给类名。一个常见坑是标注人员在判断“低头”时标准不一同样一张图有人标 reading有人标 phone造成类别重叠。建议在标注前定一条规则图像中看不到屏幕光斑或手机边缘时一律不标 phone有明显的伏案动作时优先标 sleeping。这类规则的颗粒度直接决定标注一致性和模型上限。2.3 数据采集与转换从视频抽帧到裁剪出个体训练集课堂行为数据不会自带标签通常从教室监控视频里抽帧再人工标注。抽帧最简单的方式是 ffmpeg 按 0.2 帧率也就是每 5 秒取一帧ffmpeg -i course_01.mp4 -vf fps0.2 -q:v 2 frames/lesson01_%04d.jpg参数说明fps0.2表示每秒抽取 0.2 帧即 5 秒一帧这是行为识别里比较稳妥的密度-q:v 2控制输出 JPEG 质量为高质量避免压缩带来的模糊。如果相机帧率本身只有 15fps抽帧间隔不改也没关系关键是保证同一行为在连续时间段内出现足够多的样本。抽完帧用 LabelImg 或 labelme 打开图片先画人体框person再给人体框标行为类别导出格式建议选 YOLO txt 格式每行是“类别编号 中心点x 中心点y 宽度 高度”坐标都是归一化后的 0 到 1 的小数加载训练时很方便。拿到 YOLO 标注后还需要把它转成分类任务的数据集做法是“按人体框裁剪原图以类别名建文件夹存小图”。import os from glob import glob from PIL import Image IMG_DIR ./frames TXT_DIR ./labels_yolo OUT_ROOT ./behavior_dataset CLS [listening, hand_raising, writing, reading, phone, sleeping, standing, talking] for txt_path in glob(os.path.join(TXT_DIR, *.txt)): img_path os.path.join(IMG_DIR, os.path.basename(txt_path)[:-4] .jpg) if not os.path.exists(img_path): continue image Image.open(img_path) width, height image.size with open(txt_path) as f: for line in f.readlines(): tokens line.split() if len(tokens) ! 5: continue cls_idx, x_center, y_center, box_w, box_h map(float, tokens) left int((x_center - box_w / 2.0) * width) top int((y_center - box_h / 2.0) * height) right int((x_center box_w / 2.0) * width) bottom int((y_center box_h / 2.0) * height) left, top max(0, left), max(0, top) right, bottom min(width, right), min(height, bottom) crop image.crop((left, top, right, bottom)) out_dir os.path.join(OUT_ROOT, CLS[int(cls_idx)]) os.makedirs(out_dir, exist_okTrue) file_name f{os.path.basename(txt_path)[:-4]}_{left}_{top}.jpg crop.save(os.path.join(out_dir, file_name))这段脚本的逻辑不难先读每一帧和对应的 txt 标注把归一化框还原成像素坐标再做边界裁剪防止越界最后按类别存文件夹。有一点要注意YOLO 的框可能是全身体框裁剪出的图像可能包含邻座同学的半个身体对分类是干扰项。好在我标注时只画学生上半身或者脚本里裁剪后保留目标框的 1.2 倍范围这样手部动作不太容易被切掉。“只为分类模型造数据”这一步很容易被低估。通常每类至少准备 150 到 250 张裁剪图8 类就是 2000 张左右如果是从零训练这个量还会翻倍。数据规模不足时优先做的不是找更多标注员而是提高每一帧的标注一致性而且要利用同一帧的多人框来扩充样本数。2.4 数据增强参数小样本场景下最有效的几个设置课堂图像的特殊性在于角度固定、背景单一所以增强策略不能太激进以免把“手部动作”破坏掉。一组稳妥的增强参数如下增强方式推荐参数作用随机水平翻转p0.5教室左右对称不破坏语义亮度扰动±0.2应对上午、下午不同采光对比度扰动±0.2应付黑板反光和背光随机缩放裁剪0.8 到 1.0模拟前排同学遮挡增强抗遮挡能力CutOut8 到 12 像素随机遮挡图像小块防过拟合MixUpalpha0.2小样本分类时稳定边界做增强时要跟着模型的表现走。比如刚训练完发现“writing”和“reading”混淆严重说明手部细节特征不够此时加大随机裁切的幅度反而不利更好的做法是把这类样本的裁剪范围固定为框内 1.0 倍并去掉翻转。数据增强没有绝对标准最终判断依据是混淆矩阵不是训练损失的数值。3. 模型选型与训练分类头 ResNet18 是性价比最高的组合3.1 为什么图像分类模型先从轻量 CNN 起步标题里写的是“深度学习图像识别分类”对应到工程实现优先选 resnet18 或者 efficientnet-b0 这类轻量 CNN而不是一上来用 vision transformer。课堂上被判别的对象是人体小图空间尺度不大局部纹理特征比如手部位置、屏幕亮斑、头肩角度ResNet 的卷积结构足够提取到而 ViT 在小数据集上的强依赖性问题非常典型几千张课堂图很难撑起 attention 训练容易欠拟合。如果你看过“深度学习 cnn”相关的入门教程就应该明白CNN 收敛快、依赖数据少、推理开销低在嵌入式摄像头和普通 GPU 机器上都生活得比较好作为这个项目的起点是最不容易翻车的。具体选型上主力用 ResNet18backbone 加载 ImageNet 预训练权重最后把全连接层改成 8 类输出。如果机器显存小或要部署到 Jetson换成 EfficientNetB0 也可以肉眼差异很小。整理成对照表更直观模型相对推理开销小样本表现建议ResNet18中好首选基线EfficientNetB0小中部署资源受限时选ResNet50大中数据超过 1 万张再考虑ViT-small大容易欠拟合数据充分后尝试3.2 训练代码与核心参数一套可以直接改的 PyTorch 脚本模型结构确定后训练流程用 PyTorch 实现不算长。下面这段代码覆盖了“加载数据 → 初始化模型 → 设置损失和优化器 → 训练一个 epoch”适合第一次把项目跑通。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, models, transforms from torch.optim.lr_scheduler import CosineAnnealingLR train_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset datasets.ImageFolder(./behavior_dataset/train, train_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, 8) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max50) for epoch in range(50): model.train() running_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() scheduler.step() print(fepoch {epoch1}, loss: {running_loss / len(train_loader):.4f}) torch.save(model.state_dict(), ./checkpoints/behavior_resnet18.pth)代码中的几个关键参数直接决定训练效果。batch_size64是本项目的最优区间太大单卡容易显存不足而且课堂数据里同一场景的相似帧多大 batch 反而会加剧过拟合lr1e-4是迁移学习的标准起点如果模型收敛太慢可以放大到 3e-4但超过 1e-3 很容易在预训练权重上表现剧烈weight_decay1e-4用于抑制过拟合CosineAnnealingLR把学习率从 1e-4 余弦降到接近 0小样本训练时比固定学习率更利于收敛。训练到后期如果损失一直不降检查一下model.fc是不是忘了从 512 维改成 8 维这种低级报错经常被忽略。3.3 类别不均衡用 class weight 而不是盲目加数据课堂行为数据天然不均衡。“听讲”占一半“举手”“睡觉”可能只有 5% 以下。直接硬训会让模型偏向多数类在小类别上的准确率几乎为 0。最简单有效的方法是用CrossEntropyLoss的weight参数权重的计算方式为“总体样本数 / 类别数 / 该类别样本数”class_counts torch.tensor([1200, 150, 380, 420, 90, 60, 110, 1000]) n_samples int(class_counts.sum()) n_classes len(class_counts) class_weights n_samples / (n_classes * class_counts.float()) criterion nn.CrossEntropyLoss(weightclass_weights)要注意的是class_weights要转为 float 再传给损失函数否则在部分版本的 PyTorch 里会报类型不匹配。加了权重后少数类的 loss 惩罚会变大训练曲线会出现轻微震荡这是正常现象。如果权重导致的震荡太剧烈可以把权重开根号后再用也就是 “sqrt 平滑”技巧也可以配合WeightedRandomSampler把少数类样本的采样概率提上来两种方式都试过之后优先保留下调class_weights因为它实现简单而且不会让每个 epoch 的样本分布变化太大。4. 推理落地检测人、裁剪、滑动窗口平滑、然后上线4.1 推理骨架先检测人体框再对裁剪图做分类训练完成的分类模型还不能直接扔给视频用因为一帧图像里有几十号人得先有一段代码定位“每个学生在哪”再让分类模型对每个裁剪框分别判断。用 YOLO 系列做检测是通用做法我一般用 YOLOv8 的官方 Python 包输出每个学生的人体框坐标再按坐标裁图送入行为分类模型。核心流程如下import cv2 import torch from ultralytics import YOLO from torchvision import transforms det_model YOLO(yolov8n.pt) cls_model torch.load(behavior_resnet18.pth, map_locationcpu) transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) frame cv2.imread(frame_0001.jpg) frame_rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results det_model.predict(frame_rgb, conf0.4, verboseFalse) for box in results[0].boxes: x1, y1, x2, y2 [int(v) for v in box.xyxy[0].tolist()] crop_rgb frame_rgb[y1:y2, x1:x2] if crop_rgb.size 0: continue crop_img transforms.ToPILImage()(crop_rgb) crop_tensor transform(crop_img).unsqueeze(0) with torch.no_grad(): logits cls_model(crop_tensor) pred logits.argmax(dim1).item() # pred 对应 8 类中的编号再映射到类别名输出注意这段代码里把 YOLO 的专用 object 转成了普通 BGR 帧里的坐标很多新人栽在这直接用results[0].boxes的坐标去切 RGB 图没问题但如果原图是 BGR切完后要转换颜色空间否则图像颜色错乱会让分类结果下降好几个点。另一个容易被忽略的地方是pred是对每一帧每个框单独输出的完全没有利用时间维度所以接下来还要做时序平滑。4.2 时间滑窗把帧级预测变成行为片段单帧推理容易受动作模糊和检测框抖动影响比如手臂刚抬起来那 0.5 秒被裁成奇怪形状分类器就会误判。课堂行为是连续性事件一个行为至少持续 5 到 10 秒所以对连续帧做时间投票能明显提升稳定性。用“5 帧一窗”的策略窗口内每个类别投票阈值超过 3 票才输出该行为否则沿用上一窗口结果。import numpy as np from collections import Counter WINDOW 5 VOTE_THRESHOLD 3 def smooth_predictions(predictions): smoothed [] last_valid predictions[0] for i in range(0, len(predictions), WINDOW): window predictions[i:i WINDOW] counter Counter(window) pred, votes counter.most_common(1)[0] if votes VOTE_THRESHOLD or not smoothed: last_valid pred smoothed.append(pred) else: smoothed.append(last_valid) return smoothed这里的参数解释WINDOW5配合前面 5 秒一帧的抽帧策略代表约 25 秒的行为判定单位VOTE_THRESHOLD3表示窗口内至少有 3 帧投同一类别才接受新结果低于阈值就沿用上个有效状态。这样做虽然会让切换行为的时间延迟 1 到 2 个窗口但换来的好处是几乎消除了单帧跳变——“低头1秒”不会被误判为“sleeping”课堂手势的突发性也能被压住。4.3 低成本上线导出 ONNX 并用 FastAPI 暴露接口训练完成后如果还要交付给别的系统调用建议把 PyTorch 模型导出成 ONNX推理时用 onnxruntime 加载。这样可以摆脱训练代码中的各类 transforms 依赖对不同 Python 版本的兼容性更好。导出时只导出分类模型不需要再包含检测模型因为视频抽帧后的检测逻辑可以在上层完成import torch from torchvision import models model models.resnet18() model.fc torch.nn.Linear(model.fc.in_features, 8) model.load_state_dict(torch.load(behavior_resnet18.pth)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, behavior_resnet18.onnx, input_names[image], output_names[logits], dynamic_axes{image: {0: batch}, logits: {0: batch}})拿到behavior_resnet18.onnx后用 FastAPI 做一个极简接口接收一张裁剪图返回 8 类对应的概率。业务方拿到接口后只需要把每一帧的检测结果发过来就能得到个体行为标签。部署形态不强求 GPUCPU 上用 onnxruntime 推理单张 224x224 图耗时通常在 20 毫秒以内视频并发路数多时再考虑 NVIDIA Triton 或 TensorRT小团队没必要一上来就上重型推理框架。5. 五个常见问题与避坑手册为什么效果不好以及怎么调5.1 小样本过拟合准确率有九成但抽样一看全部预测成“听讲”现象训练集只有几百张图训练 loss 降得很快验证集准确率却上不去打开预测结果发现几乎所有裁剪图都被判成“listening”。原因是数据量太少模型用“是不是课堂场景”来判断行为类别没有学到细节特征。解决方法是先做类别均衡采样每类至少补到 150 张再用增强扩展同时把模型冻结前几层只微调后面两个 stage相当于强制模型关注课堂图像独有的细节。5.2 类别不均衡少数类识别率低迷到等于没识别现象睡觉、玩手机这两类样本稀少F1 值接近 0训练集里哪怕模型输出了这个类别也大概率是错的。原因在于交叉熵损失被多数类主导。解决方式除了前面说的class_weights我还会检查数据增强是否把少数类的关键特征破坏掉比如“sleeping”的样本被随机裁剪切掉了手臂模型就不再有计算依据对少数类必须关闭比例过大的随机裁剪。5.3 动态模糊与低帧率低头动作被误判为睡觉现象学生不过是低头捡东西或者侧头看桌面模型频繁输出“sleeping”。原因是摄像头帧率低快速动作在采样瞬间形成运动模糊特征和静止低头的形态接近。解决思路是两层一是图像预处理时对裁剪图做轻微锐化常用cv2.filter2D加 3x3 锐化核二是充分依赖前面的时间窗口投票并提高VOTE_THRESHOLD到 4宁可延迟识别也不误报睡觉。5.4 同框多人遮挡人体框频繁变化行为归因错乱现象前排同学站起来挡住后排后排学生的人体框被检测模型丢掉或切掉半边行为统计时归属到错误的学生。原因不是分类模型的问题而是检测模型的漏检和框抖动。解决方法是先跑一个 ByteTrack 这类多目标跟踪器给每个学生分配稳定的 ID裁剪时不要只裁剪到精确边框稍微外扩 10% 到 20% 像素把被遮挡的手臂和书本包含进来分类稳定度会显著提升。5.5 夜间与背光场景一整排学生被判为睡觉现象晚上补光不足学生面部和桌面都是暗色模型输出大量“sleeping”。原因不是模型学坏了而是预训练权重见过的自然光图像更多对低照度的课堂图像特征不敏感。解决的土办法是把图像亮度拉回正常区间比如做一次亮度自适应计算灰度图均值如果低于 60用 gamma 校正把暗部提亮再在数据增强里把“亮度扰动”从 ±0.2 加到 ±0.3。仍然不行的话要单独采一小段夜间场景数据做二次微调这类数据量不需要很多200 张就够把模型“拉回现实”。6. 从“能识别”到“能汇报”注意力曲线、预警时间轴与抽帧复核模型稳定后下一步不是继续调准确率而是把行为识别变成可用报告。按时间窗口统计每个行为的累计时长和占比公式很简单兴奋度 举手占比 讨论占比专注度 听讲占比 书写占比 阅读占比。|assistant|6.1 行为统计与“专注度”指标怎么映射一段 45 分钟的课堂视频如果每 5 秒取一帧总共约 540 个决策窗口。每个窗口输出一个行为类别然后按“行为时长占比”做汇总生成行级别的统计表。实际操作中我习惯把“专注度”定义为聆听、书写、阅读三类行为的窗口数占比“课堂活跃度”则定义为举手、发言讨论两类行为窗口数占比。这两个指标比单独看某一类行为更容易被非技术老师接受也可以作为模型的评估展示层。统计脚本不复杂用 pandas 按时间段聚合即可例如按分钟切分“第 10 分钟的专注度 该分钟内行为窗口为正向行为的窗口数 / 该分钟内窗口总数”。这里有一个必须注意的选择是否对每个学生独立统计。如果要输出“全班整体专注曲线”对每帧的全体学生行为做聚合就可以如果要输出“张三第几分钟走神”就必须有稳定的学生 ID背后要接多目标跟踪。在源码交付阶段先做全班整体统计单学生统计作为扩展功能。6.2 预警时间轴不需要逐帧汇报只挑“异常片段”把识别结果全部平铺成 JSON 没有意义使用者真正关心的是“这节课哪个时段异常”。我的做法是设定一个行为阈值例如“睡觉窗口占比连续超过 30%”就记录一个预警片段并把这段时间的视频抽成 GIF 或截取几帧图片留给人工复核。预警时间轴可以和原始视频时间戳对应这样督导老师能直接点击定位到录像位置不需要来回拖动进度条。这一层很小但价值密度最高因为它把模型的输出从“标签序列”变成了“可行动的线索”。抽查复核也是最后一道防线。人工抽 5 段各 30 秒的视频把模型输出和肉眼判断做对比记录“误报片段”和“漏报片段”。我通常要求误报率不超过 15%超过这个线就回到第 5 章的避坑项里排查原因。这个抽检习惯形成之后整个项目的可信度比单纯看论文数据要高得多。6.3 保留推理中间产物给复核留后悔药项目运行时我会把关键中间结果写盘每个检测框的裁剪图、模型 softmax 概率、预测类别、时间戳统一存成 JSON 或数据库。这样当老师质疑某个判断“他明明只是在捡笔怎么标成睡觉”时可以把当时的裁剪图和概率分布调出来直接看到模型为什么这么判。很多团队觉得存中间文件占空间但它能在上线初期省下大量扯皮时间这个习惯我一直保留着。最后给阅读这份源码的你一句实在建议先把“检测 分类 时间投票”这个主链路跑通再回头优化模型结构和数据量不要一开始就追新模型。课堂行为识别没有完美的模型只有经得起抽检的工程方案。希望这套一线走过的流程能帮你在自己的环境里少走一轮弯路。本文还有配套的精品资源点击获取
