简介这是一份基于YOLOv5算法实现的牛只识别检测工程包面向深度学习目标检测初学者及智慧农业、畜牧养殖领域的开发者。压缩包文件总数79个涵盖Python源码、预训练权重、YAML配置、评估图表、运行脚本及Dockerfile等整体大小42.58MB结构完整便于直接部署与二次开发。该工程使用4000多张图片进行训练标注牛只目标超过8000个数据分布均匀迭代200轮模型拟合良好同时附带loss下降曲线、Recall、Precision、mAP等评估指标曲线可直观分析训练效果与模型性能。此外还提供使用说明、推理脚本及测试示例能够帮助读者快速复现检测流程适用于毕业设计、课程实训及牛只检测相关课题研究。目前已有273人学习下载。1. 牛识别检测是什么为什么说难的不是“认牛”而是“盯住牛”给牧场做视频分析最常见的需求就是牛识别检测让深度学习模型在监控画面里逐帧找到牛再按跟踪 ID 把同一头牛跨帧串起来接到计数、发情监测、进食统计这些下游系统。标题里的源码、模型文件、评估指标曲线和使用说明恰好是一次完整交付物的四块源码管住怎么改模型文件是训练产物评估曲线决定能不能信它使用说明解决落地时怎么调。难点不在“认牛”这个物种——单帧检测用 YOLO 系就能跑到不错的 mAP——而在“盯住牛”夜里红外镜头、牛贴着牛、进出画面导致 ID 切换这些才是让 demo 翻车的地方。牛识别检测也是农业 AI 视觉方向一个很典型的实战项目案例做完它目标检测、跟踪、评估、部署这一条链路基本就通了。适合两类人给牧场做智慧养殖交付的系统集成商以及想把深度学习视频分析完整跑一遍的农业 AI 方向学生。后面的内容按方案选型、训练落地、坑点排查、交付验证展开命令和参数都能直接复制。2. 为什么先拆“检测”再“跟踪”模型选型与数据标注的四个决策点一套能交付的牛识别检测系统工程上很少直接拿一个端到端模型输出跟踪结果。常见做法是先做单帧检测再做跨帧匹配。这个拆分不是出于模型性能而是因为工程路径最短单帧检测可以用公开框架快速训到可用精度跨帧匹配交给跟踪器两个问题可以分别调试。下面四个决策点是动手前最容易影响结果的选择。2.1 传统视觉方案在牛舍里为什么集体失效背景差分、帧差法、颜色阈值这些传统视觉手段在干净厂房里确实能跑但搬到牛舍就时好时坏。牛舍的光照一天之内从太阳光切到红外补光亮度波动大地面有粪污牛毛色又深目标和背景的边缘经常融在一起。传统算法只能回答“画面上哪儿变了”回答不了“变了的东西是不是牛”。牛的动作本身也很慢长时间站立、低头采食帧差法在多数时刻根本检测不到足够幅度的像素变化。背景差分更怕的是摄像头轻微抖动防抖支架没做好时整幅画面都在“变化”误检率直接拉满。这些方案我早期都试过最终结论是它们适合做动目标检测不适合做牛识别检测差在“语义”这一层。2.2 检测模型选型YOLO 系为什么是视频分析场景的第一选择把“识别牛”交给深度学习模型之后剩下的问题是用哪一类。常见的公开选择有三类表格里做了一个粗略对比按牛舍场景的使用体验排序。模型精度表现视频流实时性工程上手成本牛舍场景适合度Faster R-CNN高但定位框偏大低基本只能离线中数据预处理繁琐一般YOLOv8mAP0.5 普遍 0.9高直接吃视频流低训练/验证/导出一条龙好RT-DETR高且无 NMS中中训练经验要求高一般选 YOLO 系不是因为它精度最高而是它在实时性和工程生态上最平衡。牛这个对象有两个特点类别只有一种类内差异不大目标尺寸常比 COCO 里的多数类别大。这意味着 YOLO 足够不需要两阶段模型那种“先出候选框再细分类”的冗余能力。Ultralytics 生态把训练、评估、导出 ONNX、内置跟踪器都串好了对做交付的人来说少写很多胶水代码。尺寸选择上从 yolov8m 起步比较稳n 太小夜间红外下小牛容易漏s 是轻量首选m 在精度和显存成本之间最舒服。如果显存允许而项目周期紧可以直接上 l但推理帧率会下来。另外要提醒一种常见误用拿着别人标好的公开牛类数据集直接训练然后在自己场景推理。公开数据集喜欢框全身牛舍监控场景更接近俯视镜头角度不一致会直接拉低实际表现。先用自己现场视频抽帧标 500 框训练一版比堆大量公开图片更划算。2.3 跟踪器从单帧检测到视频分析的关键一跳单帧检测只能给出这一帧的框完全不知道上一个 ID 是谁计数、轨迹、个体行为分析都无从谈起。跨帧匹配的通用路子有两种DeepSort 和 ByteTrack。DeepSort 把检测框和一个 ReID 模型的特征绑定在一起做匹配需要额外训练 ReID 模型。牛的毛色和体型高度一致ReID 特征区分度不够经常把两头黑白花牛交错。ByteTrack 的思路相反它主要靠卡尔曼滤波预测的轨迹位置和检测框的 IoU 做关联低置信度的框也一起参与对遮挡和拥挤场景的容忍度更高。牛群活动是典型慢速、拥挤、反复遮挡ByteTrack 在这种场景下维护 ID 稳定的表现比 DeepSort 好而且不用额外训练特征模型部署成本低。我更倾向在推理时直接给 tracker 参数指定 bytetrack.yaml这个选择会在第 3 章推理代码里落到参数上。2.4 数据标注规范表面功夫决定模型上限模型在验证集上的 mAP 再高也追不上标注质量的上限。牛识别检测的标注规范和通用目标检测不太一样这里给出可直接抄的约定只设一个类别名字就叫 cow。不要把“牛头”“牛身”分开标多类会分散训练信号。框住可见躯干。牛头伸进饲槽时用躯干做框尾巴不要算进框里尾巴的摆动会让宽高比剧烈跳动。遮挡超过 50% 的牛不标。被前面牛挡掉大半身的个体标了反而给模型注入错误样本。边界框尽量贴边但不要为了贴边切掉耳朵。耳朵外廓算牛的一部分。初始数据集建议 3000 到 5000 个框比追求数量更重要的是场景覆盖。白天、夜间红外、站立、卧倒、三五头密集、单头空场每个状态都要有一定比例。常见做法是按视频抽帧而不是只挑清晰图片因为实拍视频里的模糊帧和运动模糊也是推理时真正会遇到的数据分布。标注工具没有强制要求能导出 YOLO 格式即可。我一般用 X-AnyLabeling导出后顺手用脚本检查每个类别的框数分布。比如 cow 类总框数 5000但夜间红外只有 300这个比例一定会在夜间视频推理时暴露出来。3. 从零跑通牛只检测训练环境搭建、训练命令与评估指标曲线怎么看这一章解决的是把标题里的“模型文件”真正训练出来。环境、数据、命令、读曲线四步走完你手里就有了一份可以进视频推理的权重。3.1 深度学习环境安装与项目目录组织# 创建独立虚拟环境避免污染系统自带 Python conda create -n cowdet python3.10 -y conda activate cowdet # 安装 ultralytics它会自动拉取匹配的 PyTorch 版本 pip install ultralytics pandas matplotlib # 检查 GPU 是否可用 python -c import torch; print(cuda if torch.cuda.is_available() else cpu)这三条是打开源码项目最常用的环境起点。第一条创建虚拟环境牛识别检测项目依赖很多和系统 Python 混在一起升级一次就全乱第二条装 ultralytics它负责任务的训练、验证、导出和内置跟踪第三条如果输出 cpu先重装 GPU 版 torch不要继续往下跑。项目目录我一般按这个结构组织cow_data/ ├── images/ │ ├── train/ # 训练图片 │ └── val/ # 验证图片 ├── labels/ │ ├── train/ # 与 train 图片一一对应的 YOLO 标注 txt │ └── val/ ├── cow.yaml # 数据集配置 └── runs/ # 训练输出都在这里YOLO 的标注是 txt 文本每行格式是类别编号 cx cy w h四个坐标全部归一化到 0 到 1。不要手动写标注文件用标注工具导出最稳妥。3.2 准备数据集配置并跑通最小训练命令cow.yaml 的内容如下path: /absolute/path/to/cow_data # 换成你的实际路径 train: images/train val: images/val names: 0: cow注意 path 必须写绝对路径相对路径在后续推理阶段容易因为工作目录不同而踩坑。最小训练命令yolo detect train \ datacow.yaml \ modelyolov8m.pt \ epochs200 \ batch16 \ imgsz640 \ device0 \ projectruns/detect \ namecow_v1参数说明参数建议值逻辑modelyolov8m.ptCOCO 预训练权重底层特征对牛仍然有效epochs200牛舍数据量小200 轮足够配合早停batch168G 显存先从 8 开始观察显存占用再调imgsz640训练尺寸和推理尺寸可以不同lr00.01迁移学习默认值数据很小时降到 0.005patience30验证集连续 30 轮不涨就早停这里面的 modelyolov8m.pt 是 COCO 预训练权重即使牛不是 COCO 里的常见类底层的边缘和纹理特征仍然有效这也是我建议保留它的原因。随机初始化从零训练数据量不够时 mAP 至少掉五个点。提示训练日志在 runs/detect/cow_v1/ 下训练完成会生成 weights/best.pt 和 last.pt。best.pt 是评估指标最优的权重交付时建议用 best.ptlast.pt 留着做紧急回退。3.3 评估指标曲线哪些曲线能信哪些曲线会骗人标题里的评估指标曲线通常指训练日志中自动输出的 loss 和 mAP 曲线以及验证时生成的 PR 曲线文件。它们理论上都在显示模型质量但读法有讲究。第一不能只看 train loss 下降。train loss 持续下降而 val loss 先降后升是过拟合信号出现这种情况把 epochs 调小或者加强数据增强而不是继续加轮数。第二mAP0.5 和 mAP0.5:0.95 要分开看。牛舍场景里 mAP0.5 到 0.9 不算难因为牛目标大、类别少mAP0.5:0.95 如果一直在 0.6 以下说明框定位精度不足主要原因是数据里相互遮挡多、标注框边界不统一。第三PR 曲线是用来选置信度阈值的不是用来收藏的。很多项目把模型默认 conf0.25 直接部署结果错检扑面而来。正确做法是打开验证输出目录里的 F1_curve.png找 F1 最大的点用这个数值作为推理时的 conf 参数。如果日志被覆盖了可以从 results.csv 重绘import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(runs/detect/cow_v1/results.csv) df.columns [c.strip() for c in df.columns] plt.plot(df[metrics/mAP50(B)], labelmAP0.5) plt.plot(df[metrics/mAP50-95(B)], labelmAP0.5:0.95) plt.xlabel(epoch) plt.ylabel(mAP) plt.legend() plt.savefig(cow_mAP_curves.png)这段把两个 mAP 画在同一张图上主要看两条线的距离。距离大说明框能大概对上但不精细线上上下下抖动剧烈则优先怀疑 batch 太小或学习率偏大。训练 loss 曲线像心电图一样跳个不停时先降 lr0再考虑加 batch。3.4 把模型接进视频分析管线一个可落地的推理脚本有了 best.pt 之后进入标题里最核心的“视频分析”环节。下面脚本直接内嵌 ByteTrack输出带 track_id 的检测结果并落 csv方便下游做计数from ultralytics import YOLO import csv model YOLO(runs/detect/cow_v1/weights/best.pt) results model.track( sourcedemo.mp4, # 本地视频或摄像头流地址 streamTrue, # 按帧读取避免一次性载入内存 conf0.35, # 阈值按验证集 F1_curve 的顶点设置 iou0.5, # 同类别去重的 IoU 阈值 trackerbytetrack.yaml, # 使用 ByteTrack而不是默认的 BoT-SORT imgsz1280, # 推理尺寸建议高于训练尺寸 persistTrue, # 跨帧保持跟踪 ID device0, ) with open(track_output.csv, w, newline) as f: writer csv.writer(f) writer.writerow([frame, track_id, x1, y1, x2, y2, conf]) for frame_idx, r in enumerate(results): if r.boxes is None: continue for b in r.boxes: if b.id is None: continue x1, y1, x2, y2 [round(v.item(), 2) for v in b.xyxy[0]] writer.writerow([ frame_idx, int(b.id.item()), x1, y1, x2, y2, round(float(b.conf), 3) ])脚本逻辑分三段第一段加载训练好的模型文件第二段用 model.track 开启视频分析track 内部先做检测后做匹配第三段把每一帧的框和 ID 写进 csv。frame 是视频帧号track_id 是跨帧身份x1 y1 x2 y2 是像素坐标conf 是检测置信度。下游要统计“同一头牛出现多少帧”直接按 track_id 分组计数即可。参数上有几个点需要注意conf 要按 F1 曲线来而不是随手填 0.25imgsz 设为 1280 是因为视频流分辨率普遍高于训练图牛在这个尺寸下更清楚代价是把推理帧率降低一半左右部署机性能不够时先降回 960tracker 参数对应的配置文件在 ultralytics 安装目录下可以改匹配阈值。persistTrue 是必须的不设的话每帧都会重新起 ID。4. 落地避坑牛识别检测里最常踩的五个坑与排查方法以下五条来自实际交付时的踩坑记录每一条都按现象、原因、解决展开。前三个是数据和工程问题后两个是模型使用问题。如果你看到自己的项目占了一条不必返工重训大多只需要调整数据比例或推理参数。4.1 卧倒的牛全部漏检但评估指标却很高现象验证集 mAP0.5 已经到 0.9 以上实际视频里站着的牛全框到了卧倒的牛几乎全丢。原因训练数据大多从白天视频抽帧行走和站立占比过高卧倒帧不到 5%。模型学到的是“站立牛”的纹理组合而不是“牛”这个概念。解决对现有视频库按标注难度重新抽帧把卧倒、侧卧、反刍这些姿态的帧补充到整体数据集的 20% 到 30%重新训练。补充数据时不要只挑清晰帧夜里红外的卧倒帧更难但更需要。提示做一个场景分布统计脚本按标注文件名前缀统计各场景框数。看到卧倒占比过低就是漏检风险信号。4.2 夜间红外视频训练后白天自然光下误检变多现象用夜间红外视频训练出的模型拿到白天牛舍测试把拴牛桩、料槽沿当成了牛。原因红外画面是单通道灰度风格模型学会了依靠亮度分布识别目标白天画面多了颜色和反光牛和背景的分离度反而不稳定。也就是说单一光源下训练的数据分布偏离了白天。解决白天和夜间数据不要放在一个训练集里硬混。常见做法是分成两个模型一个是“白天模型”一个是“红外模型”推理时根据摄像头模式加载对应权重或者统一做灰度化加亮度抖动增强强制模型忽略颜色通道。4.3 训练用 640推理接 2K 视频牛在画面里反而变小了现象2K 视频直接送进推理检测框时有时无远处的小牛完全漏检。原因推理时图像被 resize 到 6402K 下只有几十像素宽的牛缩放后比训练分布里的目标小得多。默认 imgsz 参数直接毁了小目标。解决推理 imgsz 提到 1280 或以上实际对比一下 mAP 和延迟再做取舍。如果显存不够把视频按纵向切成两半分别推理再按坐标合并。牛舍场景下这个方案比换大模型更直接。4.4 两头牛贴在一起时 ID 互换计数偏少现象两头牛打个照面后track_id 对调系统把两头牛当成一头计数少一。原因ByteTrack 主要靠框位置的 IoU 和运动预测目标靠得太近且颜色相近时关联特征区分不开。解决先检查跟踪器配置文件里的匹配阈值把 bytetrack.yaml 中的 match_thres 适当调低减少跨目标的错误匹配如果仍然互换就要在跟踪器里加一个额外的外观特征。常见做法是裁剪检测框区域用一个预训练的 ReID 模型提特征再结合运动信息也就是从 ByteTrack 换到带 ReID 的 DeepSort 路线。但牛舍场景里先把计数误差控制在 5% 以内比追求零互换更实际。4.5 mAP 很高新场景错检一堆置信度阈值选错了现象训练时 mAP 很漂亮模型部署到另一个牛舍错检明显甚至把墙上的水渍当成了牛。原因训练和验证来自同一个数据分布模型在“见过的场景”上当然不错新场景光照和背景变了验证集上的最优置信度阈值不一定还有效。解决部署前跑一段目标场景的未标注视频抽取 300 到 500 帧做人工检查统计错检率把 conf 从 0.25 往上调到 0.4 或 0.5。也可以重新做一次验证集预测画 PR 曲线看 F1 最高点再定。这类问题不一定需要重新训练先调阈值。5. 交付前最后一小时三类验证让系统从“看起来准”变成“靠得住”5.1 同一段视频跑两遍ID 总数对得上才算数牛识别检测的误区之一是只看一眼输出视频“挺准”就交付。我做交付前验证的第一个动作是把同一段 demo.mp4 完整跑两遍比较两遍输出的 track_id 集合。检测网络和跟踪器中都存在随机性两遍结果允许个别帧差异但同一帧出现的 ID 集合应该一致import pandas as pd pass1 pd.read_csv(pass1.csv) pass2 pd.read_csv(pass2.csv) ids1 set(pass1[track_id]) ids2 set(pass2[track_id]) print(missed:, ids1 - ids2, new:, ids2 - ids1)如果差集不为空优先排查是不是在推理时开了数据增强预测阶段不要开再检查跟踪器参数是否太敏感导致 ID 频繁重建。ID 集合对不上计数功能必然不准。5.2 推理提速先导出 ONNX再决定要不要上 TensorRT多路视频分析时YOLO 推理往往成为瓶颈。推理提速经常被视为黑匣子其实第一步就是先把模型导出为标准格式yolo export modelbest.pt formatonnx dynamicTrue导出后可以用 onnxruntime 或 TensorRT 替换 ultralytics 的推理路径。如果换 TensorRT再跑 trtexec 转 engine 并做 int8 量化。夜视红外单通道场景下 int8 量化掉点不明显帧率收益明显。不要一上来就量化先把 fp16 跑通再对比 int8 精度损失。5.3 再往下走个体识别和行为识别不是换个模型那么简单检测闭环之后常见的自然延伸是按牛脸或背纹做个体识别、按姿态做行为分析。这个方向比牛识别检测本身麻烦得多同一头牛换个角度、换段时间外貌变化可能比两头牛之间的差异还大直接拿 ReID 做会踩很深的坑。更可靠的做法是先按 track_id 把每头牛的检测框剪下来形成档案再单独训练个体分类网络并保留人工复核接口。我每次交付前另有一件必做的事拿项目建设方自己拍的、最暗最脏最挤那段视频回放 2000 帧人工数漏检。甲方第一轮验收往往挑的就是这种画面这个习惯帮我省了不少返工。希望帮到你。本文还有配套的精品资源点击获取
简介这是一份基于YOLOv5算法实现的牛只识别检测工程包面向深度学习目标检测初学者及智慧农业、畜牧养殖领域的开发者。压缩包文件总数79个涵盖Python源码、预训练权重、YAML配置、评估图表、运行脚本及Dockerfile等整体大小42.58MB结构完整便于直接部署与二次开发。该工程使用4000多张图片进行训练标注牛只目标超过8000个数据分布均匀迭代200轮模型拟合良好同时附带loss下降曲线、Recall、Precision、mAP等评估指标曲线可直观分析训练效果与模型性能。此外还提供使用说明、推理脚本及测试示例能够帮助读者快速复现检测流程适用于毕业设计、课程实训及牛只检测相关课题研究。目前已有273人学习下载。1. 牛识别检测是什么为什么说难的不是“认牛”而是“盯住牛”给牧场做视频分析最常见的需求就是牛识别检测让深度学习模型在监控画面里逐帧找到牛再按跟踪 ID 把同一头牛跨帧串起来接到计数、发情监测、进食统计这些下游系统。标题里的源码、模型文件、评估指标曲线和使用说明恰好是一次完整交付物的四块源码管住怎么改模型文件是训练产物评估曲线决定能不能信它使用说明解决落地时怎么调。难点不在“认牛”这个物种——单帧检测用 YOLO 系就能跑到不错的 mAP——而在“盯住牛”夜里红外镜头、牛贴着牛、进出画面导致 ID 切换这些才是让 demo 翻车的地方。牛识别检测也是农业 AI 视觉方向一个很典型的实战项目案例做完它目标检测、跟踪、评估、部署这一条链路基本就通了。适合两类人给牧场做智慧养殖交付的系统集成商以及想把深度学习视频分析完整跑一遍的农业 AI 方向学生。后面的内容按方案选型、训练落地、坑点排查、交付验证展开命令和参数都能直接复制。2. 为什么先拆“检测”再“跟踪”模型选型与数据标注的四个决策点一套能交付的牛识别检测系统工程上很少直接拿一个端到端模型输出跟踪结果。常见做法是先做单帧检测再做跨帧匹配。这个拆分不是出于模型性能而是因为工程路径最短单帧检测可以用公开框架快速训到可用精度跨帧匹配交给跟踪器两个问题可以分别调试。下面四个决策点是动手前最容易影响结果的选择。2.1 传统视觉方案在牛舍里为什么集体失效背景差分、帧差法、颜色阈值这些传统视觉手段在干净厂房里确实能跑但搬到牛舍就时好时坏。牛舍的光照一天之内从太阳光切到红外补光亮度波动大地面有粪污牛毛色又深目标和背景的边缘经常融在一起。传统算法只能回答“画面上哪儿变了”回答不了“变了的东西是不是牛”。牛的动作本身也很慢长时间站立、低头采食帧差法在多数时刻根本检测不到足够幅度的像素变化。背景差分更怕的是摄像头轻微抖动防抖支架没做好时整幅画面都在“变化”误检率直接拉满。这些方案我早期都试过最终结论是它们适合做动目标检测不适合做牛识别检测差在“语义”这一层。2.2 检测模型选型YOLO 系为什么是视频分析场景的第一选择把“识别牛”交给深度学习模型之后剩下的问题是用哪一类。常见的公开选择有三类表格里做了一个粗略对比按牛舍场景的使用体验排序。模型精度表现视频流实时性工程上手成本牛舍场景适合度Faster R-CNN高但定位框偏大低基本只能离线中数据预处理繁琐一般YOLOv8mAP0.5 普遍 0.9高直接吃视频流低训练/验证/导出一条龙好RT-DETR高且无 NMS中中训练经验要求高一般选 YOLO 系不是因为它精度最高而是它在实时性和工程生态上最平衡。牛这个对象有两个特点类别只有一种类内差异不大目标尺寸常比 COCO 里的多数类别大。这意味着 YOLO 足够不需要两阶段模型那种“先出候选框再细分类”的冗余能力。Ultralytics 生态把训练、评估、导出 ONNX、内置跟踪器都串好了对做交付的人来说少写很多胶水代码。尺寸选择上从 yolov8m 起步比较稳n 太小夜间红外下小牛容易漏s 是轻量首选m 在精度和显存成本之间最舒服。如果显存允许而项目周期紧可以直接上 l但推理帧率会下来。另外要提醒一种常见误用拿着别人标好的公开牛类数据集直接训练然后在自己场景推理。公开数据集喜欢框全身牛舍监控场景更接近俯视镜头角度不一致会直接拉低实际表现。先用自己现场视频抽帧标 500 框训练一版比堆大量公开图片更划算。2.3 跟踪器从单帧检测到视频分析的关键一跳单帧检测只能给出这一帧的框完全不知道上一个 ID 是谁计数、轨迹、个体行为分析都无从谈起。跨帧匹配的通用路子有两种DeepSort 和 ByteTrack。DeepSort 把检测框和一个 ReID 模型的特征绑定在一起做匹配需要额外训练 ReID 模型。牛的毛色和体型高度一致ReID 特征区分度不够经常把两头黑白花牛交错。ByteTrack 的思路相反它主要靠卡尔曼滤波预测的轨迹位置和检测框的 IoU 做关联低置信度的框也一起参与对遮挡和拥挤场景的容忍度更高。牛群活动是典型慢速、拥挤、反复遮挡ByteTrack 在这种场景下维护 ID 稳定的表现比 DeepSort 好而且不用额外训练特征模型部署成本低。我更倾向在推理时直接给 tracker 参数指定 bytetrack.yaml这个选择会在第 3 章推理代码里落到参数上。2.4 数据标注规范表面功夫决定模型上限模型在验证集上的 mAP 再高也追不上标注质量的上限。牛识别检测的标注规范和通用目标检测不太一样这里给出可直接抄的约定只设一个类别名字就叫 cow。不要把“牛头”“牛身”分开标多类会分散训练信号。框住可见躯干。牛头伸进饲槽时用躯干做框尾巴不要算进框里尾巴的摆动会让宽高比剧烈跳动。遮挡超过 50% 的牛不标。被前面牛挡掉大半身的个体标了反而给模型注入错误样本。边界框尽量贴边但不要为了贴边切掉耳朵。耳朵外廓算牛的一部分。初始数据集建议 3000 到 5000 个框比追求数量更重要的是场景覆盖。白天、夜间红外、站立、卧倒、三五头密集、单头空场每个状态都要有一定比例。常见做法是按视频抽帧而不是只挑清晰图片因为实拍视频里的模糊帧和运动模糊也是推理时真正会遇到的数据分布。标注工具没有强制要求能导出 YOLO 格式即可。我一般用 X-AnyLabeling导出后顺手用脚本检查每个类别的框数分布。比如 cow 类总框数 5000但夜间红外只有 300这个比例一定会在夜间视频推理时暴露出来。3. 从零跑通牛只检测训练环境搭建、训练命令与评估指标曲线怎么看这一章解决的是把标题里的“模型文件”真正训练出来。环境、数据、命令、读曲线四步走完你手里就有了一份可以进视频推理的权重。3.1 深度学习环境安装与项目目录组织# 创建独立虚拟环境避免污染系统自带 Python conda create -n cowdet python3.10 -y conda activate cowdet # 安装 ultralytics它会自动拉取匹配的 PyTorch 版本 pip install ultralytics pandas matplotlib # 检查 GPU 是否可用 python -c import torch; print(cuda if torch.cuda.is_available() else cpu)这三条是打开源码项目最常用的环境起点。第一条创建虚拟环境牛识别检测项目依赖很多和系统 Python 混在一起升级一次就全乱第二条装 ultralytics它负责任务的训练、验证、导出和内置跟踪第三条如果输出 cpu先重装 GPU 版 torch不要继续往下跑。项目目录我一般按这个结构组织cow_data/ ├── images/ │ ├── train/ # 训练图片 │ └── val/ # 验证图片 ├── labels/ │ ├── train/ # 与 train 图片一一对应的 YOLO 标注 txt │ └── val/ ├── cow.yaml # 数据集配置 └── runs/ # 训练输出都在这里YOLO 的标注是 txt 文本每行格式是类别编号 cx cy w h四个坐标全部归一化到 0 到 1。不要手动写标注文件用标注工具导出最稳妥。3.2 准备数据集配置并跑通最小训练命令cow.yaml 的内容如下path: /absolute/path/to/cow_data # 换成你的实际路径 train: images/train val: images/val names: 0: cow注意 path 必须写绝对路径相对路径在后续推理阶段容易因为工作目录不同而踩坑。最小训练命令yolo detect train \ datacow.yaml \ modelyolov8m.pt \ epochs200 \ batch16 \ imgsz640 \ device0 \ projectruns/detect \ namecow_v1参数说明参数建议值逻辑modelyolov8m.ptCOCO 预训练权重底层特征对牛仍然有效epochs200牛舍数据量小200 轮足够配合早停batch168G 显存先从 8 开始观察显存占用再调imgsz640训练尺寸和推理尺寸可以不同lr00.01迁移学习默认值数据很小时降到 0.005patience30验证集连续 30 轮不涨就早停这里面的 modelyolov8m.pt 是 COCO 预训练权重即使牛不是 COCO 里的常见类底层的边缘和纹理特征仍然有效这也是我建议保留它的原因。随机初始化从零训练数据量不够时 mAP 至少掉五个点。提示训练日志在 runs/detect/cow_v1/ 下训练完成会生成 weights/best.pt 和 last.pt。best.pt 是评估指标最优的权重交付时建议用 best.ptlast.pt 留着做紧急回退。3.3 评估指标曲线哪些曲线能信哪些曲线会骗人标题里的评估指标曲线通常指训练日志中自动输出的 loss 和 mAP 曲线以及验证时生成的 PR 曲线文件。它们理论上都在显示模型质量但读法有讲究。第一不能只看 train loss 下降。train loss 持续下降而 val loss 先降后升是过拟合信号出现这种情况把 epochs 调小或者加强数据增强而不是继续加轮数。第二mAP0.5 和 mAP0.5:0.95 要分开看。牛舍场景里 mAP0.5 到 0.9 不算难因为牛目标大、类别少mAP0.5:0.95 如果一直在 0.6 以下说明框定位精度不足主要原因是数据里相互遮挡多、标注框边界不统一。第三PR 曲线是用来选置信度阈值的不是用来收藏的。很多项目把模型默认 conf0.25 直接部署结果错检扑面而来。正确做法是打开验证输出目录里的 F1_curve.png找 F1 最大的点用这个数值作为推理时的 conf 参数。如果日志被覆盖了可以从 results.csv 重绘import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(runs/detect/cow_v1/results.csv) df.columns [c.strip() for c in df.columns] plt.plot(df[metrics/mAP50(B)], labelmAP0.5) plt.plot(df[metrics/mAP50-95(B)], labelmAP0.5:0.95) plt.xlabel(epoch) plt.ylabel(mAP) plt.legend() plt.savefig(cow_mAP_curves.png)这段把两个 mAP 画在同一张图上主要看两条线的距离。距离大说明框能大概对上但不精细线上上下下抖动剧烈则优先怀疑 batch 太小或学习率偏大。训练 loss 曲线像心电图一样跳个不停时先降 lr0再考虑加 batch。3.4 把模型接进视频分析管线一个可落地的推理脚本有了 best.pt 之后进入标题里最核心的“视频分析”环节。下面脚本直接内嵌 ByteTrack输出带 track_id 的检测结果并落 csv方便下游做计数from ultralytics import YOLO import csv model YOLO(runs/detect/cow_v1/weights/best.pt) results model.track( sourcedemo.mp4, # 本地视频或摄像头流地址 streamTrue, # 按帧读取避免一次性载入内存 conf0.35, # 阈值按验证集 F1_curve 的顶点设置 iou0.5, # 同类别去重的 IoU 阈值 trackerbytetrack.yaml, # 使用 ByteTrack而不是默认的 BoT-SORT imgsz1280, # 推理尺寸建议高于训练尺寸 persistTrue, # 跨帧保持跟踪 ID device0, ) with open(track_output.csv, w, newline) as f: writer csv.writer(f) writer.writerow([frame, track_id, x1, y1, x2, y2, conf]) for frame_idx, r in enumerate(results): if r.boxes is None: continue for b in r.boxes: if b.id is None: continue x1, y1, x2, y2 [round(v.item(), 2) for v in b.xyxy[0]] writer.writerow([ frame_idx, int(b.id.item()), x1, y1, x2, y2, round(float(b.conf), 3) ])脚本逻辑分三段第一段加载训练好的模型文件第二段用 model.track 开启视频分析track 内部先做检测后做匹配第三段把每一帧的框和 ID 写进 csv。frame 是视频帧号track_id 是跨帧身份x1 y1 x2 y2 是像素坐标conf 是检测置信度。下游要统计“同一头牛出现多少帧”直接按 track_id 分组计数即可。参数上有几个点需要注意conf 要按 F1 曲线来而不是随手填 0.25imgsz 设为 1280 是因为视频流分辨率普遍高于训练图牛在这个尺寸下更清楚代价是把推理帧率降低一半左右部署机性能不够时先降回 960tracker 参数对应的配置文件在 ultralytics 安装目录下可以改匹配阈值。persistTrue 是必须的不设的话每帧都会重新起 ID。4. 落地避坑牛识别检测里最常踩的五个坑与排查方法以下五条来自实际交付时的踩坑记录每一条都按现象、原因、解决展开。前三个是数据和工程问题后两个是模型使用问题。如果你看到自己的项目占了一条不必返工重训大多只需要调整数据比例或推理参数。4.1 卧倒的牛全部漏检但评估指标却很高现象验证集 mAP0.5 已经到 0.9 以上实际视频里站着的牛全框到了卧倒的牛几乎全丢。原因训练数据大多从白天视频抽帧行走和站立占比过高卧倒帧不到 5%。模型学到的是“站立牛”的纹理组合而不是“牛”这个概念。解决对现有视频库按标注难度重新抽帧把卧倒、侧卧、反刍这些姿态的帧补充到整体数据集的 20% 到 30%重新训练。补充数据时不要只挑清晰帧夜里红外的卧倒帧更难但更需要。提示做一个场景分布统计脚本按标注文件名前缀统计各场景框数。看到卧倒占比过低就是漏检风险信号。4.2 夜间红外视频训练后白天自然光下误检变多现象用夜间红外视频训练出的模型拿到白天牛舍测试把拴牛桩、料槽沿当成了牛。原因红外画面是单通道灰度风格模型学会了依靠亮度分布识别目标白天画面多了颜色和反光牛和背景的分离度反而不稳定。也就是说单一光源下训练的数据分布偏离了白天。解决白天和夜间数据不要放在一个训练集里硬混。常见做法是分成两个模型一个是“白天模型”一个是“红外模型”推理时根据摄像头模式加载对应权重或者统一做灰度化加亮度抖动增强强制模型忽略颜色通道。4.3 训练用 640推理接 2K 视频牛在画面里反而变小了现象2K 视频直接送进推理检测框时有时无远处的小牛完全漏检。原因推理时图像被 resize 到 6402K 下只有几十像素宽的牛缩放后比训练分布里的目标小得多。默认 imgsz 参数直接毁了小目标。解决推理 imgsz 提到 1280 或以上实际对比一下 mAP 和延迟再做取舍。如果显存不够把视频按纵向切成两半分别推理再按坐标合并。牛舍场景下这个方案比换大模型更直接。4.4 两头牛贴在一起时 ID 互换计数偏少现象两头牛打个照面后track_id 对调系统把两头牛当成一头计数少一。原因ByteTrack 主要靠框位置的 IoU 和运动预测目标靠得太近且颜色相近时关联特征区分不开。解决先检查跟踪器配置文件里的匹配阈值把 bytetrack.yaml 中的 match_thres 适当调低减少跨目标的错误匹配如果仍然互换就要在跟踪器里加一个额外的外观特征。常见做法是裁剪检测框区域用一个预训练的 ReID 模型提特征再结合运动信息也就是从 ByteTrack 换到带 ReID 的 DeepSort 路线。但牛舍场景里先把计数误差控制在 5% 以内比追求零互换更实际。4.5 mAP 很高新场景错检一堆置信度阈值选错了现象训练时 mAP 很漂亮模型部署到另一个牛舍错检明显甚至把墙上的水渍当成了牛。原因训练和验证来自同一个数据分布模型在“见过的场景”上当然不错新场景光照和背景变了验证集上的最优置信度阈值不一定还有效。解决部署前跑一段目标场景的未标注视频抽取 300 到 500 帧做人工检查统计错检率把 conf 从 0.25 往上调到 0.4 或 0.5。也可以重新做一次验证集预测画 PR 曲线看 F1 最高点再定。这类问题不一定需要重新训练先调阈值。5. 交付前最后一小时三类验证让系统从“看起来准”变成“靠得住”5.1 同一段视频跑两遍ID 总数对得上才算数牛识别检测的误区之一是只看一眼输出视频“挺准”就交付。我做交付前验证的第一个动作是把同一段 demo.mp4 完整跑两遍比较两遍输出的 track_id 集合。检测网络和跟踪器中都存在随机性两遍结果允许个别帧差异但同一帧出现的 ID 集合应该一致import pandas as pd pass1 pd.read_csv(pass1.csv) pass2 pd.read_csv(pass2.csv) ids1 set(pass1[track_id]) ids2 set(pass2[track_id]) print(missed:, ids1 - ids2, new:, ids2 - ids1)如果差集不为空优先排查是不是在推理时开了数据增强预测阶段不要开再检查跟踪器参数是否太敏感导致 ID 频繁重建。ID 集合对不上计数功能必然不准。5.2 推理提速先导出 ONNX再决定要不要上 TensorRT多路视频分析时YOLO 推理往往成为瓶颈。推理提速经常被视为黑匣子其实第一步就是先把模型导出为标准格式yolo export modelbest.pt formatonnx dynamicTrue导出后可以用 onnxruntime 或 TensorRT 替换 ultralytics 的推理路径。如果换 TensorRT再跑 trtexec 转 engine 并做 int8 量化。夜视红外单通道场景下 int8 量化掉点不明显帧率收益明显。不要一上来就量化先把 fp16 跑通再对比 int8 精度损失。5.3 再往下走个体识别和行为识别不是换个模型那么简单检测闭环之后常见的自然延伸是按牛脸或背纹做个体识别、按姿态做行为分析。这个方向比牛识别检测本身麻烦得多同一头牛换个角度、换段时间外貌变化可能比两头牛之间的差异还大直接拿 ReID 做会踩很深的坑。更可靠的做法是先按 track_id 把每头牛的检测框剪下来形成档案再单独训练个体分类网络并保留人工复核接口。我每次交付前另有一件必做的事拿项目建设方自己拍的、最暗最脏最挤那段视频回放 2000 帧人工数漏检。甲方第一轮验收往往挑的就是这种画面这个习惯帮我省了不少返工。希望帮到你。本文还有配套的精品资源点击获取
