简介这份资源围绕基于YOLOv5实现CSGO自瞄这一目标检测实战项目展开面向具备一定深度学习与计算机视觉基础、希望理解目标检测在游戏场景中落地方式的开发者与学习者。包内共95个文件以38个Python脚本和40个YAML配置为主辅以5个Shell脚本、3份Markdown文档及Dockerfile、ipynb、cfg等配套文件压缩包约232KB涵盖模型定义、训练与验证脚本、数据配置、工具函数及部署相关模块结构贴近YOLOv5官方工程组织方式。资源涉及数据集标注与预处理、模型训练参数配置、实时画面捕获与目标检测、瞄准策略与误检处理等环节可帮助读者梳理从模型训练到系统集成的完整链路并理解速度优化、抗干扰与后处理等实践要点。目前已有1852人学习下载适合作为目标检测项目练手与工程结构参考。1. 从屏幕像素到准星偏移YOLOv5 在 CSGO 目标检测里到底能做什么很多人第一次听到「基于 YOLOv5 实现的 CSGO 自瞄」脑子里浮现的是直接注入游戏进程、读取内存坐标的画面。但真正跑过一遍的人会告诉你这条路的重点根本不在「自瞄」两个字而在于如何用纯视觉方案把屏幕上的敌人从背景里稳定地框出来再换算成鼠标该移动多少像素。YOLOv5 在这里承担的角色是目标检测器输入一帧游戏画面输出若干个边界框和类别置信度剩下的瞄准逻辑、平滑移动、触发判定都是检测之后的事。这个方向适合两类人一类是想学 YOLOv5 完整落地流程的工程师从 conda 环境配置、数据集标注、超参数调到模型部署全链路走一遍另一类是对 FPS 游戏画面理解感兴趣的人想搞清楚目标检测在低延迟、高动态场景下到底能跑到什么程度。需要提前说清楚的是本文只讨论离线截图推理和本地模型训练的技术路径不涉及任何游戏内注入、内存读写或绕过反作弊的手段。你完全可以在自定义房间、录像回放或者训练场上验证整套流程把它当成一个「实时目标检测 坐标映射」的工程练习。为什么偏偏是 YOLOv5而不是 YOLOv8 或者 RT-DETR原因很实际YOLOv5 的源码结构清晰models/、utils/、data/分工明确改起来不费劲社区里针对 FPS 游戏画面的迁移学习案例多预训练权重下载方便ONNX 导出和 TensorRT 加速的文档也最全。对于「屏幕截图 → 检测 → 输出坐标」这种固定分辨率的任务YOLOv5s 或 YOLOv5n 在消费级显卡上跑到 100 FPS 以上并不难。换句话说它不一定是最新的但它是最容易复现和调试的。2. 把 CSGO 画面变成训练集截图、标注与 YOLO 格式转换2.1 采集什么样的画面决定了模型的上限训练集的质量直接决定检测器在实战场景里的表现。CSGO 的画面有几个特点敌人可能只露出半个头、颜色和背景接近、远距离目标只有十几个像素、烟雾弹和闪光弹会造成大面积遮挡。如果你只采集站立不动、正面朝向的敌人截图模型一到实战就会疯狂漏检。我一般会按下面几个维度来采集距离近距离占屏幕 1/3 以上、中距离、远距离目标高度小于 30 像素各占一定比例。姿态站立、下蹲、只露头、侧身、背身。场景不同地图的常见交火点比如 Dust2 的 A 大、Mirage 的中路。干扰烟雾边缘、火焰、队友遮挡、UI 元素血量、弹药、小地图。采集方式可以用 OBS 录屏再抽帧也可以写一个简单的 Python 脚本定时截图。注意截图分辨率要和推理时保持一致否则后面坐标映射会出问题。import cv2 import os import time # 截图保存目录 save_dir csgo_frames os.makedirs(save_dir, exist_okTrue) # 假设屏幕分辨率 1920x1080截取游戏画面区域 # 这里用 mss 库做屏幕捕获比 PIL 快很多 import mss import numpy as np with mss.mss() as sct: monitor {top: 0, left: 0, width: 1920, height: 1080} count 0 while count 500: # 采集 500 帧 img np.array(sct.grab(monitor)) img cv2.cvtColor(img, cv2.COLOR_BGRA2BGR) cv2.imwrite(f{save_dir}/frame_{count:04d}.jpg, img) count 1 time.sleep(0.5) # 每 0.5 秒一帧避免大量重复这段代码用mss做屏幕捕获比 PIL 的ImageGrab快不少适合连续采集。monitor参数指定截取区域如果你用窗口化模式可以改成游戏窗口的坐标。time.sleep(0.5)是为了避免采集到大量几乎相同的帧实际采集时可以边打边录事后抽帧。2.2 用 LabelImg 标注并转成 YOLO 格式标注工具用 LabelImg 就够了类别只设一个enemy。标注时有个血泪经验只框可见部分不要脑补被遮挡的身体。比如敌人只露出头就只框头部区域不要把整个身体框进去。否则模型会学到「看到头就预测一个大框」推理时框会飘。标注完成后得到的是 PASCAL VOC 格式的 XML 文件需要转成 YOLO 的 txt 格式。转换脚本如下import xml.etree.ElementTree as ET import os # 类别映射只有一个类别 classes [enemy] def convert_annotation(xml_path, output_dir, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() # 获取图片文件名替换后缀为 .txt filename root.find(filename).text txt_name os.path.splitext(filename)[0] .txt txt_path os.path.join(output_dir, txt_name) with open(txt_path, w) as f: for obj in root.iter(object): cls_name obj.find(name).text if cls_name not in classes: continue cls_id classes.index(cls_name) bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # YOLO 格式中心点 x,y 和宽高全部归一化到 0-1 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h f.write(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}\n) # 批量转换 xml_dir annotations output_dir labels os.makedirs(output_dir, exist_okTrue) for xml_file in os.listdir(xml_dir): if xml_file.endswith(.xml): convert_annotation(os.path.join(xml_dir, xml_file), output_dir, 1920, 1080)转换逻辑的核心是归一化YOLO 不直接使用像素坐标而是用相对于图片宽高的比例。x_center和y_center是框中心点除以图片宽高w和h是框的宽高除以图片宽高。这样模型输出与输入分辨率解耦推理时再乘回实际尺寸即可。注意img_w和img_h必须和标注时的图片尺寸一致否则框会错位。2.3 数据集目录结构与 data.yaml 配置YOLOv5 要求特定的目录结构常见做法是dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yamldata.yaml内容如下path: ./dataset train: images/train val: images/val nc: 1 names: [enemy]nc是类别数这里只有enemy一类。names的顺序必须和转换脚本里的classes列表一致否则类别 ID 会对不上。训练集和验证集的比例一般 8:2 或 9:1验证集要包含不同距离和场景的样本否则评估指标会虚高。3. 用 conda 配环境、改超参数、跑通 YOLOv5 训练3.1 conda 环境配置与依赖安装YOLOv5 对环境要求不算苛刻但版本对不上会出各种玄学问题。我一般用 Python 3.8 或 3.9PyTorch 选 1.12 以上CUDA 版本根据显卡驱动来。# 创建 conda 环境 conda create -n yolov5_csgo python3.9 -y conda activate yolov5_csgo # 安装 PyTorch以 CUDA 11.3 为例 pip install torch1.12.1cu113 torchvision0.13.1cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 克隆 YOLOv5 源码 git clone https://github.com/ultralytics/yolov5.git cd yolov5 # 安装依赖 pip install -r requirements.txt安装完成后用python -c import torch; print(torch.cuda.is_available())验证 GPU 是否可用。如果返回False检查 CUDA 版本和 PyTorch 版本是否匹配。常见坑是驱动太旧需要先更新显卡驱动。3.2 针对小目标调整超参数YOLOv5 默认的超参数是针对 COCO 数据集的直接拿来训练 CSGO 画面效果一般。需要改几个关键参数参数默认值建议值原因img-size640640 或 960远距离敌人像素少增大输入尺寸能提升小目标召回batch-size16根据显存调显存 8G 用 812G 用 16epochs300100-200单类别任务收敛快太多容易过拟合anchor默认重新聚类CSGO 目标宽高比和 COCO 差异大conf-thres0.250.4-0.5降低误检游戏画面背景干扰多Anchor 重新聚类可以用 YOLOv5 自带的脚本python utils/autoanchor.py --data dataset/data.yaml --img-size 640 --thr 4.0这个脚本会读取你的标注框用 k-means 重新计算适合你数据集的 anchor 尺寸。CSGO 里敌人框大多是竖长条形默认 anchor 偏宽重新聚类后检测框会更贴合。训练命令python train.py \ --data dataset/data.yaml \ --weights yolov5s.pt \ --img 640 \ --batch 8 \ --epochs 150 \ --hyp data/hyps/hyp.scratch-low.yaml \ --name csgo_enemy--weights yolov5s.pt表示从预训练权重开始迁移学习比从头训练快很多。--hyp选hyp.scratch-low.yaml是因为它用了较低的学习率和数据增强强度适合小数据集微调。训练过程中关注mAP0.5和mAP0.5:0.95两个指标如果验证集 mAP 远低于训练集说明过拟合了需要增加数据或降低模型复杂度。3.3 训练过程中的显存与数据加载排查训练时最常见的两个问题显存溢出和 DataLoader 报错。显存溢出表现为CUDA out of memory解决办法是降低batch-size或img-size也可以开启梯度累积--accumulate 2来模拟大 batch。DataLoader 报错通常是图片路径不对或者标注文件缺失检查dataset/images/train和dataset/labels/train里的文件名是否一一对应YOLOv5 要求图片和标注同名不同后缀。如果训练 loss 一直不下降先检查标注格式是否正确。用python utils/plots.py可以可视化标注框确认框的位置和大小没问题。另一个常见原因是学习率太大可以换成hyp.scratch-low.yaml或者手动把lr0调到 0.001。4. 推理、后处理与坐标映射从检测框到准星偏移量4.1 ONNX 导出与推理加速训练完成后PyTorch 模型推理速度往往不够需要导出成 ONNX 或 TensorRT。ONNX 导出命令python export.py --weights runs/train/csgo_enemy/weights/best.pt --include onnx --img 640 --batch 1导出后得到一个.onnx文件可以用onnxruntime推理import onnxruntime as ort import numpy as np import cv2 # 加载 ONNX 模型 session ort.InferenceSession(best.onnx, providers[CUDAExecutionProvider]) def preprocess(img, img_size640): # 保持宽高比缩放 h, w img.shape[:2] scale img_size / max(h, w) new_h, new_w int(h * scale), int(w * scale) resized cv2.resize(img, (new_w, new_h)) # 填充到正方形 canvas np.full((img_size, img_size, 3), 114, dtypenp.uint8) canvas[:new_h, :new_w] resized # 归一化并转成 NCHW blob canvas.astype(np.float32) / 255.0 blob blob.transpose(2, 0, 1)[np.newaxis, ...] return blob, scale, new_w, new_h def postprocess(output, scale, new_w, new_h, conf_thres0.5, iou_thres0.45): # output shape: [1, 25200, 6]前 4 个是 xywh第 5 个是 obj conf第 6 个是类别 conf preds output[0] boxes [] for pred in preds: obj_conf pred[4] cls_conf pred[5] score obj_conf * cls_conf if score conf_thres: continue x, y, w, h pred[:4] # 转换回原图坐标 x1 (x - w / 2) / scale y1 (y - h / 2) / scale x2 (x w / 2) / scale y2 (y h / 2) / scale boxes.append([x1, y1, x2, y2, score]) # NMS 去重 if len(boxes) 0: return [] boxes np.array(boxes) indices cv2.dnn.NMSBoxes( boxes[:, :4].tolist(), boxes[:, 4].tolist(), conf_thres, iou_thres ) return boxes[indices.flatten()] if len(indices) 0 else []预处理里的scale和填充是为了保持宽高比避免目标变形。后处理先按置信度过滤再做 NMS 去掉重叠框。注意 ONNX 输出的坐标是相对于 640x640 输入图的需要除以scale还原到原始分辨率。4.2 准星偏移量计算与平滑移动检测框出来后计算框中心点与屏幕准星通常是屏幕中心的偏移量def compute_offset(box, screen_w1920, screen_h1080): x1, y1, x2, y2, score box target_x (x1 x2) / 2 target_y (y1 y2) / 2 # 准星在屏幕中心 crosshair_x screen_w / 2 crosshair_y screen_h / 2 dx target_x - crosshair_x dy target_y - crosshair_y return dx, dy, score直接按dx, dy移动鼠标会非常生硬而且容易过冲。常见做法是加一个平滑系数import math def smooth_move(dx, dy, smooth0.3, max_step50): # 限制单次最大移动量 distance math.sqrt(dx**2 dy**2) if distance max_step: dx dx / distance * max_step dy dy / distance * max_step # 平滑系数越小越平滑 move_x dx * smooth move_y dy * smooth return move_x, move_ysmooth越小移动越慢越平滑但响应也越迟钝。max_step防止单次移动过大导致画面剧烈跳动。实际调参时可以先设smooth0.2、max_step30再根据手感微调。4.3 多目标选择策略画面里同时出现多个敌人时需要选一个作为瞄准目标。常见策略有三种距离准星最近计算每个框中心到屏幕中心的距离选最小的。适合近距离遭遇战。置信度最高选score最大的框。适合目标清晰但距离较远的情况。综合评分score / distance作为评分兼顾置信度和距离。def select_target(boxes, screen_w1920, screen_h1080): if not boxes: return None best_box None best_score -1 for box in boxes: x1, y1, x2, y2, score box cx (x1 x2) / 2 cy (y1 y2) / 2 dist math.sqrt((cx - screen_w/2)**2 (cy - screen_h/2)**2) # 综合评分距离越近、置信度越高评分越高 combined score / (dist 1) if combined best_score: best_score combined best_box box return best_boxdist 1是为了避免除零。这个评分函数可以根据实际场景调整权重比如更看重距离就改成score / (dist**2 1)。5. 避坑与排查那些让检测框乱飘的细节5.1 检测框抖动严重准星跟着抖现象连续帧里同一个敌人的框位置跳变导致准星来回晃。原因模型对同一目标在不同帧的预测有方差尤其是目标边缘模糊或部分遮挡时。另外截图分辨率与训练分辨率不一致也会导致框偏移。解决加一个简单的卡尔曼滤波或滑动平均。最简单的是对最近 3 帧的框做加权平均from collections import deque class BoxSmoother: def __init__(self, maxlen3): self.history deque(maxlenmaxlen) def update(self, box): self.history.append(box) if len(self.history) 2: return box # 加权平均越新的帧权重越高 weights list(range(1, len(self.history) 1)) total_w sum(weights) smoothed [0] * 5 for i, b in enumerate(self.history): for j in range(5): smoothed[j] b[j] * weights[i] / total_w return smoothed5.2 远距离敌人漏检近处正常现象近距离检测没问题远距离敌人完全框不出来。原因远距离目标在 640x640 输入下只有几个像素YOLOv5 的下采样倍率导致小目标特征丢失。另外训练集里远距离样本太少模型没学到。解决把推理分辨率提高到 960 或 1280同时训练时也用同样分辨率。如果显存不够可以用--img 960训练推理时保持 960。另一个办法是在数据增强里加mosaic和copy-paste人为增加小目标样本。5.3 烟雾弹和火焰导致误检现象烟雾边缘、火焰粒子被误判为敌人。原因训练集里这类负样本太少模型把类似颜色和纹理的区域当成了目标。解决采集一批纯烟雾、纯火焰、纯背景的截图作为负样本加入训练集。YOLOv5 支持空标注文件即图片对应的 txt 文件为空表示这张图没有目标。负样本比例控制在总数据的 10%-20% 左右。5.4 ONNX 推理结果和 PyTorch 不一致现象PyTorch 模型检测正常导出 ONNX 后框位置偏移或置信度异常。原因导出时的img-size和推理时的输入尺寸不一致或者预处理里的归一化方式不同。YOLOv5 导出 ONNX 时默认把预处理也包含进去了如果你在 Python 里又做了一遍归一化就会重复。解决检查export.py里的--img参数和推理时的img_size是否一致。用onnxruntime推理时输入应该是 0-255 的 uint8 还是 0-1 的 float取决于导出时的设置。可以先用一张测试图分别跑 PyTorch 和 ONNX对比输出差异。5.5 训练 loss 正常但 mAP 很低现象训练 loss 一直在降但验证集 mAP 只有 0.1 左右。原因最常见的是标注格式错误比如归一化时用了错误的宽高或者类别 ID 从 1 开始而不是 0。另一个原因是验证集和训练集分布差异太大。解决用python utils/plots.py可视化标注框确认框的位置和大小正确。检查data.yaml里的nc和names是否和标注一致。如果标注没问题把验证集换成和训练集同分布的样本再试。6. 把推理延迟压到 10ms 以内TensorRT 加速与半精度推理ONNX 推理在 640x640 输入下YOLOv5s 在 RTX 3060 上大概 15-20ms 一帧加上截图和后处理整体延迟在 30ms 左右。如果想压到 10ms 以内TensorRT 是绕不开的。导出 TensorRT 引擎python export.py --weights best.pt --include engine --img 640 --batch 1 --half--half表示 FP16 半精度速度能提升 30%-50%精度损失很小。导出后得到一个.engine文件用 TensorRT 的 Python API 推理import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit import numpy as np # 加载 TensorRT 引擎 logger trt.Logger(trt.Logger.WARNING) with open(best.engine, rb) as f, trt.Runtime(logger) as runtime: engine runtime.deserialize_cuda_engine(f.read()) context engine.create_execution_context() # 分配输入输出显存 input_shape (1, 3, 640, 640) output_shape (1, 25200, 6) d_input cuda.mem_alloc(np.prod(input_shape) * 4) d_output cuda.mem_alloc(np.prod(output_shape) * 4) def infer(blob): # blob 是预处理后的 NCHW float32 数组 cuda.memcpy_htod(d_input, blob.astype(np.float32)) context.execute_v2([int(d_input), int(d_output)]) output np.empty(output_shape, dtypenp.float32) cuda.memcpy_dtoh(output, d_output) return outputTensorRT 的推理流程是把输入拷贝到显存执行引擎再把输出拷回内存。execute_v2是同步执行实际部署时可以用 CUDA stream 做异步进一步降低延迟。注意 TensorRT 引擎和显卡型号绑定换显卡需要重新导出。半精度推理有个坑如果训练时用的是 FP32导出 FP16 引擎后置信度可能会略微下降尤其是小目标的置信度。解决办法是在导出时加--dynamic做动态 batch或者用--simplify简化 ONNX 图后再导出。如果发现漏检变多可以适当降低conf_thres比如从 0.5 降到 0.35。另一个提速点是截图环节。用mss截图 1920x1080 大概 5-8ms如果只截取屏幕中心区域比如 800x800能降到 2-3ms。推理时也只处理这个区域坐标映射时加上偏移量即可。这样整体延迟可以压到 10ms 以内达到 100 FPS 的检测速度。最后说一个我自己的习惯每次改完预处理或后处理代码先用一张固定截图跑一遍把检测框画出来保存成图片肉眼确认框的位置对不对。这个习惯帮我省了很多「明明代码没问题但结果就是不对」的排查时间。希望帮到你。本文还有配套的精品资源点击获取
简介这份资源围绕基于YOLOv5实现CSGO自瞄这一目标检测实战项目展开面向具备一定深度学习与计算机视觉基础、希望理解目标检测在游戏场景中落地方式的开发者与学习者。包内共95个文件以38个Python脚本和40个YAML配置为主辅以5个Shell脚本、3份Markdown文档及Dockerfile、ipynb、cfg等配套文件压缩包约232KB涵盖模型定义、训练与验证脚本、数据配置、工具函数及部署相关模块结构贴近YOLOv5官方工程组织方式。资源涉及数据集标注与预处理、模型训练参数配置、实时画面捕获与目标检测、瞄准策略与误检处理等环节可帮助读者梳理从模型训练到系统集成的完整链路并理解速度优化、抗干扰与后处理等实践要点。目前已有1852人学习下载适合作为目标检测项目练手与工程结构参考。1. 从屏幕像素到准星偏移YOLOv5 在 CSGO 目标检测里到底能做什么很多人第一次听到「基于 YOLOv5 实现的 CSGO 自瞄」脑子里浮现的是直接注入游戏进程、读取内存坐标的画面。但真正跑过一遍的人会告诉你这条路的重点根本不在「自瞄」两个字而在于如何用纯视觉方案把屏幕上的敌人从背景里稳定地框出来再换算成鼠标该移动多少像素。YOLOv5 在这里承担的角色是目标检测器输入一帧游戏画面输出若干个边界框和类别置信度剩下的瞄准逻辑、平滑移动、触发判定都是检测之后的事。这个方向适合两类人一类是想学 YOLOv5 完整落地流程的工程师从 conda 环境配置、数据集标注、超参数调到模型部署全链路走一遍另一类是对 FPS 游戏画面理解感兴趣的人想搞清楚目标检测在低延迟、高动态场景下到底能跑到什么程度。需要提前说清楚的是本文只讨论离线截图推理和本地模型训练的技术路径不涉及任何游戏内注入、内存读写或绕过反作弊的手段。你完全可以在自定义房间、录像回放或者训练场上验证整套流程把它当成一个「实时目标检测 坐标映射」的工程练习。为什么偏偏是 YOLOv5而不是 YOLOv8 或者 RT-DETR原因很实际YOLOv5 的源码结构清晰models/、utils/、data/分工明确改起来不费劲社区里针对 FPS 游戏画面的迁移学习案例多预训练权重下载方便ONNX 导出和 TensorRT 加速的文档也最全。对于「屏幕截图 → 检测 → 输出坐标」这种固定分辨率的任务YOLOv5s 或 YOLOv5n 在消费级显卡上跑到 100 FPS 以上并不难。换句话说它不一定是最新的但它是最容易复现和调试的。2. 把 CSGO 画面变成训练集截图、标注与 YOLO 格式转换2.1 采集什么样的画面决定了模型的上限训练集的质量直接决定检测器在实战场景里的表现。CSGO 的画面有几个特点敌人可能只露出半个头、颜色和背景接近、远距离目标只有十几个像素、烟雾弹和闪光弹会造成大面积遮挡。如果你只采集站立不动、正面朝向的敌人截图模型一到实战就会疯狂漏检。我一般会按下面几个维度来采集距离近距离占屏幕 1/3 以上、中距离、远距离目标高度小于 30 像素各占一定比例。姿态站立、下蹲、只露头、侧身、背身。场景不同地图的常见交火点比如 Dust2 的 A 大、Mirage 的中路。干扰烟雾边缘、火焰、队友遮挡、UI 元素血量、弹药、小地图。采集方式可以用 OBS 录屏再抽帧也可以写一个简单的 Python 脚本定时截图。注意截图分辨率要和推理时保持一致否则后面坐标映射会出问题。import cv2 import os import time # 截图保存目录 save_dir csgo_frames os.makedirs(save_dir, exist_okTrue) # 假设屏幕分辨率 1920x1080截取游戏画面区域 # 这里用 mss 库做屏幕捕获比 PIL 快很多 import mss import numpy as np with mss.mss() as sct: monitor {top: 0, left: 0, width: 1920, height: 1080} count 0 while count 500: # 采集 500 帧 img np.array(sct.grab(monitor)) img cv2.cvtColor(img, cv2.COLOR_BGRA2BGR) cv2.imwrite(f{save_dir}/frame_{count:04d}.jpg, img) count 1 time.sleep(0.5) # 每 0.5 秒一帧避免大量重复这段代码用mss做屏幕捕获比 PIL 的ImageGrab快不少适合连续采集。monitor参数指定截取区域如果你用窗口化模式可以改成游戏窗口的坐标。time.sleep(0.5)是为了避免采集到大量几乎相同的帧实际采集时可以边打边录事后抽帧。2.2 用 LabelImg 标注并转成 YOLO 格式标注工具用 LabelImg 就够了类别只设一个enemy。标注时有个血泪经验只框可见部分不要脑补被遮挡的身体。比如敌人只露出头就只框头部区域不要把整个身体框进去。否则模型会学到「看到头就预测一个大框」推理时框会飘。标注完成后得到的是 PASCAL VOC 格式的 XML 文件需要转成 YOLO 的 txt 格式。转换脚本如下import xml.etree.ElementTree as ET import os # 类别映射只有一个类别 classes [enemy] def convert_annotation(xml_path, output_dir, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() # 获取图片文件名替换后缀为 .txt filename root.find(filename).text txt_name os.path.splitext(filename)[0] .txt txt_path os.path.join(output_dir, txt_name) with open(txt_path, w) as f: for obj in root.iter(object): cls_name obj.find(name).text if cls_name not in classes: continue cls_id classes.index(cls_name) bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # YOLO 格式中心点 x,y 和宽高全部归一化到 0-1 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h f.write(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}\n) # 批量转换 xml_dir annotations output_dir labels os.makedirs(output_dir, exist_okTrue) for xml_file in os.listdir(xml_dir): if xml_file.endswith(.xml): convert_annotation(os.path.join(xml_dir, xml_file), output_dir, 1920, 1080)转换逻辑的核心是归一化YOLO 不直接使用像素坐标而是用相对于图片宽高的比例。x_center和y_center是框中心点除以图片宽高w和h是框的宽高除以图片宽高。这样模型输出与输入分辨率解耦推理时再乘回实际尺寸即可。注意img_w和img_h必须和标注时的图片尺寸一致否则框会错位。2.3 数据集目录结构与 data.yaml 配置YOLOv5 要求特定的目录结构常见做法是dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yamldata.yaml内容如下path: ./dataset train: images/train val: images/val nc: 1 names: [enemy]nc是类别数这里只有enemy一类。names的顺序必须和转换脚本里的classes列表一致否则类别 ID 会对不上。训练集和验证集的比例一般 8:2 或 9:1验证集要包含不同距离和场景的样本否则评估指标会虚高。3. 用 conda 配环境、改超参数、跑通 YOLOv5 训练3.1 conda 环境配置与依赖安装YOLOv5 对环境要求不算苛刻但版本对不上会出各种玄学问题。我一般用 Python 3.8 或 3.9PyTorch 选 1.12 以上CUDA 版本根据显卡驱动来。# 创建 conda 环境 conda create -n yolov5_csgo python3.9 -y conda activate yolov5_csgo # 安装 PyTorch以 CUDA 11.3 为例 pip install torch1.12.1cu113 torchvision0.13.1cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 克隆 YOLOv5 源码 git clone https://github.com/ultralytics/yolov5.git cd yolov5 # 安装依赖 pip install -r requirements.txt安装完成后用python -c import torch; print(torch.cuda.is_available())验证 GPU 是否可用。如果返回False检查 CUDA 版本和 PyTorch 版本是否匹配。常见坑是驱动太旧需要先更新显卡驱动。3.2 针对小目标调整超参数YOLOv5 默认的超参数是针对 COCO 数据集的直接拿来训练 CSGO 画面效果一般。需要改几个关键参数参数默认值建议值原因img-size640640 或 960远距离敌人像素少增大输入尺寸能提升小目标召回batch-size16根据显存调显存 8G 用 812G 用 16epochs300100-200单类别任务收敛快太多容易过拟合anchor默认重新聚类CSGO 目标宽高比和 COCO 差异大conf-thres0.250.4-0.5降低误检游戏画面背景干扰多Anchor 重新聚类可以用 YOLOv5 自带的脚本python utils/autoanchor.py --data dataset/data.yaml --img-size 640 --thr 4.0这个脚本会读取你的标注框用 k-means 重新计算适合你数据集的 anchor 尺寸。CSGO 里敌人框大多是竖长条形默认 anchor 偏宽重新聚类后检测框会更贴合。训练命令python train.py \ --data dataset/data.yaml \ --weights yolov5s.pt \ --img 640 \ --batch 8 \ --epochs 150 \ --hyp data/hyps/hyp.scratch-low.yaml \ --name csgo_enemy--weights yolov5s.pt表示从预训练权重开始迁移学习比从头训练快很多。--hyp选hyp.scratch-low.yaml是因为它用了较低的学习率和数据增强强度适合小数据集微调。训练过程中关注mAP0.5和mAP0.5:0.95两个指标如果验证集 mAP 远低于训练集说明过拟合了需要增加数据或降低模型复杂度。3.3 训练过程中的显存与数据加载排查训练时最常见的两个问题显存溢出和 DataLoader 报错。显存溢出表现为CUDA out of memory解决办法是降低batch-size或img-size也可以开启梯度累积--accumulate 2来模拟大 batch。DataLoader 报错通常是图片路径不对或者标注文件缺失检查dataset/images/train和dataset/labels/train里的文件名是否一一对应YOLOv5 要求图片和标注同名不同后缀。如果训练 loss 一直不下降先检查标注格式是否正确。用python utils/plots.py可以可视化标注框确认框的位置和大小没问题。另一个常见原因是学习率太大可以换成hyp.scratch-low.yaml或者手动把lr0调到 0.001。4. 推理、后处理与坐标映射从检测框到准星偏移量4.1 ONNX 导出与推理加速训练完成后PyTorch 模型推理速度往往不够需要导出成 ONNX 或 TensorRT。ONNX 导出命令python export.py --weights runs/train/csgo_enemy/weights/best.pt --include onnx --img 640 --batch 1导出后得到一个.onnx文件可以用onnxruntime推理import onnxruntime as ort import numpy as np import cv2 # 加载 ONNX 模型 session ort.InferenceSession(best.onnx, providers[CUDAExecutionProvider]) def preprocess(img, img_size640): # 保持宽高比缩放 h, w img.shape[:2] scale img_size / max(h, w) new_h, new_w int(h * scale), int(w * scale) resized cv2.resize(img, (new_w, new_h)) # 填充到正方形 canvas np.full((img_size, img_size, 3), 114, dtypenp.uint8) canvas[:new_h, :new_w] resized # 归一化并转成 NCHW blob canvas.astype(np.float32) / 255.0 blob blob.transpose(2, 0, 1)[np.newaxis, ...] return blob, scale, new_w, new_h def postprocess(output, scale, new_w, new_h, conf_thres0.5, iou_thres0.45): # output shape: [1, 25200, 6]前 4 个是 xywh第 5 个是 obj conf第 6 个是类别 conf preds output[0] boxes [] for pred in preds: obj_conf pred[4] cls_conf pred[5] score obj_conf * cls_conf if score conf_thres: continue x, y, w, h pred[:4] # 转换回原图坐标 x1 (x - w / 2) / scale y1 (y - h / 2) / scale x2 (x w / 2) / scale y2 (y h / 2) / scale boxes.append([x1, y1, x2, y2, score]) # NMS 去重 if len(boxes) 0: return [] boxes np.array(boxes) indices cv2.dnn.NMSBoxes( boxes[:, :4].tolist(), boxes[:, 4].tolist(), conf_thres, iou_thres ) return boxes[indices.flatten()] if len(indices) 0 else []预处理里的scale和填充是为了保持宽高比避免目标变形。后处理先按置信度过滤再做 NMS 去掉重叠框。注意 ONNX 输出的坐标是相对于 640x640 输入图的需要除以scale还原到原始分辨率。4.2 准星偏移量计算与平滑移动检测框出来后计算框中心点与屏幕准星通常是屏幕中心的偏移量def compute_offset(box, screen_w1920, screen_h1080): x1, y1, x2, y2, score box target_x (x1 x2) / 2 target_y (y1 y2) / 2 # 准星在屏幕中心 crosshair_x screen_w / 2 crosshair_y screen_h / 2 dx target_x - crosshair_x dy target_y - crosshair_y return dx, dy, score直接按dx, dy移动鼠标会非常生硬而且容易过冲。常见做法是加一个平滑系数import math def smooth_move(dx, dy, smooth0.3, max_step50): # 限制单次最大移动量 distance math.sqrt(dx**2 dy**2) if distance max_step: dx dx / distance * max_step dy dy / distance * max_step # 平滑系数越小越平滑 move_x dx * smooth move_y dy * smooth return move_x, move_ysmooth越小移动越慢越平滑但响应也越迟钝。max_step防止单次移动过大导致画面剧烈跳动。实际调参时可以先设smooth0.2、max_step30再根据手感微调。4.3 多目标选择策略画面里同时出现多个敌人时需要选一个作为瞄准目标。常见策略有三种距离准星最近计算每个框中心到屏幕中心的距离选最小的。适合近距离遭遇战。置信度最高选score最大的框。适合目标清晰但距离较远的情况。综合评分score / distance作为评分兼顾置信度和距离。def select_target(boxes, screen_w1920, screen_h1080): if not boxes: return None best_box None best_score -1 for box in boxes: x1, y1, x2, y2, score box cx (x1 x2) / 2 cy (y1 y2) / 2 dist math.sqrt((cx - screen_w/2)**2 (cy - screen_h/2)**2) # 综合评分距离越近、置信度越高评分越高 combined score / (dist 1) if combined best_score: best_score combined best_box box return best_boxdist 1是为了避免除零。这个评分函数可以根据实际场景调整权重比如更看重距离就改成score / (dist**2 1)。5. 避坑与排查那些让检测框乱飘的细节5.1 检测框抖动严重准星跟着抖现象连续帧里同一个敌人的框位置跳变导致准星来回晃。原因模型对同一目标在不同帧的预测有方差尤其是目标边缘模糊或部分遮挡时。另外截图分辨率与训练分辨率不一致也会导致框偏移。解决加一个简单的卡尔曼滤波或滑动平均。最简单的是对最近 3 帧的框做加权平均from collections import deque class BoxSmoother: def __init__(self, maxlen3): self.history deque(maxlenmaxlen) def update(self, box): self.history.append(box) if len(self.history) 2: return box # 加权平均越新的帧权重越高 weights list(range(1, len(self.history) 1)) total_w sum(weights) smoothed [0] * 5 for i, b in enumerate(self.history): for j in range(5): smoothed[j] b[j] * weights[i] / total_w return smoothed5.2 远距离敌人漏检近处正常现象近距离检测没问题远距离敌人完全框不出来。原因远距离目标在 640x640 输入下只有几个像素YOLOv5 的下采样倍率导致小目标特征丢失。另外训练集里远距离样本太少模型没学到。解决把推理分辨率提高到 960 或 1280同时训练时也用同样分辨率。如果显存不够可以用--img 960训练推理时保持 960。另一个办法是在数据增强里加mosaic和copy-paste人为增加小目标样本。5.3 烟雾弹和火焰导致误检现象烟雾边缘、火焰粒子被误判为敌人。原因训练集里这类负样本太少模型把类似颜色和纹理的区域当成了目标。解决采集一批纯烟雾、纯火焰、纯背景的截图作为负样本加入训练集。YOLOv5 支持空标注文件即图片对应的 txt 文件为空表示这张图没有目标。负样本比例控制在总数据的 10%-20% 左右。5.4 ONNX 推理结果和 PyTorch 不一致现象PyTorch 模型检测正常导出 ONNX 后框位置偏移或置信度异常。原因导出时的img-size和推理时的输入尺寸不一致或者预处理里的归一化方式不同。YOLOv5 导出 ONNX 时默认把预处理也包含进去了如果你在 Python 里又做了一遍归一化就会重复。解决检查export.py里的--img参数和推理时的img_size是否一致。用onnxruntime推理时输入应该是 0-255 的 uint8 还是 0-1 的 float取决于导出时的设置。可以先用一张测试图分别跑 PyTorch 和 ONNX对比输出差异。5.5 训练 loss 正常但 mAP 很低现象训练 loss 一直在降但验证集 mAP 只有 0.1 左右。原因最常见的是标注格式错误比如归一化时用了错误的宽高或者类别 ID 从 1 开始而不是 0。另一个原因是验证集和训练集分布差异太大。解决用python utils/plots.py可视化标注框确认框的位置和大小正确。检查data.yaml里的nc和names是否和标注一致。如果标注没问题把验证集换成和训练集同分布的样本再试。6. 把推理延迟压到 10ms 以内TensorRT 加速与半精度推理ONNX 推理在 640x640 输入下YOLOv5s 在 RTX 3060 上大概 15-20ms 一帧加上截图和后处理整体延迟在 30ms 左右。如果想压到 10ms 以内TensorRT 是绕不开的。导出 TensorRT 引擎python export.py --weights best.pt --include engine --img 640 --batch 1 --half--half表示 FP16 半精度速度能提升 30%-50%精度损失很小。导出后得到一个.engine文件用 TensorRT 的 Python API 推理import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit import numpy as np # 加载 TensorRT 引擎 logger trt.Logger(trt.Logger.WARNING) with open(best.engine, rb) as f, trt.Runtime(logger) as runtime: engine runtime.deserialize_cuda_engine(f.read()) context engine.create_execution_context() # 分配输入输出显存 input_shape (1, 3, 640, 640) output_shape (1, 25200, 6) d_input cuda.mem_alloc(np.prod(input_shape) * 4) d_output cuda.mem_alloc(np.prod(output_shape) * 4) def infer(blob): # blob 是预处理后的 NCHW float32 数组 cuda.memcpy_htod(d_input, blob.astype(np.float32)) context.execute_v2([int(d_input), int(d_output)]) output np.empty(output_shape, dtypenp.float32) cuda.memcpy_dtoh(output, d_output) return outputTensorRT 的推理流程是把输入拷贝到显存执行引擎再把输出拷回内存。execute_v2是同步执行实际部署时可以用 CUDA stream 做异步进一步降低延迟。注意 TensorRT 引擎和显卡型号绑定换显卡需要重新导出。半精度推理有个坑如果训练时用的是 FP32导出 FP16 引擎后置信度可能会略微下降尤其是小目标的置信度。解决办法是在导出时加--dynamic做动态 batch或者用--simplify简化 ONNX 图后再导出。如果发现漏检变多可以适当降低conf_thres比如从 0.5 降到 0.35。另一个提速点是截图环节。用mss截图 1920x1080 大概 5-8ms如果只截取屏幕中心区域比如 800x800能降到 2-3ms。推理时也只处理这个区域坐标映射时加上偏移量即可。这样整体延迟可以压到 10ms 以内达到 100 FPS 的检测速度。最后说一个我自己的习惯每次改完预处理或后处理代码先用一张固定截图跑一遍把检测框画出来保存成图片肉眼确认框的位置对不对。这个习惯帮我省了很多「明明代码没问题但结果就是不对」的排查时间。希望帮到你。本文还有配套的精品资源点击获取
