在城市道路监控与园区安全管理场景中电动自行车危险驾驶行为检测并不是一个标准的目标检测任务而是一个需要把检测结果转换成业务规则、再触发预警的复合系统。很多人拿到 YOLOv11 后直接跑通了训练却发现模型输出只是一堆坐标和类别距离“发现未戴头盔并提醒后台值班人员”还差得很远。本文围绕基于 YOLOv11 的电动自行车危险驾驶行为及预警系统从数据标注、模型训练、行为规则判断到预警联动给出一条可以复现的实现路径适合正在做智能安防、校园巡检、园区管理或者在 YOLOv11 上做行为预警应用的开发者参考。1. 先想清楚检测什么再决定怎么用 YOLOv111.1 危险驾驶行为的可计算定义电动自行车在路上行驶时常见危险行为包括未佩戴头盔、骑行中使用手机、违规载人、逆行、闯红灯等。其中一类可以通过单帧图像直接判断比如“是否佩戴头盔”另一类需要结合多帧轨迹或车道语义才能稳定判断比如“逆行”和“闯红灯”依赖道路方向、路口停止线和信号灯状态。在 YOLOv11 项目中最容易快速落地的是单帧可判断行为也就是骑行人员是否佩戴头盔骑行人员是否在使用手机骑行人员是否违规载人。这几类行为都可以转换成“存在性”和“位置关系”两个问题。目标检测模型负责输出电动自行车、骑行人员、头盔、手机等目标的边界框和置信度后面的预警模块再根据边界框之间的重叠程度、包含关系来推断危险行为。这样做的优点是模块边界清晰模型不直接背“危险行为”这个语义而是输出基础目标规则层负责业务判断。1.2 整体业务流程和模块划分整个系统可以拆成五个模块模块职责输入输出视频接入模块读取摄像头、视频文件或 RTSP 流视频帧帧图像目标检测模块检测电动车、骑行人员、头盔、手机图像帧带类别和坐标的检测结果行为规则模块根据检测结果组合判断危险行为多帧检测结果行为事件预警模块弹出告警、保存截图、写入日志行为事件预警记录管理展示模块查看实时画面和历史告警数据库和图片页面或日志在工程实现上检测模块是性能瓶颈建议与规则模块解耦。检测模块每帧运行 YOLOv11 推理输出boxes、classes、confidences规则模块不直接访问模型只消费检测结果。这样后续替换更轻量的模型或增加新的规则时不需要改动推理代码。2. 环境准备从 PyTorch 到 Ultralytics 的安装链路2.1 推荐环境与版本组合YOLOv11 的实际使用依赖ultralytics包和 PyTorch 环境。常见的软件环境组合如下组件推荐值说明操作系统Ubuntu 20.04 / 22.04Windows 10/11训练建议 Linux推理可跨平台Python3.9 到 3.11过高或过低容易遇到依赖不兼容PyTorch2.0 以上需与 CUDA 版本匹配CUDA11.8 或 12.1以 PyTorch 官方安装命令为准GPU 显存训练建议 8G 以上小模型可降低ultralytics最新稳定版安装时会自动补齐依赖如果原始项目没有锁定版本先在requirements.txt中固定ultralytics版本再固定 PyTorch 版本不要直接pip install ultralytics后就在生产环境使用。2.2 创建虚拟环境并安装依赖推荐使用conda或venv创建独立环境避免和系统 Python 包冲突。conda create -n yolo11 python3.10 -y conda activate yolo11 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install ultralytics安装完成后在最简单的数据集上验证环境是否正常from ultralytics import YOLO model YOLO(yolo11n.pt) results model.predict(https://ultralytics.com/images/bus.jpg, saveTrue) print(results[0].boxes)代码中的yolo11n.pt是预训练权重首次使用时自动下载。能够打印出boxes对象说明 PyTorch、ultralytics 和模型加载链路都正常。注意不要把pip install torch和后面通过--index-url安装的版本混用。直接pip install torch默认安装 CPU 版本或 CUDA 版本取决于平台经常导致torch.cuda.is_available()返回False。2.3 Jetson 设备上的环境差异在 Jetson 设备上配置 YOLOv11 环境时不能照搬 PC 上的pip install。Jetson 使用 ARM 架构PyTorch 官方 wheel 不能直接安装。通常做法是先安装 NVIDIA 为 Jetson 提供的 PyTorch 预编译包再安装ultralytics的纯 Python 依赖。如果项目目标是在边缘设备上做实时预警需要提前确认算力。Jetson 设备适合运行yolo11n或yolo11s笔记本或服务器适合训练。开发环境负责训练和评估部署环境负责推理和预警这是两类独立环境配置方式不同。3. 数据准备与标注模型能不能判断正确一半取决于此3.1 数据集目录结构和标注格式YOLOv11 训练时采用常见的 YOLO 格式数据集。目录结构如下dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── data.yaml每张图片对应一个同名.txt标签文件文件中的每一行表示一个目标class_id x_center y_center width height其中x_center、y_center、width、height都是相对图片宽高的归一化值范围在 0 到 1 之间。例如图片宽度是 1920目标中心点横坐标是 960则x_center为 0.5。标注工具可以选择labelImg或Label Studio导出为 YOLO 格式后直接使用。如果已经有其他格式的数据可以通过脚本转换成 YOLO 格式。3.2 最小数据配置 data.yaml训练前需要准备一份data.yamlpath: ./dataset train: images/train val: images/val test: images/test names: 0: cyclist 1: electric_bike 2: helmet 3: phone这个文件里的类别顺序一旦确定训练和推理时必须保持一致。模型输出的是类别索引如果后续调整类名顺序之前的权重就不能直接使用。3.3 负样本、均衡和裁剪建议电动自行车场景的难点不是数据量不够而是正负样本失衡和尺度差异大。头盔和手机都是小目标当摄像头安装在路口杆件或监控塔上时一辆电动车在画面里只占很小面积头盔和手机可能只有十几像素。处理这一问题的常用方法多角度采集白天、夜间、逆光、雨雾天气的数据避免模型只适应特定光照每张图不超过 15 个标注目标标注过多会导致模型收敛不稳定保留一部分完全不包含电动车的负样本降低误报率对原始大图做切片 tile把小目标放大后再标注和训练。标注时尤其注意头盔遮挡。骑行者戴了帽子但没戴头盔不能标成头盔半盔和全盔都要尽可能覆盖手机出现在手中而不是放在车篮里这会影响规则判断的准确度。4. 模型训练与结果评估4.1 模型选型n/s/m/l/x 如何选YOLOv11 提供多个不同大小的模型版本命名规则通常是yolo11n、yolo11s、yolo11m、yolo11l、yolo11x。规模越大精度通常越高但推理速度和显存占用也会增加。模型版本适合场景训练显存建议实时推理能力yolo11n边缘设备、Jetson、嵌入式低高yolo11s中等算力设备、实时监控中较高yolo11m精度优先算力充足中高中yolo11l高精度离线分析高中低yolo11x追求极致精度离线训练很高低对于电动自行车检测系统训练阶段可以从yolo11s开始部署阶段再蒸馏或换用yolo11n。不要在训练初期就使用yolo11x否则调参成本会很高。4.2 训练命令与参数说明在项目目录下执行yolo detect train \ modelyolo11s.pt \ datadata.yaml \ epochs100 \ imgsz640 \ batch16 \ device0也可以用 Python 脚本方式训练from ultralytics import YOLO model YOLO(yolo11s.pt) model.train( datadata.yaml, epochs100, imgsz640, batch16, device0, workers8, patience15, projectruns/detect, nameebike_helmet, )关键参数含义建议用表格确认参数含义影响imgsz训练输入尺寸越大保留细节越强显存占用越高batch每批图片数过大容易显存溢出过小收敛慢workers数据加载线程数过大会增加 CPU 负载patience早停轮数连续多少轮指标不提升就提前结束optimizer优化器默认 SGD 或 AdamW 均可一般不轻易改pretrained是否加载预训练权重能显著提升收敛速度4.3 判断训练是否正常的关键指标训练结束后重点看runs/detect/ebike_helmet/目录下的文件results.pngloss 和 mAP 曲线confusion_matrix.png类别混淆情况val_batch*.jpg验证集预测可视化weights/best.pt验证集上最优权重weights/last.pt最后一轮权重。判断训练正常的标准不是“loss 降到 0”而是训练集 loss 和验证集 loss 都保持下降或平稳mAP50 稳定在目标范围内不再大幅震荡验证集上的头盔和手机两个类别没有被其他类别吞并错误样本集中在遮挡严重、目标过小的图片上而不是系统性漏检。如果 mAP50 很高但实际图片中仍然大量漏检优先检查数据集是否和真实使用场景一致而不是反复堆训练轮数。5. 用检测结果构建危险驾驶行为规则5.1 从单帧结果到行为事件的映射训练完成后模型输出结构大致如下results model(frame) boxes results[0].boxes # xyxy, conf, cls每一行表示一个目标包含左上角和右下角坐标、置信度、类别索引。危险行为判断需要在这个基础上封装一层规则函数。5.2 未戴头盔判断坐标包含关系未戴头盔的判断逻辑如果骑行者被检测到但骑行者头部区域附近没有头盔目标就判定为未戴头盔。实现思路是先找出置信度大于阈值的目标再判断头盔框是否与骑行人员框有足够大的 IoU。如果检测类别是cyclist、helmet并且头盔框中心点落在这个骑行人员框的上 1/3 区域可以认为该骑行者戴了头盔def is_iou_above(box_a, box_b, threshold0.3): x1 max(box_a[0], box_b[0]) y1 max(box_a[1], box_b[1]) x2 min(box_a[2], box_b[2]) y2 min(box_a[3], box_b[3]) inter max(0, x2 - x1) * max(0, y2 - y1) area_a (box_a[2] - box_a[0]) * (box_a[3] - box_a[1]) area_b (box_b[2] - box_b[0]) * (box_b[3] - box_b[1]) union area_a area_b - inter return inter / union if union 0 else 0这里的关键点是不要只看头盔类别的置信度还要看头盔和骑行者是否存在位置关联。否则画面里另一辆车上的人戴了头盔也会被误判为当前骑行者戴了头盔。5.3 使用手机判断位置关系与连续帧去抖使用手机检测的难点是手机目标小、遮挡多。单帧判断很容易出现闪烁。工程上建议采用“连续帧确认”方式连续 N 帧中如果有 M 帧检测到手机框和骑行人员框重叠才触发预警。示例判断逻辑如下class BehaviorTracker: def __init__(self, frames_to_confirm3): self.frames_to_confirm frames_to_confirm self.hit_frames 0 def update(self, is_phone_confirmed): if is_phone_confirmed: self.hit_frames 1 else: self.hit_frames max(0, self.hit_frames - 1) return self.hit_frames self.frames_to_confirm去抖参数不能设得过大。frames_to_confirm3对于 25 FPS 的视频流相当于约 0.12 秒延迟已经足够。连续帧置零的实现使用了下降逻辑即使短暂漏检也不会立刻取消预警。6. 接入预警链路日志、回调与可视化6.1 推流视频实时检测前期验证先用图片和视频文件上线场景再接入 RTSP 流。Ultralytics 的predict方法本身支持视频和流地址model.predict(sourcertsp://user:passwordip:port/stream, saveTrue, conf0.35)但在实际预警系统中不建议这样直接长期运行因为预测循环和预警逻辑应放一起控制。推荐使用model.predict(..., streamTrue)返回生成器一帧帧处理from ultralytics import YOLO model YOLO(weights/best.pt) results model.predict( source0, streamTrue, conf0.35, imgsz640, verboseFalse, ) for frame_id, result in enumerate(results): boxes result.boxes if boxes is None: continue # 在这里调用行为规则模块 event analyze_result(boxes) if event[alert]: save_alert_frame(result, frame_id)这里的source0表示读取本机摄像头1、2可以切换其他摄像头。生产环境建议把 URL、置信度阈值、预警等级都放到配置文件中。6.2 预警等级和事件持久化不同危险行为的危害程度不同预警策略也应区分。行为建议预警等级处理方式未佩戴头盔中截屏记录定时汇总骑行中使用手机高实时推送声音提示违规载人中截屏记录按时间统计同人同时触发多条行为最高同时记录所有事件并推送事件持久化最简单的方案是写 JSON 日志或 SQLite。单机演示场景可以用 JSON 文件{ event_id: 20250217_153001_001, timestamp: 2025-02-17 15:30:01, camera_id: cam-01, behavior: [no_helmet, using_phone], confidence: 0.72, frame: alerts/20250217_153001_001.jpg }生产环境需要把事件写入消息队列或数据库方便后端展示页面实时刷新。6.3 本地预警并保存推理结果“YOLOv11 预测后保存”是很多人的需求。保存推理结果有两种含义一是保存标注后的图片或视频二是把检测结果保存成结构化数据。保存图片可以在 predict 时设置saveTrue但真实系统通常希望只保存有事件的帧避免磁盘爆满。手动保存的方式如下import cv2 import numpy as np def save_annotated_frame(result, output_path): frame result.orig_img if frame is None: return for box, conf, cls in zip(result.boxes.xyxy, result.boxes.conf, result.boxes.cls): x1, y1, x2, y2 map(int, box.tolist()) class_name model.names[int(cls)] cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), 2) cv2.putText(frame, f{class_name} {float(conf):.2f}, (x1, max(0, y1 - 6)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2) cv2.imwrite(output_path, frame)保存结构化的检测结果可以读取result.boxes.cls转换成列表并拼成表格import pandas as pd rows [] for result in results: if result.boxes is not None: for box, cls, conf in zip(result.boxes.xyxy, result.boxes.cls, result.boxes.conf): rows.append({ frame: result.path, class: model.names[int(cls)], conf: round(float(conf), 4), x1: round(float(box[0]), 2), y1: round(float(box[1]), 2), x2: round(float(box[2]), 2), y2: round(float(box[3]), 2), }) df pd.DataFrame(rows) df.to_csv(detect_result.csv, indexFalse)这样后续做统计报表、按时间段分析危险行为频次都会方便很多。7. 小目标优化远距离手机与头盔很难检测时怎么办7.1 提高输入分辨率与测试尺度小目标漏检是 YOLOv11 在电动自行车场景中最常见的问题。第一优先手段不是改模型结构而是调整输入分辨率。训练时使用imgsz640推理时换成imgsz1280可以明显改善小目标召回但推理时间会上升。建议训练和推理保持一致或者推理分辨率不低于训练分辨率yolo predict modelweights/best.pt sourcetest.mp4 imgsz1280 conf0.35 saveTrue从 640 提升到 1280 后显存和 CPU 解码压力都会增加需要先压测确认单路视频延迟在可接受范围内。7.2 切图和推理时 TTA如果摄像头画面是类似 4000×3000 的高空大图直接把整图缩放到 1280 会丢失大量细节。更好的做法是切图推理将原图切分成 1280×1280 的重叠窗口窗口之间重叠 100 像素每个窗口独立推理将窗口结果映射回原图坐标对重叠区域使用 NMS 合并重复目标。切图虽然增加推理次数但对大分辨率监控画面更有效。Ultralytics 官方在测试时也支持部分增强方式但切图更适合带摄像头编号的固定场景。7.3 从模型结构层面改进的边界更高阶的优化是改动 YOLOv11 的结构例如增加针对小目标的检测头或者在 C2f 模块后加入注意力模块。这类方案需要修改模型配置文件并且要重新定义冻结层、训练策略工程成本较高。对于大多数项目建议按顺序尝试提升训练和推理分辨率增加小目标样本数量并单独标注使用更大的输入预处理裁剪最后再考虑改网络结构。结构改进并不是“加一个模块就一定有效”如果数据分布和训练参数没对齐反而会出现验证集精度下降、训练不稳定等问题。8. 常见问题排查与排错路径8.1 环境配置阶段的报错问题现象常见原因检查方式处理建议torch.cuda.is_available()返回 FalsePyTorch 安装了 CPU 版本执行python -c import torch; print(torch.version.cuda)按 CUDA 对应版本的 index-url 重新安装下载yolo11n.pt超时网络问题看是否卡在 download手动下载权重文件并放到项目目录“缺失 Microsoft Visual C Redistributable”Windows 缺少运行库查看报错提示安装对应运行库并重启终端ultralytics 导入报版本冲突与 numpy/opencv 版本不兼容打印pip list新建环境重新安装避免手动修改包版本8.2 训练阶段显存不足和 loss 异常显存不足CUDA out of memory时按顺序降低 batch、降低 imgsz或使用更小的模型版本。不要一开始就关闭workers先确认显卡基本占用是否被其他进程占满。loss 出现nan时优先检查数据集标签是否有异常例如类别索引超出names长度、标注坐标出现负数或归一化坐标大于 1。使用在线检查脚本扫描所有.txt标签文件把非法样本直接移出数据集。8.3 预测阶段没有任何输出模型跑通但预测结果为空时优先从输入侧排查输入图片是否正常解码result.orig_img是否为 None置信度阈值是否设置过高conf0.8很容易导致小目标全被过滤输入分辨率是否过低导致小目标在降采样后消失数据配置中的names是否与训练时一致。如果训练时用data.yaml中的自定义类别推理时又使用默认 COCO 预训练模型类别索引和名称会全部错位。推理时要确保加载的是weights/best.pt并显式传入数据集配置文件或类别字典。9. 上线前的检查清单与后续优化方向9.1 可复用检查清单系统交付前按照以下清单逐项确认[ ] 数据集中是否覆盖白天、夜间、逆光、雨雾等真实场景[ ] 测试集图片与训练集不存在同摄像头同路段重复[ ] 头盔、手机小目标专用样本占比是否足够[ ] 训练主链路是否统一使用数据集配置文件[ ] 推理时模型权重是否指向best.pt[ ] 行为规则阈值是否区分白天和夜间[ ] 预警事件是否包含时间、摄像头编号、置信度、截图路径[ ] 是否限制了视频帧缓存避免长时间运行内存持续增长[ ] 是否配置了视频断流重连[ ] 生产环境日志是否按天滚动不写入代码目录。9.2 后续优化方向行为预警系统做完基本流程后可以继续扩展以下方向将当前的单帧检测规则升级为跟踪规则使用 ByteTrack 或 DeepSORT 跟踪骑行者 ID统计同一骑行者持续危险行为时长加入 YOLOv11 的姿态估计能力判断低头看手机、车身倾斜等更细粒度行为接入视频摘要和定时统计报表按摄像头、时间维度输出危险行为热力图在 Jetson TensorRT 上做 FP16 或 INT8 量化推理提升实时路数。从工程角度来看YOLOv11 只是这套系统的一半。另一半是清楚定义行为语义、设计稳定的规则链路、搭建可追溯的预警记录。先把检测结果标准化再把规则层做成独立模块后续无论是换模型还是加摄像头改动范围都可以控制在最小范围内。对新手来说最好的练习方式不是直接追求最高精度而是先把“训练一个模型、保存检测结果、触发一次预警”的完整闭环跑通再逐步加复杂规则。