简介面向无人机与强化学习方向的开发者本资源提供基于DQN的三维无人机避障航迹规划完整工程实现。内容涵盖DQN核心原理讲解、三维环境建模方法以及无人机在静态/动态障碍物场景下的路径规划与训练流程可作为毕业设计、科研实验或自主导航系统入门参考。资源压缩包共15个文件以Python代码文件为主包含模型结构、训练脚本、无人机与环境模拟模块同时提供训练好的模型权重、效果演示动图、结果图片及说明文档便于快速复现与二次开发。包体大小约2.01MB轻量易部署。已有785人学习下载。通过学习该工程可掌握DQN算法在连续三维空间中的落地细节包括经验回放、目标网络设置、奖励函数设计等关键环节适合希望结合深度强化学习与无人机避障实践的研究者快速上手。1. 问题定义与方案选型为什么是DQN做无人机航迹规划传统的思路无非是A*、RRT、人工势场法这几板斧。A*在栅格地图上确实好用但前提是你得提前知道障碍物的完整分布RRT靠随机采样能快速找到一条可行路径可规划出来的轨迹经常抖得跟心电图一样还得花大力气做平滑处理人工势场法实现起来最简单但局部极小值问题能把无人机困死在一个根本没必要的绕行点前。这些方法有个共同的痛点——它们本质上都是基于全局已知信息的静态规划。无人机一旦飞起来传感器探测到地图上没标注的障碍物或者遇到动态移动的障碍物这些算法需要重新规划计算代价高且响应滞后。我选DQNDeep Q-Network做三维无人机避障航迹规划核心考量就一条把路径规划从一次性的离线计算变成实时的序贯决策。DQN是深度强化学习里最经典的算法之一它把深度学习感知能力与Q-learning的决策能力结合在一起让无人机在飞行过程中根据当前传感器观测到的局部环境逐步决定下一个动作走一步看一步而不是一开始就规划出一条全局路径。再说直白一点DQN解决的问题本质是在三维空间里无人机智能体如何通过与环境不断交互试错学会一套从当前观测状态到最优飞行动作的映射策略。这套策略学成之后无人机面对没见过的障碍物场景时也能做到实时绕障而且计算量不大机载嵌入式硬件也能跑得动。为什么不是DDPG或者PPO这两年在无人机领域也有不少应用成果。我的理由是DDPG和PPO偏连续控制适合处理无人机姿态控制这类问题但航迹规划在决策层面可以合理离散化——前后左右上下加减速动作空间本身就支持离散化表达。DQN在离散动作空间里收敛稳定、调参经验成熟对起步研究和工程落地都比较友好我最终选定DQN方案。当然DQN在三维场景下有个天然的挑战——状态空间维度爆炸。二维地图一个状态可能是(x, y, heading, 周边8个方向传感器读数)三维环境至少得变成立方体栅格状态维度翻了好几倍Q表根本存不下。这时候深度网络作为函数逼近器的价值就体现出来了用神经网络去拟合Q值函数而不是用表存储这是DQN相对传统Q-learning的核心突破也是它能在三维环境里落地的原因。2. 三维环境建模与状态空间设计DQN能不能训练出来我个人经验是环境建模和状态设计占了七成功劳算法只占三成。很多跑不出效果的项目问题往往不出在DQN本身而是状态空间定义得让智能体根本学不到有效信息。2.1 三维空间离散化与障碍物表征训练DQN第一步是解决三维环境长什么样的问题。我采用栅格化体素化方案把连续的三维空间划分成若干个大小相同的立方体体素每个体素有空闲和被占据两种状态。栅格分辨率直接影响训练难度——栅格太粗规划的路径精确度低可能从障碍物旁边擦着过去栅格太细状态空间爆炸训练效率断崖式下跌。我常用参数对于模拟5km × 5km × 500m的空域体素大小取10m × 10m × 10m这样整个环境划分成500 × 500 × 50个栅格单元数量级在千万级别。这个体量对于神经网络来说完全处理得过来但如果是Q表直接不可能的。不同分辨率参数对比可以看下体素尺寸(m)栅格总数路径精度训练收敛难度适用场景50200×200×20低粗糙低易收敛大范围粗规划20250×250×25中中常规避障任务10500×500×50高高需调参精细航迹规划51000×1000×100很高极高难收敛不建议用于DQN提示环境建模时建议把无人机看成一个质点但需要对无人机实际尺寸做膨胀处理。也就是说障碍物栅格在建模时向外膨胀半个机身半径预留安全裕度避免规划出来的路径在实际飞行时发生碰撞。这个膨胀系数直接决定安全性能。2.2 状态空间观测向量怎么设计状态空间的设计目标是让无人机只凭当前观测值就能做出合理决策。但三维场景下全地图信息显然是无法作为输入的一是维度太高二是无人机实际飞行时根本不知道全局障碍物分布。我的做法分为两部分自身状态 局部感知信息。自身状态包括当前位置坐标(x, y, z)、当前航向角(yaw)、俯仰角(pitch)、速度大小。局部感知信息我用三个维度的探测射线表示——向无人机前方、上方、下方、左方、右方分别发射若干条虚拟探测线检测与最近障碍物的距离。类似于真实无人机上超声波雷达加激光雷达的组合感知效果在仿真环境里用射线检测模拟。这样设计的好处是状态向量的维度是固定的且是低维的——实测下来大概20个维度左右。可以在仿真环境里自由调整障碍物位置和形状而观测向量的长度不变DQN网络的输入层结构也就不用变模型的泛化能力会比直接输入全局地图强很多。具体状态向量示例如下# 状态向量维度定义示例 # 前10维无人机自身状态 state torch.zeros(20) # 位置信息归一化到0-1 state[0] (x - MAP_MIN_X) / (MAP_MAX_X - MAP_MIN_X) state[1] (y - MAP_MIN_Y) / (MAP_MAX_Y - MAP_MIN_Y) state[2] (z - MAP_MIN_Z) / (MAP_MAX_Z - MAP_MIN_Z) # 姿态信息 state[3] yaw_angle / (2 * np.pi) # 航向角归一化 state[4] pitch_angle / np.pi # 俯仰角归一化 # 速度信息 state[5] vx / V_MAX state[6] vy / V_MAX state[7] vz / V_MAX # 8-9维目标相对位置局部坐标系 state[8] target_delta_x / MAX_DIST state[9] target_delta_y / MAX_DIST # 后10维5个方向的探测距离前方×3层左右上下 # 按三个海拔高度层当前高度、上方10m、下方10m各发一组前方探测 state[10] front_dist[0] / SENSOR_RANGE # 当前层前方障碍距离 state[11] front_dist[1] / SENSOR_RANGE # 上层前方障碍距离 state[12] front_dist[2] / SENSOR_RANGE # 下层前方障碍距离 state[13] left_dist / SENSOR_RANGE # 左侧障碍距离 state[14] right_dist / SENSOR_RANGE # 右侧障碍距离 state[15] up_dist / SENSOR_RANGE # 上方障碍距离 state[16] down_dist / SENSOR_RANGE # 下方障碍距离2.3 距离归一化到底有多重要训练前我把所有状态值做了归一化处理直接量化到0-1区间。这一步看着不起眼但对训练效果的影响非常大。DQN的Q网络一般用ReLU做激活函数。如果不归一化原始坐标值可能从0到5000传感器距离可能从0到200不同量级的输入会让网络权重更新出现严重的尺度不平衡训练过程极不稳定Loss值像过山车一样震荡。归一化的好处就是网络输入层各个维度的数值范围一致权重初始化能更合理梯度传播更稳定。我在项目里踩过一个坑有一版代码忘记归一化位置坐标结果训了20000步Q值还在一路飙升不收敛检查半天才发现是这个原因。3. 动作空间与奖励函数设计3.1 动作空间离散化如何不降低路径质量DQN要求动作空间是离散的但三维飞行本来是连续控制问题。我看了很多相关方向的论文和开源项目动作空间的离散化方案大多是两种一种是速度级离散比如加速、减速、匀速保持一种是方向级离散比如前、后、左、右、上、下六个基本方向。我最终用的是方向速度组合的方案。动作空间一共15个动作6个基本方向动作前后左右上下保持当前速度8个偏转方向动作前上、前下、左前、右前、后上、后下、左后、右后飞行方向发生变化1个悬停动作这个设计思路很直白——三维空间里直行经常被障碍物挡住去路只给6个纯方向动作的话无人机的转弯非常生硬路径曲折得很。增加了8个偏转角动作后路径质量明显改善转向更平滑整体航迹长度也更逼近最优解。关于步长也就是每个动作对应的飞行距离这个参数也很关键。步长设太大路径精度低可能直接跨过窄通道步长设太小决策频率高、训练期收敛慢、仿真累计误差大。我测试后觉得单步飞行距离设置为2个体素边长比较合适单位动作执行时间可以设置得略长一些。3.2 奖励函数稀疏奖励和稠密奖励怎么配合奖励函数是DQN训练真正的指挥棒它直接决定了智能体最终学到什么行为模式。稀疏奖励是最自然的设置到达目标点给一个大正奖励比如100碰到障碍物或飞出边界给一个负奖励比如-50其他时候不给奖励。它的优点是含义明确不会诱导智能体钻规则漏洞缺点是学习效率极低——三维环境那么大智能体早期完全是瞎逛几百步内都碰不到一次目标奖励信号太稀疏导致学习算法无法有效更新。实际的解决办法是用稠密奖励做引导信号和稀疏奖励搭配使用每一步根据距离目标的变化给一个小的引导奖励离目标近了加分远了扣分保持一个合理的飞行姿态范围过度上下起伏给轻微惩罚如果无人机长时间徘徊不动额外施加一个时间惩罚防止它悬停偷懒距离引导奖励的具体计算公式我用了相对量reward 0 # 1. 距离变化奖励每步对比当前距离与上一步距离 delta_dist previous_distance_to_target - current_distance_to_target # delta_dist 0 说明变得更近了奖励否则惩罚 reward delta_dist * 5.0 # 2. 时间惩罚每步都给一个小的负奖励促使尽快到达 reward - 0.1 # 3. 碰撞惩罚撞上障碍物 if collision: reward - 50.0 episode_termination True # 4. 到达奖励 if distance_to_target 20: # 到达阈值设为2个体素距离 reward 100.0 episode_termination True # 5. 高度惩罚剧烈的高度波动影响实际飞行安全 if abs(vel_z) MAX_VERTICAL_SPEED: reward - 0.5这套组合奖励方案的逻辑是大奖励定方向小惩罚调细节。100和-50的大奖励让智能体明确知道到达目标和撞上障碍是两件极端重要的事距离变化奖励是梯度信号告诉智能体每一步都在朝目标靠近或你在绕远路时间惩罚打破了僵局防止训练样本中出现过多无效数据。需要注意距离奖励的权重系数5.0是相对的——如果过大智能体会钻进刷距离分的牛角尖动辄贴着障碍物边缘飞行只为了缩短距离导致路径极度危险如果过小引导效果又不明显。我调参的经验是先用较小权重1~2观察训练效果后再逐步加大。3.3 训练中止条件与最大步数每个Episode一轮训练周期的终止条件有五类撞上障碍物、飞出地图边界、到达目标点、步数超限、飞行高度越界。前三个是正常逻辑步数超限和高度越界这种软性终止容易被忽略但作用很大——它们防止无人机在某个局部区域反复转圈白白产生无效训练数据。最大步数我一般设为从起点飞到目标点的理想最短距离除以单步飞行距离再乘以1.5的余量系数。比如理想直线距离500m单步飞10m理想步数是50那最大步数就设在75步左右。设置太小会让智能体学到时间不够就猛冲设置太大会增加无效探索。4. 训练过程与常见问题排查4.1 训练流程设计与小技巧训练过程中我分两个阶段探索期和收敛期。探索期动作选择策略用传统的ε-greedy初期设置较大的探索率ε来积累足够多样的训练样本。我会在前期让智能体多犯错把各种各样的失败经验都存进经验池。大概训练10000步之后逐渐降低ε让智能体逐步转向利用已有经验去选择更优动作。深度网络部分我用的是一个三层全连接网络每层128个神经元激活函数用ReLU输出层是15个动作对应的Q值网络的参数更新用Adam优化器学习率设在0.001。下面是我的网络权重更新逻辑和一些关键超参数# 经验回放 batch random.sample(memory, batch_size) states, actions, rewards, next_states, dones zip(*batch) states torch.FloatTensor(states) actions torch.LongTensor(actions).unsqueeze(1) rewards torch.FloatTensor(rewards).unsqueeze(1) next_states torch.FloatTensor(next_states) dones torch.FloatTensor(dones).unsqueeze(1) # 计算当前Q值 current_q policy_net(states).gather(1, actions) # 计算目标Q值目标网络 next_q target_net(next_states).max(1, keepdimTrue)[0].detach() target_q rewards (gamma * next_q * (1 - dones)) # 损失计算与反向传播 loss F.mse_loss(current_q, target_q) optimizer.zero_grad() loss.backward() optimizer.step()几个核心超参数我踩过坑之后定的值供参考学习率0.001比较稳太大会导致Q值爆炸太小则收敛太慢折扣因子γ取0.9——注意这个值比很多二维路径规划的例子略小原因是三维空间步数更多、不确定性更大太高的γ会让智能体过度看重远期回报而忽略近期的碰撞风险经验回放池大小设为50000抽样batch_size取64。另外参数定时软更新这个机制是DQN能够稳定训练的重要保障。我再补充说明一下实现细节每隔固定步数将当前策略网络的参数复制给目标网络或者用软更新方式逐步逼近避免目标Q值不断变化导致训练震荡。训练收敛后我在仿真环境里做了验证在训练时没有出现过的障碍物布局中测试无人机依然能规划出可行航迹说明泛化性可以接受航迹长度与A*算法的全局最优路径相比只多出18%~25%原因是DQN做的是局部感知下的实时决策绕行效率损失是换取实时的代价4.2 训练中的典型问题与排查DQN的三维训练过程中我整理了一些常见问题排错顺序基本是个由简到繁的排查过程。问题现象常见原因排查与解决方案Loss值不降反升持续发散奖励尺度太大或学习率过高把奖励缩小到±1量级学习率降到0.0005以下重试智能体永远走直线撞墙距离引导奖励太少探索不充分加大距离奖励权重增加ε探索期长度智能体原地打转没有时间惩罚悬停无代价增加每步-0.1的时间惩罚限制最大步数到达目标点附近但反复无法到达到达判定阈值太小把到达阈值从0.5网格扩大到2个网格边长训练后期Q值出现周期性突跳目标网络更新频率太高降低目标网络同步频率或改用软更新参数τ0.01路径严重绕远地形绕行不合理障碍物膨胀系数过大适当减小膨胀范围重新生成训练环境这几个问题里我最想单独拎出来说的是奖励尺度的统一。我第一版实现时给碰撞惩罚-100、到达奖励500、时间惩罚-1结果Loss完全爆炸。后来把整个奖励体系等比缩小到-50/100量级后训练立刻稳定。原因在于DQN的Q值依赖网络输出层的激活范围过大尺度的回归目标让网络逼近难度剧增而且梯度更新时会互相踩踏。4.3 三维航迹可视化从数值到直观感受搞无人机航迹规划如果整个训练过程只在终端里看Loss曲线排查问题效率太低。我强烈建议做三维可视化直接把规划出来的航迹画在三维空间里障碍物、目标点、无人机轨迹一目了然也便于快速定位问题所在。我用的是Python Matplotlib的mplot3d工具包写个简单脚本就能把训练好的无人机航迹绘制出来。如果想让效果更炫一点也可以用PyQt OpenGL自己搭一套三维显示框架。import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D import numpy as np fig plt.figure(figsize(10, 7)) ax fig.add_subplot(111, projection3d) # 绘制障碍物以立方体形式显示 for obs in obstacles: x, y, z, size obs ax.scatter(x, y, z, cr, markers, ssize) # 绘制规划航迹 path np.array(trajectory) ax.plot(path[:, 0], path[:, 1], path[:, 2], cb, linewidth2.5, labelDQN Path) # 起点与目标点 ax.scatter(path[0, 0], path[0, 1], path[0, 2], cg, markero, s100, labelStart) ax.scatter(target[0], target[1], target[2], cm, marker*, s200, labelTarget) ax.set_xlabel(X (m)) ax.set_ylabel(Y (m)) ax.set_zlabel(Z (m)) ax.set_title(3D UAV Obstacle Avoidance Path - DQN) ax.legend() plt.show()三维可视化的价值不在于好看而是能够直观检查路径是否合理——有没有贴着障碍物飞行、有没有无意义的锯齿形绕路、在地形起伏区域的高度变化是否平滑。训练阶段我每迭代5000步就做一次可视化抽样可以及早发现问题省去白白烧算力的时间。4.4 从仿真到实飞的差距与补偿仿真环境里跑通的模型搬到真机还有一个绕不开的课题叫sim-to-real gap。仿真里无人机是理想质点运动实机上螺旋桨、电机、机架的气动力效应复杂得多避障时悬停和转向的响应速度都跟不上仿真假设。我的做法是仿真训练时为无人机的运动模型添加噪声和延迟模拟真实飞控的响应特性让智能体学会在不完美执行下依然能保底完成任务上真机前再做一层路径平滑把DQN输出的折线段用三次样条曲线连接消除过大的转角突变。硬件选型方面如果实装验证机载计算平台建议用NVIDIA Jetson系列或者树莓派加神经网络计算棒DQN推理只是几十毫秒级别的前向计算嵌入式平台完全扛得住。传感器选型上激光雷达是最稳妥的方案虽然贵一些如果预算有限双目视觉加深度估计算法也能实现等效的障碍物距离感知。5. 数据训练结果与性能分析训练过程记录方面我统计了两个关键指标平均每轮步长和平均累计奖励。这两个指标是判断训练是否收敛的主要依据。平均每轮步长随着训练推进智能体寻找目标的效率应该显著提升每轮耗步数从最初的70-80步降到最终35-40步平均累计奖励从初始-80左右的水平逐步提升并稳定在40左右说明智能体已经学到了既能避开障碍物又能快速到达目标的策略随机生成20个不同障碍物布局做泛化测试有17个场景下无人机成功避障并到达目标点成功率85%。失败的3个场景中有2个是障碍物形成了类似迷宫的死通道结构DQN在训练时没遇到过这种极端情况导致绕行失败另外一个场景里起始点太高无人机在下降过程中撞上了绕行路线中的隐藏障碍。这个成绩放在工程应用角度我认为已经具备实际参考价值。85%在仿真里也许不算顶尖但考虑到训练环境没有覆盖所有极端场景在真实应用里配合安全兜底机制比如近距离雷达急停是完全可行的。6. 项目扩展方向与整体复盘项目做到这一步我梳理了一下几个值得继续深挖的方向也整理成经验供同行参考。算法升级为Double DQN或Dueling DQN原始DQN存在Q值过估计问题Double DQN用两个网络分离动作选择和动作评估能缓解过估计Dueling DQN把Q值拆分成状态价值与动作优势更有利于区分当前位置好不好和这个动作好不好学习效率进一步提升多无人机协同避障单机DQN扩展到多机时状态空间要加入其他无人机的相对位置信息奖励函数也要考虑编队保持和防碰撞的博弈这会是另一个量级的问题动态障碍物场景给障碍物加入运动轨迹让环境不再静态DQN的状态还要包含障碍物运动速度或者改用带LSTM记忆结构的网络架构连续动作空间如果想做更精细的飞行控制可以换TD3或SAC这类连续控制算法但调试复杂度会显著上升在编写和调试这套基于DQN的三维无人机避障航迹规划的过程中我最大的感受是不要迷信算法本身要重视环境设计和奖励函数的细节。DQN作为一个2015年就成熟的算法在自动驾驶、游戏AI等领域的研究已经非常充分但落地到无人机航迹规划时真正的难点从来不是算法原理而是如何把物理世界的约束合理映射成机器可学习的观测与奖励信号。当初我在奖励函数上反复调整了一个多星期包括调整距离引导的权重系数、增加转弯惩罚、改用分段奖励机制等最后才得到一个在复杂障碍物环境下稳定收敛的版本。如果你也在跑同类项目我的建议是先跑通一个最简单的场景再做复杂化扩展训练过程中多做可视化不要盲目增加网络复杂度实在改不动了回头检查一下奖励函数设计和障碍物膨胀系数八成是这两处有问题。本文还有配套的精品资源点击获取 基于DQN的无人机三维航迹规划：从环境建模到奖励函数设计实战
简介面向无人机与强化学习方向的开发者本资源提供基于DQN的三维无人机避障航迹规划完整工程实现。内容涵盖DQN核心原理讲解、三维环境建模方法以及无人机在静态/动态障碍物场景下的路径规划与训练流程可作为毕业设计、科研实验或自主导航系统入门参考。资源压缩包共15个文件以Python代码文件为主包含模型结构、训练脚本、无人机与环境模拟模块同时提供训练好的模型权重、效果演示动图、结果图片及说明文档便于快速复现与二次开发。包体大小约2.01MB轻量易部署。已有785人学习下载。通过学习该工程可掌握DQN算法在连续三维空间中的落地细节包括经验回放、目标网络设置、奖励函数设计等关键环节适合希望结合深度强化学习与无人机避障实践的研究者快速上手。1. 问题定义与方案选型为什么是DQN做无人机航迹规划传统的思路无非是A*、RRT、人工势场法这几板斧。A*在栅格地图上确实好用但前提是你得提前知道障碍物的完整分布RRT靠随机采样能快速找到一条可行路径可规划出来的轨迹经常抖得跟心电图一样还得花大力气做平滑处理人工势场法实现起来最简单但局部极小值问题能把无人机困死在一个根本没必要的绕行点前。这些方法有个共同的痛点——它们本质上都是基于全局已知信息的静态规划。无人机一旦飞起来传感器探测到地图上没标注的障碍物或者遇到动态移动的障碍物这些算法需要重新规划计算代价高且响应滞后。我选DQNDeep Q-Network做三维无人机避障航迹规划核心考量就一条把路径规划从一次性的离线计算变成实时的序贯决策。DQN是深度强化学习里最经典的算法之一它把深度学习感知能力与Q-learning的决策能力结合在一起让无人机在飞行过程中根据当前传感器观测到的局部环境逐步决定下一个动作走一步看一步而不是一开始就规划出一条全局路径。再说直白一点DQN解决的问题本质是在三维空间里无人机智能体如何通过与环境不断交互试错学会一套从当前观测状态到最优飞行动作的映射策略。这套策略学成之后无人机面对没见过的障碍物场景时也能做到实时绕障而且计算量不大机载嵌入式硬件也能跑得动。为什么不是DDPG或者PPO这两年在无人机领域也有不少应用成果。我的理由是DDPG和PPO偏连续控制适合处理无人机姿态控制这类问题但航迹规划在决策层面可以合理离散化——前后左右上下加减速动作空间本身就支持离散化表达。DQN在离散动作空间里收敛稳定、调参经验成熟对起步研究和工程落地都比较友好我最终选定DQN方案。当然DQN在三维场景下有个天然的挑战——状态空间维度爆炸。二维地图一个状态可能是(x, y, heading, 周边8个方向传感器读数)三维环境至少得变成立方体栅格状态维度翻了好几倍Q表根本存不下。这时候深度网络作为函数逼近器的价值就体现出来了用神经网络去拟合Q值函数而不是用表存储这是DQN相对传统Q-learning的核心突破也是它能在三维环境里落地的原因。2. 三维环境建模与状态空间设计DQN能不能训练出来我个人经验是环境建模和状态设计占了七成功劳算法只占三成。很多跑不出效果的项目问题往往不出在DQN本身而是状态空间定义得让智能体根本学不到有效信息。2.1 三维空间离散化与障碍物表征训练DQN第一步是解决三维环境长什么样的问题。我采用栅格化体素化方案把连续的三维空间划分成若干个大小相同的立方体体素每个体素有空闲和被占据两种状态。栅格分辨率直接影响训练难度——栅格太粗规划的路径精确度低可能从障碍物旁边擦着过去栅格太细状态空间爆炸训练效率断崖式下跌。我常用参数对于模拟5km × 5km × 500m的空域体素大小取10m × 10m × 10m这样整个环境划分成500 × 500 × 50个栅格单元数量级在千万级别。这个体量对于神经网络来说完全处理得过来但如果是Q表直接不可能的。不同分辨率参数对比可以看下体素尺寸(m)栅格总数路径精度训练收敛难度适用场景50200×200×20低粗糙低易收敛大范围粗规划20250×250×25中中常规避障任务10500×500×50高高需调参精细航迹规划51000×1000×100很高极高难收敛不建议用于DQN提示环境建模时建议把无人机看成一个质点但需要对无人机实际尺寸做膨胀处理。也就是说障碍物栅格在建模时向外膨胀半个机身半径预留安全裕度避免规划出来的路径在实际飞行时发生碰撞。这个膨胀系数直接决定安全性能。2.2 状态空间观测向量怎么设计状态空间的设计目标是让无人机只凭当前观测值就能做出合理决策。但三维场景下全地图信息显然是无法作为输入的一是维度太高二是无人机实际飞行时根本不知道全局障碍物分布。我的做法分为两部分自身状态 局部感知信息。自身状态包括当前位置坐标(x, y, z)、当前航向角(yaw)、俯仰角(pitch)、速度大小。局部感知信息我用三个维度的探测射线表示——向无人机前方、上方、下方、左方、右方分别发射若干条虚拟探测线检测与最近障碍物的距离。类似于真实无人机上超声波雷达加激光雷达的组合感知效果在仿真环境里用射线检测模拟。这样设计的好处是状态向量的维度是固定的且是低维的——实测下来大概20个维度左右。可以在仿真环境里自由调整障碍物位置和形状而观测向量的长度不变DQN网络的输入层结构也就不用变模型的泛化能力会比直接输入全局地图强很多。具体状态向量示例如下# 状态向量维度定义示例 # 前10维无人机自身状态 state torch.zeros(20) # 位置信息归一化到0-1 state[0] (x - MAP_MIN_X) / (MAP_MAX_X - MAP_MIN_X) state[1] (y - MAP_MIN_Y) / (MAP_MAX_Y - MAP_MIN_Y) state[2] (z - MAP_MIN_Z) / (MAP_MAX_Z - MAP_MIN_Z) # 姿态信息 state[3] yaw_angle / (2 * np.pi) # 航向角归一化 state[4] pitch_angle / np.pi # 俯仰角归一化 # 速度信息 state[5] vx / V_MAX state[6] vy / V_MAX state[7] vz / V_MAX # 8-9维目标相对位置局部坐标系 state[8] target_delta_x / MAX_DIST state[9] target_delta_y / MAX_DIST # 后10维5个方向的探测距离前方×3层左右上下 # 按三个海拔高度层当前高度、上方10m、下方10m各发一组前方探测 state[10] front_dist[0] / SENSOR_RANGE # 当前层前方障碍距离 state[11] front_dist[1] / SENSOR_RANGE # 上层前方障碍距离 state[12] front_dist[2] / SENSOR_RANGE # 下层前方障碍距离 state[13] left_dist / SENSOR_RANGE # 左侧障碍距离 state[14] right_dist / SENSOR_RANGE # 右侧障碍距离 state[15] up_dist / SENSOR_RANGE # 上方障碍距离 state[16] down_dist / SENSOR_RANGE # 下方障碍距离2.3 距离归一化到底有多重要训练前我把所有状态值做了归一化处理直接量化到0-1区间。这一步看着不起眼但对训练效果的影响非常大。DQN的Q网络一般用ReLU做激活函数。如果不归一化原始坐标值可能从0到5000传感器距离可能从0到200不同量级的输入会让网络权重更新出现严重的尺度不平衡训练过程极不稳定Loss值像过山车一样震荡。归一化的好处就是网络输入层各个维度的数值范围一致权重初始化能更合理梯度传播更稳定。我在项目里踩过一个坑有一版代码忘记归一化位置坐标结果训了20000步Q值还在一路飙升不收敛检查半天才发现是这个原因。3. 动作空间与奖励函数设计3.1 动作空间离散化如何不降低路径质量DQN要求动作空间是离散的但三维飞行本来是连续控制问题。我看了很多相关方向的论文和开源项目动作空间的离散化方案大多是两种一种是速度级离散比如加速、减速、匀速保持一种是方向级离散比如前、后、左、右、上、下六个基本方向。我最终用的是方向速度组合的方案。动作空间一共15个动作6个基本方向动作前后左右上下保持当前速度8个偏转方向动作前上、前下、左前、右前、后上、后下、左后、右后飞行方向发生变化1个悬停动作这个设计思路很直白——三维空间里直行经常被障碍物挡住去路只给6个纯方向动作的话无人机的转弯非常生硬路径曲折得很。增加了8个偏转角动作后路径质量明显改善转向更平滑整体航迹长度也更逼近最优解。关于步长也就是每个动作对应的飞行距离这个参数也很关键。步长设太大路径精度低可能直接跨过窄通道步长设太小决策频率高、训练期收敛慢、仿真累计误差大。我测试后觉得单步飞行距离设置为2个体素边长比较合适单位动作执行时间可以设置得略长一些。3.2 奖励函数稀疏奖励和稠密奖励怎么配合奖励函数是DQN训练真正的指挥棒它直接决定了智能体最终学到什么行为模式。稀疏奖励是最自然的设置到达目标点给一个大正奖励比如100碰到障碍物或飞出边界给一个负奖励比如-50其他时候不给奖励。它的优点是含义明确不会诱导智能体钻规则漏洞缺点是学习效率极低——三维环境那么大智能体早期完全是瞎逛几百步内都碰不到一次目标奖励信号太稀疏导致学习算法无法有效更新。实际的解决办法是用稠密奖励做引导信号和稀疏奖励搭配使用每一步根据距离目标的变化给一个小的引导奖励离目标近了加分远了扣分保持一个合理的飞行姿态范围过度上下起伏给轻微惩罚如果无人机长时间徘徊不动额外施加一个时间惩罚防止它悬停偷懒距离引导奖励的具体计算公式我用了相对量reward 0 # 1. 距离变化奖励每步对比当前距离与上一步距离 delta_dist previous_distance_to_target - current_distance_to_target # delta_dist 0 说明变得更近了奖励否则惩罚 reward delta_dist * 5.0 # 2. 时间惩罚每步都给一个小的负奖励促使尽快到达 reward - 0.1 # 3. 碰撞惩罚撞上障碍物 if collision: reward - 50.0 episode_termination True # 4. 到达奖励 if distance_to_target 20: # 到达阈值设为2个体素距离 reward 100.0 episode_termination True # 5. 高度惩罚剧烈的高度波动影响实际飞行安全 if abs(vel_z) MAX_VERTICAL_SPEED: reward - 0.5这套组合奖励方案的逻辑是大奖励定方向小惩罚调细节。100和-50的大奖励让智能体明确知道到达目标和撞上障碍是两件极端重要的事距离变化奖励是梯度信号告诉智能体每一步都在朝目标靠近或你在绕远路时间惩罚打破了僵局防止训练样本中出现过多无效数据。需要注意距离奖励的权重系数5.0是相对的——如果过大智能体会钻进刷距离分的牛角尖动辄贴着障碍物边缘飞行只为了缩短距离导致路径极度危险如果过小引导效果又不明显。我调参的经验是先用较小权重1~2观察训练效果后再逐步加大。3.3 训练中止条件与最大步数每个Episode一轮训练周期的终止条件有五类撞上障碍物、飞出地图边界、到达目标点、步数超限、飞行高度越界。前三个是正常逻辑步数超限和高度越界这种软性终止容易被忽略但作用很大——它们防止无人机在某个局部区域反复转圈白白产生无效训练数据。最大步数我一般设为从起点飞到目标点的理想最短距离除以单步飞行距离再乘以1.5的余量系数。比如理想直线距离500m单步飞10m理想步数是50那最大步数就设在75步左右。设置太小会让智能体学到时间不够就猛冲设置太大会增加无效探索。4. 训练过程与常见问题排查4.1 训练流程设计与小技巧训练过程中我分两个阶段探索期和收敛期。探索期动作选择策略用传统的ε-greedy初期设置较大的探索率ε来积累足够多样的训练样本。我会在前期让智能体多犯错把各种各样的失败经验都存进经验池。大概训练10000步之后逐渐降低ε让智能体逐步转向利用已有经验去选择更优动作。深度网络部分我用的是一个三层全连接网络每层128个神经元激活函数用ReLU输出层是15个动作对应的Q值网络的参数更新用Adam优化器学习率设在0.001。下面是我的网络权重更新逻辑和一些关键超参数# 经验回放 batch random.sample(memory, batch_size) states, actions, rewards, next_states, dones zip(*batch) states torch.FloatTensor(states) actions torch.LongTensor(actions).unsqueeze(1) rewards torch.FloatTensor(rewards).unsqueeze(1) next_states torch.FloatTensor(next_states) dones torch.FloatTensor(dones).unsqueeze(1) # 计算当前Q值 current_q policy_net(states).gather(1, actions) # 计算目标Q值目标网络 next_q target_net(next_states).max(1, keepdimTrue)[0].detach() target_q rewards (gamma * next_q * (1 - dones)) # 损失计算与反向传播 loss F.mse_loss(current_q, target_q) optimizer.zero_grad() loss.backward() optimizer.step()几个核心超参数我踩过坑之后定的值供参考学习率0.001比较稳太大会导致Q值爆炸太小则收敛太慢折扣因子γ取0.9——注意这个值比很多二维路径规划的例子略小原因是三维空间步数更多、不确定性更大太高的γ会让智能体过度看重远期回报而忽略近期的碰撞风险经验回放池大小设为50000抽样batch_size取64。另外参数定时软更新这个机制是DQN能够稳定训练的重要保障。我再补充说明一下实现细节每隔固定步数将当前策略网络的参数复制给目标网络或者用软更新方式逐步逼近避免目标Q值不断变化导致训练震荡。训练收敛后我在仿真环境里做了验证在训练时没有出现过的障碍物布局中测试无人机依然能规划出可行航迹说明泛化性可以接受航迹长度与A*算法的全局最优路径相比只多出18%~25%原因是DQN做的是局部感知下的实时决策绕行效率损失是换取实时的代价4.2 训练中的典型问题与排查DQN的三维训练过程中我整理了一些常见问题排错顺序基本是个由简到繁的排查过程。问题现象常见原因排查与解决方案Loss值不降反升持续发散奖励尺度太大或学习率过高把奖励缩小到±1量级学习率降到0.0005以下重试智能体永远走直线撞墙距离引导奖励太少探索不充分加大距离奖励权重增加ε探索期长度智能体原地打转没有时间惩罚悬停无代价增加每步-0.1的时间惩罚限制最大步数到达目标点附近但反复无法到达到达判定阈值太小把到达阈值从0.5网格扩大到2个网格边长训练后期Q值出现周期性突跳目标网络更新频率太高降低目标网络同步频率或改用软更新参数τ0.01路径严重绕远地形绕行不合理障碍物膨胀系数过大适当减小膨胀范围重新生成训练环境这几个问题里我最想单独拎出来说的是奖励尺度的统一。我第一版实现时给碰撞惩罚-100、到达奖励500、时间惩罚-1结果Loss完全爆炸。后来把整个奖励体系等比缩小到-50/100量级后训练立刻稳定。原因在于DQN的Q值依赖网络输出层的激活范围过大尺度的回归目标让网络逼近难度剧增而且梯度更新时会互相踩踏。4.3 三维航迹可视化从数值到直观感受搞无人机航迹规划如果整个训练过程只在终端里看Loss曲线排查问题效率太低。我强烈建议做三维可视化直接把规划出来的航迹画在三维空间里障碍物、目标点、无人机轨迹一目了然也便于快速定位问题所在。我用的是Python Matplotlib的mplot3d工具包写个简单脚本就能把训练好的无人机航迹绘制出来。如果想让效果更炫一点也可以用PyQt OpenGL自己搭一套三维显示框架。import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D import numpy as np fig plt.figure(figsize(10, 7)) ax fig.add_subplot(111, projection3d) # 绘制障碍物以立方体形式显示 for obs in obstacles: x, y, z, size obs ax.scatter(x, y, z, cr, markers, ssize) # 绘制规划航迹 path np.array(trajectory) ax.plot(path[:, 0], path[:, 1], path[:, 2], cb, linewidth2.5, labelDQN Path) # 起点与目标点 ax.scatter(path[0, 0], path[0, 1], path[0, 2], cg, markero, s100, labelStart) ax.scatter(target[0], target[1], target[2], cm, marker*, s200, labelTarget) ax.set_xlabel(X (m)) ax.set_ylabel(Y (m)) ax.set_zlabel(Z (m)) ax.set_title(3D UAV Obstacle Avoidance Path - DQN) ax.legend() plt.show()三维可视化的价值不在于好看而是能够直观检查路径是否合理——有没有贴着障碍物飞行、有没有无意义的锯齿形绕路、在地形起伏区域的高度变化是否平滑。训练阶段我每迭代5000步就做一次可视化抽样可以及早发现问题省去白白烧算力的时间。4.4 从仿真到实飞的差距与补偿仿真环境里跑通的模型搬到真机还有一个绕不开的课题叫sim-to-real gap。仿真里无人机是理想质点运动实机上螺旋桨、电机、机架的气动力效应复杂得多避障时悬停和转向的响应速度都跟不上仿真假设。我的做法是仿真训练时为无人机的运动模型添加噪声和延迟模拟真实飞控的响应特性让智能体学会在不完美执行下依然能保底完成任务上真机前再做一层路径平滑把DQN输出的折线段用三次样条曲线连接消除过大的转角突变。硬件选型方面如果实装验证机载计算平台建议用NVIDIA Jetson系列或者树莓派加神经网络计算棒DQN推理只是几十毫秒级别的前向计算嵌入式平台完全扛得住。传感器选型上激光雷达是最稳妥的方案虽然贵一些如果预算有限双目视觉加深度估计算法也能实现等效的障碍物距离感知。5. 数据训练结果与性能分析训练过程记录方面我统计了两个关键指标平均每轮步长和平均累计奖励。这两个指标是判断训练是否收敛的主要依据。平均每轮步长随着训练推进智能体寻找目标的效率应该显著提升每轮耗步数从最初的70-80步降到最终35-40步平均累计奖励从初始-80左右的水平逐步提升并稳定在40左右说明智能体已经学到了既能避开障碍物又能快速到达目标的策略随机生成20个不同障碍物布局做泛化测试有17个场景下无人机成功避障并到达目标点成功率85%。失败的3个场景中有2个是障碍物形成了类似迷宫的死通道结构DQN在训练时没遇到过这种极端情况导致绕行失败另外一个场景里起始点太高无人机在下降过程中撞上了绕行路线中的隐藏障碍。这个成绩放在工程应用角度我认为已经具备实际参考价值。85%在仿真里也许不算顶尖但考虑到训练环境没有覆盖所有极端场景在真实应用里配合安全兜底机制比如近距离雷达急停是完全可行的。6. 项目扩展方向与整体复盘项目做到这一步我梳理了一下几个值得继续深挖的方向也整理成经验供同行参考。算法升级为Double DQN或Dueling DQN原始DQN存在Q值过估计问题Double DQN用两个网络分离动作选择和动作评估能缓解过估计Dueling DQN把Q值拆分成状态价值与动作优势更有利于区分当前位置好不好和这个动作好不好学习效率进一步提升多无人机协同避障单机DQN扩展到多机时状态空间要加入其他无人机的相对位置信息奖励函数也要考虑编队保持和防碰撞的博弈这会是另一个量级的问题动态障碍物场景给障碍物加入运动轨迹让环境不再静态DQN的状态还要包含障碍物运动速度或者改用带LSTM记忆结构的网络架构连续动作空间如果想做更精细的飞行控制可以换TD3或SAC这类连续控制算法但调试复杂度会显著上升在编写和调试这套基于DQN的三维无人机避障航迹规划的过程中我最大的感受是不要迷信算法本身要重视环境设计和奖励函数的细节。DQN作为一个2015年就成熟的算法在自动驾驶、游戏AI等领域的研究已经非常充分但落地到无人机航迹规划时真正的难点从来不是算法原理而是如何把物理世界的约束合理映射成机器可学习的观测与奖励信号。当初我在奖励函数上反复调整了一个多星期包括调整距离引导的权重系数、增加转弯惩罚、改用分段奖励机制等最后才得到一个在复杂障碍物环境下稳定收敛的版本。如果你也在跑同类项目我的建议是先跑通一个最简单的场景再做复杂化扩展训练过程中多做可视化不要盲目增加网络复杂度实在改不动了回头检查一下奖励函数设计和障碍物膨胀系数八成是这两处有问题。本文还有配套的精品资源点击获取