前阵子有个做感知的朋友问我“你觉不觉得现在自动驾驶的视觉识别已经到头了”我愣了一下反问他“你是指识别到头了还是测量到头了”他想了半天没接上来。这个问题其实特别关键因为在自动驾驶这个赛道里大家嘴上说的“识别”和真正落到规划控制里的“测量”压根是两码事。识别是“这是不是一个人、一辆车”测量是“这人离我多少米、以什么速度在靠近、明天他会不会横穿马路”。自动驾驶不能只靠前者生存它真正吃的是后者。这篇文章我想认真聊聊一个正在发生的技术转向自动驾驶正在从“识别范式”切换到“物理范式”。所谓物理范式就是不再把感知当成分类和检测问题而是把它当作对物理世界的定量测量问题。我们要从图像里、点云里、毫米波回波里反推出目标的几何、位置、速度、姿态甚至是不确定性。整篇文章会围绕识别与测量的区别、物理范式的内涵、如何搭建识别测量的完整流水线、以及我踩过的坑展开。适合正在做感知算法、想把感知结果真正用进下游控制的朋友也适合想系统理解“自动驾驶感知到底在解决什么问题”的入门者。1. 识别和测量两个时代的技术底座1.1 先搞清楚“识别”到底解决什么问题“识别”这个词在计算机视觉里通常指分类、检测、分割这一挂。给一张图模型告诉你这里有个行人、那里有辆车或者每个像素属于哪个类别。它的输出本质上是一个“语义标签”或者“边界框”。从学术角度讲这是一个离散决策问题输入是一张图像输出是类别概率分布。这些年识别任务得益于深度卷积网络进展非常快。COCO数据集上的目标检测mAP从早期的不到30%一路干到现在很多模型在公开集上刷到60%以上人脸的识别准确率更是早就超过了人类肉眼水平。所以你会发现在公开数据集上识别类的模型demo看起来都很猛识别得又准又稳。但落到自动驾驶里问题就出来了你识别出前方200米有辆卡车然后呢下游规划控制需要的不是“有卡车”这个结论它需要知道卡车到底在我的哪个车道、横向偏移多少、纵向距离多少、相对速度多少、这条车道未来3秒内会不会被这辆卡车占用。这里就出现了一个断层识别模型给的是“语义”下游要的是“物理量”。语义和物理量之间的转换恰恰是很多团队忽视的地方。1.2 “测量”和“识别”差在哪测量这个词在物理和工程领域有严格的定义测量是“以确定被测对象量值为目的的一组操作”输出必须是带单位、带不确定度的数值。比如我说“这辆车距离我52.3米误差±0.8米”这是一个测量结果。而识别模型通常不会给你这个东西它给你的是“car: 0.96”这样一个置信度。我把两者拆开看至少有三个本质区别。第一个区别是输出形式。识别输出离散类别或标签测量输出连续物理量。目标检测的输出框是像素坐标而测量最终要的是世界坐标系下的米、秒、米每秒。像素坐标到物理坐标中间还隔着相机内参、外参、畸变系数一大串东西。第二个区别是误差可溯源性。识别模型的误差来自分类错误、漏检、定位偏差这种误差很难用一套统一的物理模型去解释。测量则不一样毫米波雷达测距误差、激光雷达测距误差、相机双目视差误差都是可以用传感器模型、几何模型去描述和补偿的。测量结果可以标定可以溯源可以量化。第三个区别是“可验证性”。识别结果你很难做端到端的验证你只能说“这张图里我框对了”。测量结果就不一样你可以拿激光测距仪、RTK、标定板去反打看你的系统测出来的距离和真值差多少。这在实际工程里太重要了因为这意味着你可以建立一套完整的上线回归体系。1.3 为什么自动驾驶必须补上“测量”这一课自动驾驶的下游模块说白了是控制一个物理系统在物理世界里运动。规划控制算法需要的输入几乎全部是物理量前车的纵向距离、侧向速度、曲率半径、路面附着系数、自身车速、横摆角速度。如果感知模块只输出“前方有障碍物”规划模块根本没法工作。我见过一些团队感知模型跑得很好识别率很高但一上路就露馅。原因就是语义层面对了物理层面全错。框住了一个行人但框的左右边界波动了5个像素在50米外对应横向偏差可能就超过半米下游做避让时路径直接抖动。你说识别错了吗没有人确实是那个人你说测量对吗不对位置偏差太大。所以“从识别到测量”不是一句漂亮口号而是自动驾驶工程化的必然选择。识别只能告诉你“有没有”测量才能告诉你“在哪、多快、多大、什么时候会到我这里”。2. 物理范式把世界当成一个可计算的物理系统2.1 物理范式的三个关键词所谓物理范式简单讲就是我们不再把感知问题当成一个纯数据驱动的模式识别问题而是把它放回到物理世界里用几何学、运动学、动力学的规律去约束和理解它。我个人习惯用三个关键词概括几何、运动、不确定性。几何解决的是“物体在哪里”的问题。相机图像是透视投影的结果激光雷达点云是空间采样毫米波雷达是稀疏回波。要把这些传感器数据统一到自车坐标系下靠的是刚体变换和标定参数。几何是测量的骨架没有它所有传感器数据都只是一堆散点。运动解决的是“物体怎么动”的问题。有了连续帧的测量结果你才能估计速度、加速度、航向角才能做轨迹预测。运动估计可以用卡尔曼滤波、恒速/恒加速度模型也可以用更复杂的交互模型。但无论多复杂基础都是测量值。不确定性解决的是“测量有多大把握”的问题。每个传感器都有噪声每种测量都有误差。物理范式要求你不仅输出一个数值还要输出这个数值的置信区间。下游融合算法、安全模块都要用这个置信区间做决策。很多车规级系统里要求感知模块输出协方差矩阵这正是物理范式的体现。2.2 从像素到米测量链条里的“标定”为什么是命根子讲一个让很多初学者忽视的点一张图像里的目标检测框单位是像素。而自动驾驶所有下游逻辑单位是“米”。从像素到米中间靠的是相机模型和标定参数。相机标定里面有内参焦距、主点、畸变系数和外参相机在世界坐标系/自车坐标系下的位姿。内参描述了三维空间点到图像平面的投影关系外参描述了相机和车体之间的关系。两者都错不得。内参标定错了测出来的距离全偏外参松了目标在自车坐标系下的位置就会“飘”。我当年第一次做车道线逆透视变换IPM的时候就觉得车道线识别得那么清楚变换成鸟瞰图总该没问题吧结果变换出来的车道宽度忽宽忽窄根本不能用。后来逐项排查才发现是相机安装角度变了外参里pitch角差了0.3度。0.3度听起来微不足道但在30米外横向偏差就将近15厘米车道宽度反推出来直接失真。所以我要强调测量系统的精度不会超过标定系统的精度。标定是测量范式的地基地基歪了楼上再漂亮都白搭。2.3 软测量不是所有物理量都能直接“测”出来在过程控制领域有个概念叫“软测量”意思是有些关键的物理量无法直接测量或者传感器太贵、太容易坏就用一堆容易测的变量通过模型去推算这个关键量。比如化工过程里要测某个气体浓度但浓度传感器装不了就通过温度、压力、流量去推算。这套思路在自动驾驶里应用非常广。最典型的例子是路面附着系数估计。你没法直接买一个“路面摩擦力传感器”装在车上但你可以通过轮速、纵向加速度、横摆角速度、方向盘转角这些信号用一个车辆动力学模型加估计算法把附着系数“算”出来。再比如侧偏刚度、车辆质量、坡度这些都是“不可直接测量但可以通过间接信号估计”的量。我和做控制的朋友聊过他们其实很喜欢这类“软测量”结果。因为真正的测量值往往带噪声反而不如经过模型约束和滤波后的估计值稳定。软测量本质上就是用物理规律给测量加了一层“平滑先验”。2.4 测量报告把感知结果变成可审计的文档做工程时间长了我养成了一个习惯每次路测不光看感知的渲染画面还要看“测量报告”。什么是测量报告就是一张表格记录每个目标的ID、类别、距离、速度、方位角、置信度、协方差、时间戳、数据来源。有了这份报告你就可以事后做非常多的事情复现问题、回归对比、统计误差、分析传感器健康状态。很多团队不重视这一步觉得感知结果在可视化界面上看起来对就行了。但一旦出了问题你根本说不清是哪一帧、哪个目标、哪个传感器导致的。我见过最典型的场景是测试车在高速上误刹了一次所有人围过来看渲染视频画面上确实有个“鬼影”但到底是识别问题还是测量问题谁也说不清。如果有测量报告你直接拉出那一帧的数据一看目标距离8.2米置信度0.99但真实前方空无一物就能很快定位到是传感器串扰还是模型误检。测量报告的形式可以很多样文本日志、CSV、数据库都可以。关键是要结构化、带时间戳、带不确定性。这就是“测量思维”和“识别思维”在工程管理上的最直观差别。3. 实操搭一套“识别测量”感知流水线3.1 传感器选型与标定没有外参一切都是零要真正把“识别”升级成“测量”第一步不是换模型而是把传感器标定做扎实。设备层面一台带畸变校正的工业相机、一台16线或32线的激光雷达就足够搭建一套用于技术验证的感知测量系统。相机负责语义识别和纹理信息雷达负责精确的距离测量。两者的坐标系要统一到同一个车体坐标系下这一步靠的是外参标定求一个旋转矩阵R和一个平移向量t把雷达坐标系下的点变换到相机坐标系或者反过来。外参标定有很多方式。传统做法是摆放标定板采集若干个位置的对应点然后求解PnP问题或者用非线性优化去估计R和t。这里我提一嘴很多团队在优化外参时会用粒子群优化PSO这类群体智能算法好处是不需要求导、不容易陷入局部极小值坏处是收敛慢、结果不稳定。我的经验是先用闭式解或者PnP拿到一个不错的初值再交给迭代优化精修比纯用PSO从零开始搜索要靠谱得多。标定做完之后还有一个必须做的环节验证。标定参数好不好不能只靠标定板重投影误差还要做一次“端到端测量验证”。我常用的办法是在车前放几个已知距离的锥桶用雷达点云去测它们的距离然后和RTK或者激光测距仪的真值对比。如果误差在10厘米以内这套外参基本就能用了。3.2 从检测框到物理测量一个完整目标的数学表达假设你现在已经有一个训练好的目标检测模型能够识别图像里的行人、车辆、自行车。接下来要怎么把检测框变成物理测量第一步把检测框转成“测量点”或者“测量区域”。最简单的做法是取检测框底边中点因为对地面目标来说底边中点大致对应目标与地面的接触点。再配合相机的逆透视映射把像素坐标投影到地平面就得到了目标在自车坐标系下的大致位置。第二步根据目标类别设置尺寸先验。行人的平均肩宽、车辆的平均长度宽度这些先验可以配合检测框的像素高度估算距离。这个方法精度有限但作为快速初值或者单目方案兜底非常实用。第三步融合雷达点云或者深度图做精确测量。这一步是测量范式的核心检测框告诉你“这个区域里有一个目标”点云匹配告诉你“目标到底距离我们多远”。具体做法是把目标框在3D空间里的投影区域当作ROI在ROI里提取点云用点云的深度中值或者聚类后的几何中心作为目标位置。第四步用卡尔曼滤波或者扩展卡尔曼滤波做时域平滑和速度估计。连续多帧的位置测量串起来就是一个带噪声的轨迹。滤波之后你就可以输出目标的位置、速度、加速度以及它们的协方差矩阵。我强烈建议团队在做这一步时不要只输出一个均值还要保留方差信息。你后续做目标跟踪数据关联的时候马氏距离计算就需要协方差。这也是“测量”和“识别”在代码层面的分水岭。3.3 测量精度验证拿尺子说话很多搞视觉出身的朋友习惯用mAP来评价一个感知系统好不好。但到了测量阶段mAP就不够用了你要引入“尺寸测量误差”“距离测量误差”“速度测量误差”这些指标。验证的方法说起来也很朴素造一台测量地面真值。在测试场地上用RTK和激光测距仪标出若干个目标点的精确坐标然后让车在这些目标点的不同距离、不同角度下采集传感器数据计算感知系统输出值和真值的偏差统计均值、标准差、最大误差。这里有一个非常有意思的细节你要区分“系统误差”和“随机误差”。均值偏大说明系统里有某个环节有固定偏差比如外参某个角度标偏了、传感器安装位置和真值参考点没对齐。标准差偏大说明噪声大可能是测距源不稳定也可能是帧间时间同步质量差。我在项目里经常发现团队花大把时间调网络模型但测量误差却卡在标定误差和同步误差上。模型从ResNet50换成SwinTransformer检测精度提升了2个点但距离测量的误差一点没变。原因很简单测量瓶颈根本不在识别网络而在传感器标定和几何映射那一段。3.4 回放工具与数据可视化让测量结果“看得见、量得出”做测量系统一个趁手的回放工具能救命。我不推荐只用单纯的图像叠加框那种可视化你需要的是“可游标测量”的回放界面——像示波器上面用游标量波形一样在点云或者图像里拉两个点直接读距离。这个思路在很多工业软件里都有比如测量软件Halcon里的标定测尺寸功能又比如QCustomPlot这类绘图库提供的游标测量交互。自动驾驶回放工具完全可以借鉴这些成熟交互选中某个目标显示它的实时纵向距离、横向距离、速度、加速度曲线用游标对齐某一帧直接读出数值再和下游规划输出的参考值对照。这套工具做起来不难但对团队协作的价值极大。算法工程师可以通过回放工具快速定位“哪一帧开始测量偏差拉大”测试工程师可以在回归测试时直接用游标量出问题帧的测量值产品同学也能一眼看懂系统到底行不行。4. 数据与真值从“标注”到“测量”4.1 自动驾驶数据集的标注差异在哪很多公开自动驾驶数据集比如KITTI、nuScenes、Waymo Open Dataset都在走“识别测量”双轮驱动的路线。早期的数据集主要以2D框为主训练出来的模型天然是“识别思维”。到了nuScenes、Waymo这一代3D框、点云分割、雷达数据、高精地图都出来了就是把“测量”纳入了标准范式里。我见过不少团队拿着2D检测模型就去跑自动驾驶然后发现下游一切换到3D空间就全乱。问题根源在于2D标注没有目标朝向、没有尺寸、没有稳定锚点训练出来的模型天然缺少测量所需的几何信息。要做测量你的标注体系必须升级。具体来说标注至少需要包含这几类信息3D包围框含长宽高和朝向角、目标关键点比如行人头顶、车轮着地点、语义分割的像素级边界为了提高ROI内测量的精度、和传感器时间戳对齐的坐标真值。这些标注不只是给模型当监督信号更是给测量验证当基准答案。4.2 时间同步与空间对齐识别准了但测量不准的隐藏元凶这是我在实际项目里踩过最深的一个坑。有一次我们某路段的感知输出目标的类别识别很准但距离测量时好时坏。一开始怀疑是模型精度不够后来发现是相机和雷达的频率不一样两台设备的时间戳没对齐。相机30帧每秒雷达20帧每秒每帧数据的时间基准差了那么几十毫秒。车速一快几十毫秒就意味着半米的距离偏差。空间对齐也是类似问题。每个传感器都有自己的安装位置和安装朝向如果外参没有统一到车辆后轴中心或者IMU中心这个参考点上那么你做任何几何计算都会带一个固定偏差。我见过一些团队外参标定完了但没有统一参考点结果左转右转时感知定位输出总是系统性偏移。这一类问题在代码层面其实很“低级”但在工程层面杀伤力极大。我建议团队在搭建系统时从第一天就要把“时间戳管理”和“坐标系管理”当核心基础设施来做而不要当成后期补丁。记录日志的时候每一帧数据都带全局统一时间戳每个目标的坐标都标注是哪个坐标系下的这是物理范式的基本素养。4.3 合成数据与增强现实验证在没有真车的地方测量自动驾驶的数据获取成本很高想覆盖各种极端天气、遮挡、稀有目标纯靠路采非常慢。于是业界开始大量使用仿真数据和增强现实混合数据来做训练和验证。简单讲合成数据就是把虚拟传感器放在虚幻引擎或者专用仿真器里渲染出图像和点云同时直接从仿真引擎里读出目标的位置真值。因为真值不是人工标注的而是引擎“测量”出来的所以精度极高。这正好是物理范式的延伸仿真世界里一切物理量都是已知的、可查的。增强现实验证则是把虚拟目标渲染到真实传感器数据里用来测试感知系统在“数据分布边缘”的表现。比如我想测“行人突然从车后横穿”这种场景现实里很难反复拍到这个瞬间但用AR方式可以合成出几百个角度版本。关键是渲染的时候要保证几何一致性虚拟目标的位置、尺度、光照阴影必须和真实传感器坐标系对齐否则模型学到的仍然是识别层面的伪相关而不是物理层面的真实测量能力。我特别推荐团队在进入量产或者demo阶段之前用合成数据做一次系统的“测量压力测试”把目标放在不同距离、不同角度、不同天气背景下看测量误差如何变化。这一步能在很大程度上预判实车测试时才会暴露的问题。5. 常见问题与排查技巧实录5.1 目标“识别出来”了但距离忽近忽远这是最常见的问题之一。表象是感知画面上框很稳但框下沿对应的距离值一直跳波动能到一米以上。我排查这种问题一般按顺序走。先查时间同步。是不是相机和雷达的时间戳没对齐导致测距用的点云和识别用的图像不是同一时刻的画面。再查滤波参数。卡尔曼滤波的过程噪声和测量噪声协方差设得对不对如果测量噪声设得太小滤波器就会对噪声很敏感输出也跟着跳。最后查数据关联。多目标跟踪时ID切换或者检测框和点云匹配错位都会让距离输出“跳变”。一个反直觉的经验是跳变不一定是测距传感器太差很可能是在ROI里提取点云时把背景点或者旁边目标的点也框进来了。你可以在回放工具里把每个目标关联到的点云高亮显示一眼就能看出是不是“张冠李戴”。5.2 相机标定看着没问题但测量出来的尺寸总是偏大这个问题我在做“物体尺寸测量”功能时遇到过。当时相机内参标定已经做了重投影误差也小于0.5像素但把锥桶放在10米外测量它的高度总是偏大5%左右。后来定位到的原因是镜头畸变模型只做了径向畸变和切向畸变的补偿但没有考虑安装面的微小倾斜。相机不是严格水平安装有一个大概0.5度的俯仰偏差而这个偏差在做单目测距时会被放大。解决方式有两个一是严格做外参校准用水平仪或者IMU来辅助确认安装姿态把安装角误差控制在0.1度以内二是在算法层面对“目标着地点”做修正不直接取检测框底边中点而是利用语义分割结果计算出目标与地面的接触多边形然后用接触多边形的几何中心去做投影。另外一个常见问题是量程越远像素量化误差占比越高。10米外一个1米高的目标在图像里可能只占30个像素每个像素的高度对应3厘米多。这种情况下你说“测量偏大”其实已经不好说到底是系统误差还是量化噪声了要做的事是增大传感器的分辨率或者融合雷达数据去约束距离。5.3 小目标和“低慢小”目标测不准“低慢小”是安防和反无人机领域的词指低空、慢速、小尺寸的无人机目标。在自动驾驶里类似的问题是远处的摩托车、小孩、宠物、施工锥桶。这类目标在图像里只有几百个像素甚至更少点云上也只落几根线测量精度天然上不去。我的经验是小目标测量不能指望单帧做到高精度要坚决走“多帧累积轨迹平滑”的路线。单帧测量可能误差一米但如果你连续观测30帧用恒速模型做拟合位置误差可以被压低不少。关键是跟踪要稳健千万别中途丢掉目标重来。还有一个操作细节为“小目标”单独设置一套感知策略比如降低检测置信度阈值但提高跟踪门槛避免“一露头就识别、一识别就乱测”的局面。与其追求单帧“识别到”不如保证连续帧“测到、跟住、测得稳”。5.4 传感器缺数据时测量系统怎么兜底最后说说“测量系统在传感器故障时的韧性”。常遇到的情况有激光雷达被泥水遮挡、摄像头逆光过曝、毫米波雷达在某些金属护栏前出现多径干扰。如果整个系统只依赖单一传感器测距那一关掉测量就崩。这里的补救思路正好回到前面说的软测量用别的不受影响的信号建模型把缺失的量“推”出来。比如相机过曝时可以主要依赖雷达点云测距雷达多径严重时可以用相机单目目标尺寸先验估算距离两个都不行了还有惯性传感器和车辆运动学模型根据目标历史轨迹做短时外推。我曾经在测试时遇到过一个极限场景测试车通过一个快速闸口闸口的金属结构让所有雷达回波都乱了摄像头又被逆光照得一团白。这时候感知系统就是靠“上一帧的目标位置当前自车运动”做运动学外推硬生生把目标跟过了整个闸口。虽然测量精度下降了但没有产生“目标消失”和“突然急刹”这种危险行为。这件事给我最大的启发是测量系统一定要设计多级降级策略而不是只追求传感器全都健康时的精度上限。按照我个人的经验做自动驾驶感知折腾到最后真正拉开团队差距的不是模型排名的零点几个点而是“测量”这一整套工程能力。识别给了你一个语义符号测量给你的是一个带误差范围的物理结论。前者能让你写出漂亮的论文后者才能让你的车安全地在路上跑。凡是认真做过实车项目的人一定会有同感与其天天盯着检测精度刷分数不如多花点时间把标定、同步、不确定性、测量验证这几件“笨功夫”做到位。这才是自动驾驶走向可靠量产的那条正路。