自动驾驶中的“深度相机”究竟意味着什么？
在自动驾驶技术的发展中，传感器系统的构建至关重要。其中，视觉方案被广泛采用，但传统RGB相机仅能提供颜色与纹理信息，缺乏深度感知能力。为解决这一问题，部分技术路径引入了“深度相机”的概念。与普通相机不同，深度相机能够为每个像素提供其与相机之间的距离数据，从而实现三维空间的感知。在车辆决策过程中，了解物体与车辆的距离比单纯识别其颜色更为关键，例如在判断碰撞风险、刹车时机或路径规划时，深度信息必不可少。
深度相机的三种典型工作原理
深度相机的实现方式多种多样，常见的包括立体视觉系统、结构光/编码光技术，以及飞行时间（ToF）传感器。这些方式通常生成深度图（depth map）或点云数据，其功能与激光雷达（LiDAR）相似，但在工作原理、精度、成本及适用场景上各有千秋。
1. 立体视觉（Stereo Vision）
立体视觉模仿了人类双眼的视觉机制，通过两个相机以固定基线采集图像，利用视差（disparity）计算出物体距离。这一技术依赖于精准的图像匹配算法，其性能在无纹理或重复纹理表面、强光反射或遮挡区域容易下降。
该方案的优势在于使用普通相机即可实现，具备成本低、分辨率高的潜力。但其对光照、纹理和计算资源较为敏感，特别是在远距离测距时，深度精度迅速下降。
2. 结构光与编码光（Structured Light）
结构光技术通过向场景投射已知图案（如点阵或条纹），再由相机捕捉其在物体表面的变形，从而反推深度信息。该方法常见于人脸识别、3D建模等短距离应用，其优势是精度高且不依赖环境纹理。
然而，结构光对环境光极为敏感，在强光条件下容易失效。其适用范围通常在几厘米到几米之间，对于几十米的车载场景来说，存在功率、可见性与安全性方面的挑战。
3. 飞行时间（ToF）
ToF传感器通过测量光脉冲往返时间或相位差来计算距离。其中，脉冲ToF适用于远距离测距，而相位ToF则在中短距离应用更为广泛。
ToF的优势在于可提供像素级深度信息，算法复杂度低且响应速度快。然而，其也存在多路径干扰、对强光敏感，以及在分辨率与测量范围之间需要做出权衡等局限。
除了以上技术，还存在一些混合方案及更接近LiDAR的固态“闪光式”测距系统。而基于单目图像的深度估计技术虽然能提供距离信息，但其结果往往缺乏绝对尺度，通常仅作为辅助信息。
深度相机与普通相机的关键区别
普通相机仅提供RGB图像信息，而深度相机能够同时提供颜色与深度数据。深度信息可直接用于三维重建、障碍物检测与定位，而普通相机则需要依赖视觉算法（如特征匹配或单目深度估计）来间接推断距离。
普通相机设计重点在于图像质量，而深度相机则需集成光源系统、高精度同步时钟或精确标定结构，从而在复杂环境下提供稳定可靠的深度数据。这意味着深度相机在硬件设计、功耗与成本方面通常高于普通相机。
深度图通常为单通道的浮点或整型距离数据，需结合相机内参转换为三维点云，用于感知模块。相比之下，RGB图像更适合输入目标检测与语义分割网络。两者各具优势，深度数据擅长几何推理，而RGB图像更擅长识别物体类别与外观。
在实际应用中，自动驾驶系统通常采用RGB与深度数据融合的方式，利用前者进行识别，后者实现定位与空间判断。
深度相机的局限性
尽管深度相机提供了直观的三维感知能力，但它并非万能。在车载场景下，其表现受到多方面限制。
首先，远距离测距精度受限。立体视觉依赖视差计算，距离越远，视差越小，误差越大。提高精度需增加基线或分辨率，这在车载条件下往往不可行。
其次，环境光与物体表面特性对测量造成影响。强光、雪地反光、金属表面或玻璃等都可能干扰传感器的性能。例如，ToF可能受多次反射干扰，结构光在透明或镜面表面失效，而立体视觉在无纹理区域表现不佳。
深度图分辨率不足是另一个问题。许多车载深度相机输出的点云稀疏、噪声大，难以满足高精度感知需求。虽然可通过算法优化，但这进一步增加了计算负担。
此外，深度相机对计算资源和稳定性有较高要求。立体视觉需进行大量图像匹配，对算力要求高；而ToF在数据后处理方面也需解码、去噪与路径校正，资源消耗较大。
标定精度和稳定性也是关键挑战。特别是立体视觉系统，摄像头位置微小偏移就可能导致深度结果偏差。车载环境中的震动、温度变化等都会影响标定效果。
最后，深度相机仅能感知可见区域，被遮挡物体无法测得。因此，它通常作为多传感器系统的一部分，与其他感知手段（如激光雷达和毫米波雷达）协同工作。
深度相机的应用场景与传感器融合策略
在自动驾驶系统设计中，传感器选型需结合具体任务与场景。例如，在低速自动泊车、车内监测等近距离应用中，ToF或结构光具备高精度和低成本的优势。
对于高速公路等远距离场景，激光雷达和毫米波雷达仍是主要感知手段。深度相机可作为补充，与激光雷达、毫米波雷达及RGB图像融合，以提升感知可靠性。例如，通过深度图快速筛选近距障碍物，利用RGB图像进行语义识别，使用毫米波雷达估计速度，并依赖激光雷达实现远距精确定位。
此外，在实际部署中还需考虑多个工程因素，如传感器布局、时间同步、数据传输与压缩策略、环境退化检测机制、冗余与故障切换等。这些是将深度相机从实验室推向车规产品过程中必须解决的挑战。
-- END --
原文标题 : 自动驾驶中提到的“深度相机”是个啥？