自动驾驶中提到的“深度相机”是个啥？
在自动驾驶领域，传感器技术的演进是实现高精度环境感知的关键，而“深度相机”正是近年来受到广泛讨论的一种重要视觉感知设备。与传统RGB相机不同，深度相机能够在捕获颜色和纹理信息的同时，提供每个像素点与设备之间的距离数据，从而构建出目标物体的三维几何信息。
深度相机的引入，使得自动驾驶系统在路径规划、障碍物检测、距离评估等方面具备更直观的感知能力。特别是在复杂交通环境中，掌握空间结构比单纯识别颜色更具实际意义。
深度相机常见的三种工作原理
深度相机的工作方式多种多样，常见的包括立体视觉、结构光投影，以及飞行时间（ToF）技术。这些技术能够生成“深度图”或稀疏的点云数据，虽然形式上与激光雷达（LiDAR）的输出相似，但它们在工作原理、精度、成本与适用范围上存在显著差异。
1）立体视觉（Stereo Vision）
立体视觉通过模拟人眼的视觉机制，在固定基线间距下使用两个摄像头同步捕捉图像。通过比较左右视图中相同点的横向位移——即“视差”，再结合相机的内外参，可以计算出目标物体的深度。
该方法的优势在于硬件成本较低、图像分辨率较高，并且可通过增加基线长度和提升像素密度来增强测距能力。然而，立体视觉对光照条件、表面纹理和计算资源高度依赖，在无纹理、强反光或遮挡区域的匹配精度容易下降。
2）结构光与编码光（Structured Light）
结构光技术通过向场景中投射特定的光学图案（如条纹、点阵），利用相机观测图案在物体表面的变形情况，从而计算深度信息。该方法在近距离应用场景（如人脸识别、3D扫描等）中广泛应用。
结构光的优点包括高精度与较强的抗纹理依赖能力。但由于依赖主动光源，其在强环境光下的表现受限，难以在户外远距离场景中使用。此外，光源功率、可见性及安全性也是限制其车用扩展的重要因素。
3）飞行时间（ToF）
ToF技术通过测量光脉冲从发射到接收的时间差来计算距离，常用于短至中距离的深度测量。其主流实现方式包括脉冲ToF和相位ToF，后者通过调制光信号并分析其相位差来估算深度。
ToF的优势在于实时性好、算法计算量低，可以为每个像素点提供直接的深度值。然而，它在强光干扰、多路径反射及远距离精度方面仍存在局限。尽管工业级ToF已能实现数十米量级的测量，但在车载场景中仍需在分辨率、帧率与抗环境干扰方面进行工程优化。
除了上述三种方式，市场上也存在一些结合激光雷达原理的固态“闪光式”测距系统。不过，基于深度学习的单目深度估计技术虽能从单张RGB图像中推断出空间信息，但其结果通常是相对的、不确定的，只能作为辅助手段。
深度相机与普通相机的关键区别
普通相机主要负责获取视觉内容，即每个像素的RGB值；而深度相机不仅提供颜色信息，还能给出精确的距离数据，从而直接构建三维空间模型。
深度相机的硬件设计通常更复杂。例如，结构光和ToF系统需要配备主动光源和高精度同步电路，而立体视觉系统则对基线精度和标定提出了更高的要求。因此，深度相机在功耗、成本与实现复杂度方面通常高于普通相机。
深度数据通常以单通道数值形式呈现，需结合相机参数转换为三维点云后，才能用于后续的感知任务。而RGB图像更适合输入到目标检测和语义分割模型中。因此，在自动驾驶系统中，常见的做法是将两者融合：利用RGB进行语义识别，使用深度信息进行空间推理与定位。
此外，不同类型的深度相机在环境适应性方面各有短板。例如，立体视觉在无纹理或暗光条件下失效；结构光在强光下容易失效；而ToF在阳光直射或红外干扰下也会出现噪声问题。因此，自动驾驶系统通常采用多传感器融合策略，以覆盖各种复杂工况。
深度相机的局限性
尽管深度相机能够提供三维空间信息，但在实际应用中仍面临诸多挑战。首先，测距精度与距离之间存在矛盾：距离越远，误差越明显。
以立体视觉为例，若想提升远距测距能力，需加大基线距离或提升图像分辨率，这不仅受限于安装空间，还会带来更高的计算负担。ToF虽然在近距表现良好，但若要实现远距高精度测距，则需要更复杂的光学系统与接收器，导致成本和功耗上升。
结构光则更适合短距离使用，在强光、远距离场景中难以满足实际需求。此外，光线反射特性也会影响深度相机的稳定性。例如，金属、玻璃、潮湿表面或逆光环境下，深度信息可能变得失真或无法读取。
深度图的分辨率和噪声问题也不容忽视。多数车用深度相机输出的深度图像较为粗糙，难以满足高精度识别需求。虽然可以通过算法优化或结合RGB图像进行补全，但这会显著增加系统计算压力。
在系统集成方面，深度相机对安装精度、温漂补偿及实时标定提出了严格要求，尤其是在车辆运行过程中，震动与温变可能影响测量稳定性。因此，实际部署时需配备高精度支架和实时校准机制。
此外，深度相机仅能感知其视野范围内的物体，对遮挡目标无能为力。这也是为何自动驾驶系统通常不会单独依赖深度相机进行环境感知的原因。
虽然立体视觉在硬件上看似简单，但若要真正实现车规级应用，还需通过防尘、防水、热设计等测试，并配备高算力芯片和稳定的数据处理链路。这些因素都会显著增加系统成本。
深度相机的适用场景与传感器融合策略
在自动驾驶系统的设计中，深度相机并非万能，而是根据任务需求、场景特点与成本限制进行选择。在低速、近距离场景（如自动泊车、驾驶员监控）中，结构光或ToF因其高精度和可控环境而被广泛采用。
对于需要高精度几何信息的场景，如障碍物边界识别或高精度定位，高分辨率立体视觉是一个性价比高的选项，但其对视差算法和标定系统提出了更高要求。
而在高速公路或远距离感知任务中，激光雷达与毫米波雷达仍是主力，因其具备更强的环境适应能力与测距精度。深度相机则作为视觉感知的补充，在三维空间建模、近距障碍物筛选等方面发挥重要作用。
多传感器融合策略是实现自动驾驶系统鲁棒性的关键。例如，将深度图与RGB图像结合，用于目标识别和语义分割；将雷达用于速度估计与恶劣天气下的稳定探测；将激光雷达用于远距高精度定位。这种组合不仅提升了感知精度，也降低了部分计算负担。
当然，将深度相机应用于实际车辆中，还需解决诸多工程问题，如传感器同步精度、数据传输压缩、实时噪声抑制、环境退化检测与故障切换机制等。
总而言之，深度相机作为自动驾驶感知体系的重要组成部分，虽不具备绝对优势，但其提供的三维空间信息是其他传感器难以替代的。真正成熟的方案，总是以多传感器协同工作为基础，实现“看得清”与“看得稳”的双重目标。
— END —
原文标题：自动驾驶中提到的“深度相机”是个啥？