自动驾驶中提到的“深度相机”是个啥？
自动驾驶技术的发展离不开多样化的传感器支持，其中，基于视觉的解决方案在众多方案中占据重要地位。然而，传统的RGB相机难以直接获取环境的深度信息，这就引出了“深度相机”这一技术概念。简单来说，深度相机不仅能够捕捉图像的颜色和纹理信息，还能提供每个像素点与摄像头之间的距离数据。在自动驾驶系统中，这种深度信息对于判断障碍物的距离、规划路径、控制刹车等关键决策具有不可替代的价值。
深度相机常见的三种工作原理
目前，深度相机主要依赖三种技术原理：立体视觉、结构光与编码光、以及飞行时间（Time-of-Flight, ToF）。这些方法通常生成深度图（depth map）或点云数据，与激光雷达（LiDAR）产出的数据在某些功能上存在重叠，但在精度、成本、工作距离和应用场景等方面仍有明显差异。
1）立体视觉（Stereo）
立体视觉的工作原理类似于人眼的视觉机制，通过两台相机并排安装，利用它们之间的基线距离捕捉同一场景。两幅图像中同一目标点的位置差异（即视差）可用于计算其深度。该方法依赖于图像匹配算法，但在无纹理区域、重复纹理或强反光条件下，匹配准确率会显著下降。
立体视觉的优势在于硬件成本相对较低，分辨率潜力大，且可通过增加基线长度进一步提升感知距离。然而，其性能受限于光照条件、纹理复杂度和计算资源。
2）结构光与编码光
结构光技术通过在目标表面投射特定的光图案，并利用相机捕捉其变形情况，从而反推出目标的深度信息。该技术常见于短距离应用场景，如人脸识别或人体建模，其优势是精度高、对纹理依赖小，因为光源本身提供了“结构信息”。然而，它对环境光敏感，在强阳光下容易失效，因此适用于几厘米至几米范围内的应用。
3）飞行时间（ToF）
ToF相机通过测量光脉冲的往返时间，或利用连续波的相位差来计算目标距离。该方法在实时性和计算复杂度方面表现较好，尤其适合中短距离应用。但其也存在多路径干扰、对强光敏感以及分辨率受限等问题。尽管工业级ToF设备可以支持数十米的测距范围，但在车载场景下，其性能仍需在功耗、分辨率和抗干扰能力之间进行取舍。
除上述三种外，也存在融合多种原理的混合方案或与激光雷达类似的固态测距设备。但需要注意的是，基于学习的单目深度估计并非真正的深度相机，它通过算法从单张图像推测深度，缺乏绝对尺度，通常仅作为辅助信息。
深度相机与普通相机的关键区别
普通RGB相机输出的是亮度与色彩信息，而深度相机在此基础上增加了三维空间信息的采集能力。深度数据可以直接用于障碍物检测、定位和三维建模，而普通相机则需通过特征匹配或结构从运动等方法间接推算距离。
在硬件设计方面，普通相机追求的是高分辨率、宽动态范围和低噪声；而深度相机通常需要集成额外光源（如结构光、ToF）、高精度时钟系统以及严格的安装标定。尽管立体视觉系统可以基于普通相机搭建，但对同步性与标定精度要求更高，因此整体复杂度和成本往往更高。
深度图通常是单通道数据，需要结合相机内参转换为三维点云，以供后续感知模块使用。而RGB图像更适合输入目标检测或语义分割模型。在实际应用中，常将RGB与深度信息融合，前者用于识别目标类别，后者用于空间推理。
值得注意的是，深度相机在复杂环境下的表现仍有局限，例如暗光条件对立体视觉系统造成干扰，强光环境下结构光易失效，ToF在强日照条件下噪声显著增加。因此，多传感器融合仍是自动驾驶系统提升感知可靠性的关键路径。
深度相机的缺点有哪些
深度相机虽然能够提供直观的三维空间感知，但在实际车载应用中仍面临诸多挑战。首先，距离与精度之间存在固有矛盾。立体视觉依赖视差原理，距离越远，视差越小，测量误差随之增大，需要通过增加基线或分辨率来提升精度，但这些手段又受限于安装条件和成本。
环境光和目标表面特性也对深度相机造成显著干扰。阳光、雪地反光、玻璃、金属等高反射或透明表面会导致信号失真或丢失。此外，在恶劣天气如雨雪、雾天或夜间环境下，深度测量的稳定性也会明显下降。
在分辨率方面，许多车载级深度相机输出的深度图往往较为粗糙，点云稀疏、噪声高，难以满足细小物体识别或复杂边缘检测的需求。尽管可以通过算法增强，但这会带来额外的计算开销。
在计算资源方面，无论是立体视觉的图像匹配，还是ToF的多频信号处理与噪声抑制，都对系统性能提出较高要求。而车载系统在功耗与算力之间必须寻求平衡。
此外，深度相机对标定精度和稳定性要求较高，尤其是立体视觉系统对两相机的相对位置极为敏感。在车辆运行中，振动、温漂和轻微碰撞都可能影响标定结果，因此需要配备更坚固的安装结构和实时校准算法。
最后，深度相机在感知盲区方面也存在固有缺陷，例如无法“看见”被遮挡的物体，因此需与其他传感器配合使用。虽然立体视觉系统理论上使用普通相机即可实现，但在车规级应用中，其集成难度和成本远高于普通视觉系统。
什么时候用深度相机，怎样组合其他传感器
在自动驾驶系统中，深度相机的使用需根据任务和场景灵活选择。对于短距离、低速、结构化场景（如自动泊车、车内监控），ToF或结构光是较为合适的选择。而在需要高精度定位或障碍物边界识别的场景中，立体视觉搭配高分辨率相机是一种性价比较高的方案，但前提是具备足够的计算能力和可靠的在线校准机制。
对于高速或远距感知任务，激光雷达和毫米波雷达仍是主要选择。激光雷达在远距分辨率和精度方面具有显著优势，而毫米波雷达在恶劣天气下的鲁棒性更强。此时，深度相机可作为三维感知的补充，与RGB相机、雷达和激光雷达进行多传感器融合，发挥各自优势。
在实际部署中，还需考虑传感器安装位置、视场覆盖、数据同步、传输带宽、在线去噪、异常检测、降级策略及冗余机制等问题。这些细节对于实现车规级深度相机系统的稳定性与可靠性至关重要。
-- END --
原文标题 : 自动驾驶中提到的“深度相机”是个啥？