Waymo发布WOD-E2E端到端数据集：聚焦自动驾驶长尾挑战
尽管近年来自动驾驶技术取得了显著进步，尤其在高速及部分城市道路中已具备较高的辅助驾驶能力，但其广泛应用仍面临诸多挑战。自动驾驶的安全性并不仅仅取决于日常行驶中的99%常规场景，而更多受到那些发生频率低但后果严重的“长尾场景”影响。
设想一下，在高速公路上行驶时，突然有一头野猪从路边窜出，或者前方车辆掉落物品，这些虽然罕见，但一旦发生，系统必须迅速作出合理、安全的判断与响应。
为此，Waymo近期发布了WOD-E2E（Waymo Open Dataset for End-to-End Driving），旨在为端到端驾驶研究提供一个高真实度的测试数据集，专门聚焦于这类“长尾”场景。
该数据集的核心价值在于稀缺性与针对性。它并非简单地将常规行驶数据拼接，而是从大量实际驾驶记录中精挑细选出那些具有代表性的、危险性高但发生频率低的片段。这使研究人员能够将注意力集中于系统最容易出错的部分，从而推动安全性的提升。
相较于常规数据集的评估方式，WOD-E2E更强调通过关键片段揭示模型的潜在问题。在极端驾驶条件下，系统是否能及时刹车、避让或稳定车道，是衡量其是否具备实际部署能力的重要标准。通过公开这类数据，研究者可在统一、贴近现实的框架下比较不同模型的表现，优化训练目标，推动端到端驾驶系统迈向真正可落地的安全水平。
WOD-E2E数据集包含哪些内容？
该数据集共包含4021个20秒长的真实驾驶片段，合计约12小时。每个片段都捕捉了需要即时反应的复杂驾驶场景，并配套提供八个环绕摄像头（前后左右各方向）拍摄的图像，采样频率为10Hz。此外，还包括车辆的历史轨迹、速度与加速度等动态参数，以及诸如直行、左转、右转等高层导航指令。
训练与验证集中还提供了未来五秒的真实轨迹，便于开展监督学习与性能评估。Waymo对这些片段按照场景类型进行了分类，包括施工区域、复杂路口、行人或骑行者异常行为、多车道竞争、路面障碍物、特殊车辆交互等。每类场景都对应特定的决策挑战。
数据集中引入了Rater Feedback Score（RFS）作为评估指标。与传统的轨迹误差指标不同，RFS不仅关注模型预测轨迹与实际记录之间的差距，还考虑了在紧急情况下，偏离原轨迹是否有助于提高安全性。
RFS的评估方法是通过让模型生成多条候选轨迹，并由人工评估员从安全、合法、反应及时性、刹车必要性以及效率等多个维度进行打分。模型预测若落在参考轨迹的“信任区域”内，则获得对应分值；若偏离，则按照指数递减扣分，并设最低分保护机制。
这种评估体系强调与人类判断的一致性，允许存在多种合理动作，比单纯依赖距离误差更能反映系统在实际场景中的可接受性与安全性。
WOD-E2E对自动驾驶研究的潜在影响
当前的端到端驾驶研究有几种主流方法，各自在长尾场景中的表现有所不同。基于鸟瞰图（BEV）的感知与规划方法在空间一致性与全局路径决策方面表现突出，适用于复杂路口与多车道场景。
大语言模型（MLLM）因其具备世界知识与推理能力，能够将多模态输入映射到语义空间，更适合处理语义复杂或前所未见的情形。
而生成式或扩散模型则在轨迹生成的多样性方面具有优势，能够提供多个可行方案，便于后端系统进行风险比对与选择。
研究表明，在WOD-E2E上进行针对性微调、添加全环绕输入或在推理阶段引入多样本采样，可以有效提升RFS得分。此外，将RFS作为强化学习的奖励信号，也有助于引导模型向更符合人类偏好的方向优化。
WOD-E2E对行业实践的意义
该数据集为自动驾驶研究提供了一个更贴近现实问题的评估基准，有助于开发出更具针对性的算法。它促使研究人员不再单一追求与真实轨迹的贴合度，而是从训练目标、损失函数设计以及不确定性建模等多个维度进行优化。
对于产品开发团队而言，WOD-E2E可作为“加固集”使用：先通过大规模常规数据训练模型的基础能力，再利用该数据集进行微调与极限测试。在评估阶段，结合传统误差指标与RFS等人类偏好对齐的评估方式，有助于在日常表现与关键场景安全之间取得平衡。
值得注意的是，WOD-E2E不应被视为唯一的数据来源。合理的数据增强与情境合成可增强小样本的训练效果，但必须保持在动力学与视觉层面的真实性。
若目标是提升语义推理能力，可尝试将视觉与状态信息转化为结构化语义输入，再交由大语言模型处理高层决策；若强调实时性与空间一致性，则基于BEV的端到端架构仍是稳妥之选；若希望提供多种可行方案以支持后端比选，则生成式模型更具优势。将RFS纳入训练目标（例如作为强化学习奖励或辅助监督信号），将比单纯优化ADE（平均位移误差）更能提升在长尾场景下的模型表现。
结语
WOD-E2E的价值不仅在于其数据本身，更在于它推动了“长尾问题”与“人类偏好对齐”评估理念在端到端驾驶研究中的应用。这一数据集使得研究结果能在更具挑战性的环境中接受检验，也让工程团队在部署前对模型进行更深入的安全测试。
只有解决了这些关键时刻的安全问题，自动驾驶技术才能从实验室走向真实道路，真正实现持续、可靠、安全的运行。
编者注：本文内容参考Waymo发布的报告《WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios》。
-- END --
原文标题：Waymo最新发布的WOD-E2E端到端数据集能做些啥？