Waymo推出WOD-E2E端到端数据集：聚焦长尾场景的自动驾驶测试新工具
近年来，自动驾驶技术在高速与部分城市道路的应用中展现出较强的辅助驾驶能力。然而，这项技术尚未实现大规模落地，关键原因在于，自动驾驶的安全性不仅取决于常见场景的处理效果，更在于那些发生概率低但后果严重的极端情况。
设想这样一个场景：在高速公路上行驶时，一只野猪突然从路边冲出，或前方车辆掉落物品。这些场景虽然罕见，却对自动驾驶系统的反应提出了极高要求。
为应对这类挑战，Waymo最近发布了一个名为WOD-E2E（Waymo Open Dataset for End-to-End Driving）的数据集，专门聚焦于长尾驾驶场景，旨在为端到端驾驶研究提供高质量、高逼真的测试资源。
该数据集的价值在于其稀缺性与针对性。它并非简单堆砌普通驾驶片段，而是从数以亿计的实际驾驶数据中筛选出那些罕见但关键的危险场景，帮助研究人员定位系统中最薄弱的环节。
相较于常规数据，WOD-E2E强调在极端条件下模型的行为表现。例如，系统是否能及时刹车、避让或稳定行驶，都是衡量其安全性的核心指标。通过共享此类数据，研究者可以在统一标准下评估不同方法的性能，从而推动端到端驾驶模型从“能运行”迈向“可安全部署”。
WOD-E2E数据集包含哪些内容？
WOD-E2E由4021个20秒长的真实驾驶片段构成，总时长约12小时，聚焦于需立即响应的极端场景。每个片段均配备八个环绕摄像头图像（涵盖前后左右多个视角），采样率为10Hz，并包含车辆的历史轨迹、速度、加速度以及高层路由指令，如直行、左转或右转。
训练集与验证集中还提供了未来五秒的真实轨迹，便于监督训练和性能评估。Waymo将这些片段按场景类型进行了分类，涵盖施工区、复杂路口、行人或骑行人异常交互、多车道竞争、路面异物、特殊车辆交互等，每种类型都对系统的决策能力提出了不同挑战。
WOD-E2E还引入了与人类偏好对齐的Rater Feedback Score（RFS）评价体系。传统轨迹误差指标通常关注模型预测与真实轨迹的距离，但在紧急避险情境中，偏离轨迹反而可能是更安全的选择。
RFS机制通过让模型生成多条候选轨迹，由人工评估员从安全性、合法性、反应时机、刹车必要性等多个维度进行评分，构建参考轨迹集合。模型预测若落在参考轨迹的“信任区域”内则获得相应分数；偏离程度越高，得分越低，但设有最低分保障。
这种评分机制允许存在多种合理决策路径，强调与人类判断的一致性，比单纯的轨迹误差更能体现系统在复杂场景下的可接受性和安全性。
当前主流端到端方法的表现
在端到端自动驾驶研究中，存在多种主流方法，每种在处理长尾场景时各有侧重。
- 基于鸟瞰图（BEV）的感知与规划方法在空间一致性与全局路径规划方面表现突出，适用于复杂路口和多车道决策。
- 利用多模态输入并通过大语言模型（MLLM）进行推理的方法，更擅长应对语义复杂或前所未见的场景。
- 生成式或扩散模型则在轨迹多样性方面表现优异，可提供多个可行路径供后端评估。
研究表明，通过在WOD-E2E上进行针对性微调、扩展环绕输入或在推理过程中使用多样本采样，可显著提升RFS得分。此外，将RFS作为强化学习的奖励信号，有助于引导模型更贴近人类偏好。
WOD-E2E对自动驾驶技术发展的推动
WOD-E2E为自动驾驶研究提供了一个更贴近现实挑战的基准，有助于设计出更具针对性的算法。它鼓励研究人员在模型训练、损失函数设计以及不确定性建模等方面进行创新。
对工程团队而言，该数据集可以作为产品安全性的“加固工具”。开发流程中，可以先利用大规模常规数据训练模型的基础能力，再通过WOD-E2E进行微调和压力测试，结合传统误差指标与RFS等人类对齐评价体系，以确保系统在日常场景中表现稳定，同时在关键情况下具备更优的决策能力。
需要注意的是，WOD-E2E应与其他数据源结合使用。合理的数据增强和情境合成可以增强小样本数据的利用率，但必须保持视觉与动力学的真实性。
若目标是提升语义推理能力，可尝试将视觉与状态信息转化为结构化指令输入至MLLM；若更关注实时性和空间一致性，基于BEV的端到端方法仍是可靠选择；如需提供多种轨迹以供风险评估，则生成式或扩散模型更具优势。将RFS融入训练目标（如作为强化学习奖励或辅助监督信号）将比单纯优化ADE（平均轨迹误差）更能提升模型在长尾场景下的鲁棒性。
结语
WOD-E2E的价值不仅在于其内容本身，更在于它将“长尾问题”与“人类偏好对齐”评估纳入端到端驾驶研究的核心议题。它为学术界和产业界提供了一个在极端条件下验证技术成果的平台，也有助于工程团队在部署前对模型进行更全面的加固。
解决好这些问题，是推动自动驾驶从实验原型迈向可信赖产品的关键一步。
编者语：本文参考报告：《WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios》。
-- END --
原文标题：Waymo最新发布的WOD-E2E端到端数据集能做些啥？