PhysX-Omni:开启物理3D生成新纪元,实现刚体、形变、关节物体一体化建模
在物理感知与模拟领域,赋予机器“物理直觉”是实现具身智能的关键。由大晓机器人与南洋理工大学联合开发的 PhysX-Omni,标志着3D内容生成技术的重大革新。
研究团队摒弃了传统的分类型建模方法,直接针对“物理属性缺失”的核心问题,提出了一种将绝对尺度、材料属性、运动学结构与交互能力与几何形态同步生成的创新思路。通过引入模板化 RLE 表征方式,PhysX-Omni 在保留高分辨率几何细节的同时,完整编码了物体的各类物理信息。
这一技术突破,使得“生成即仿真”的理念得以实现,为机器人训练提供了大量低成本的高质量数据,大幅加速了智能系统的核心研发进程。
全球首个统一物理3D生成框架
PhysX-Omni 构建了全球首个统一物理3D生成框架,成功实现了刚体、可形变物体与关节物体的一体化建模。该框架能够同步生成绝对尺度、材料参数、运动学结构和交互能力等关键物理信息,使AI生成的3D模型具备真实物理行为。
该框架的核心创新在于,采用面向视觉语言模型的模板化RLE几何表征方式。受传统二维游程编码启发,研究团队先将3D模型体素化,并按部件层级拆分,再沿Z轴切分为二维二值掩码进行压缩编码。同时引入模板层机制,使结构相似的切片共享基础模板,仅记录差异信息,从而在确保几何细节的同时,大幅减少了数据量,并避免了传统分割方法带来的误差。
此前,大多数3D生成方法仅关注几何结构与视觉效果,忽视了物理属性与运动规律的建模。生成的模型往往在进入仿真场景后出现穿模、尺寸不符、关节失效等问题,无法满足真实交互与机器人训练的需求。PhysX-Omni 的推出,有效破解了这一行业瓶颈。
构建首个通用仿真就绪物理3D数据集 PhysXVerse
PhysXVerse 是全球首个通用仿真就绪物理3D数据集,彻底解决了物理AI和具身智能领域长期面临的高质量物理3D数据稀缺的问题。
该数据集基于 PartVerse 的部件分割结果,通过人机协作的精细标注流程构建,最终包含超过8,700个高质量3D资产,覆盖2,900多个类别,涵盖室内家具、无人机、机器人、车辆以及大型场景组件等。
与现有数据集相比,PhysXVerse 不仅保留了高精度几何和视觉信息,还完整标注了绝对尺度、材料参数、运动学结构和交互能力等关键物理属性,为物理3D生成模型的训练提供了标准化的数据基础,推动3D生成从“视觉可用”迈向“物理可用”。
首个物理3D生成基准评测集 PhysX-Bench
为了解决物理3D生成领域缺乏统一评价标准的问题,研究团队推出了 PhysX-Bench —— 全球首个物理3D生成统一基准评测集。
该评测体系依托开源视觉语言模型 Qwen3.5 与物理仿真引擎,采用无真值评测模式,通过渲染图像与仿真视频进行评估,更加贴合人类感知与机器人应用的真实需求。评测框架从几何结构、绝对尺度、材料属性、交互能力、运动学一致性、语义描述六大维度构建,通过自由落体、水中下落等物理实验间接验证材料参数,并通过视频分析验证关节运动的合理性。
PhysX-Bench 为不同物理3D生成方法提供了标准化的对比平台,可准确衡量生成模型的物理真实性与仿真可用性,为物理AI与具身智能的发展提供了统一的评估标尺。
PhysX-Omni 在性能上全面领先
研究团队将 PhysX-Omni 与 PhysXGen、Articulate-Anything、MonoArt 及 PhysX-Anything 等最新物理就绪3D生成模型进行了系统性对比,并在 PhysXVerse 和 PhysX-Mobility 数据集上进行了大量实验。实验结果显示,PhysX-Omni 在几乎所有几何与物理属性指标上均表现最优,展现出统一物理生成框架的显著优势。
在物理属性预测方面,特别是在绝对尺度评估中,PhysX-Omni 相比 PhysXGen 和 PhysX-Anything 的误差降低了两个数量级,证明其对真实世界物理尺度的理解能力更强。在材料属性、交互能力、语义描述及运动学建模方面,PhysX-Omni 同样表现出色。其中,运动学建模的提升尤为突出,表明其更擅长推理关节结构与运动约束,从而生成具备真实物理行为的关节型资产。
在 PhysX-Bench 的真实场景评估中,PhysX-Omni 在复杂类别和野外挑战任务中表现出更强的鲁棒性。实际测试表明,其生成的3D资产可直接用于物理模拟器,支撑机器人执行开关柜门、操作咖啡机等交互任务,并具备场景级建模能力,为具身智能的大规模训练提供了坚实基础。
为具身智能构建物理世界基石
PhysX-Omni 通过统一的物理3D生成技术,实现了从文本描述到可直接仿真的物理资产的端到端建模,为具身智能系统提供了高效、低成本的训练数据生成方案。
该系统可批量生成具备真实物理属性的各类物体与机器人模型,无需人工标注或后期调整,显著降低了训练数据的获取成本。其生成的模型在物理参数上高度贴近现实,提升了机器人在真实世界中的适应能力。
除了单个物体,PhysX-Omni 还支持从2D图像或文本描述生成完整的仿真就绪场景,可快速构建家居、工业、办公等多样化交互环境,满足导航、操作、协作等复杂任务的训练需求。
其生成的3D资产可直接导入主流物理仿真平台,用于机器人执行开关柜门、操作咖啡机等真实交互任务的训练与验证,显著缩短了具身智能系统从研发到部署的周期。
在更宏观的训练环境和世界建模层面,研究团队进一步拓展了 PhysX-Omni 的能力,结合现有方法实现场景级仿真就绪生成。通过将3D布局与可交互物体结合,构建符合物理规律的完整室内外场景,为机器人导航、多智能体协作与复杂环境交互等高级任务提供训练基础,也为具身智能构建物理世界的整体认知,迈向通用物理建模提供了重要支撑。