智元实现VLA端侧部署性能跃迁，推理效率突破性提升15倍
在具身智能领域，VLA（视觉-语言-动作）模型的部署一直受到算力瓶颈的制约，长期依赖外置桌面端显卡作为“外挂”解决方案。这种方式不仅推高了部署成本，限制了部署灵活性，还带来了显著的端侧推理延迟，严重制约了机器人作业流程的流畅性。
智元新创团队聚焦行业核心难题，推出算法与工程协同优化的系统性解决方案，成功将π0.5 VLA模型在NVIDIA Jetson Thor平台上的推理帧率从1.4Hz提升至22.1Hz，性能提升超过15倍。该成果超越了当前行业主流的开源方案，成为端侧推理领域的全新标杆。
行业对标：数据定义端侧推理新高度
智元将自身优化方案与当前业内主流的π0.5端侧性能优化方案进行多维度对比测试，结果显示其优化成果在多个关键指标上显著领先。此次突破并非仅依赖模型剪枝与量化等单一手段，而是通过工程优化与编译技术的深度融合，构建了系统性、可复制的性能提升体系。
性能跃升背后：三大技术突破
智元的15倍性能提升建立在一套完整的、可复制的端侧优化技术体系之上，覆盖模型优化、编译适配与部署集成的全链路关键路径：
- 首次实现π0.5模型在Jetson Thor芯片上的完整推理，并在精灵G2机器人上完成真机验证，打通模型到实际部署的完整链条。
- 深度适配Jetson Thor的硬件架构，依托TensorRT和Model Optimizer工具链，围绕FP8/nvFP4低精度量化、高性能算子开发等核心环节持续优化，取得多项技术突破。
- 基于自研的一站式算法发布平台，构建“模型优化-量化编译-集成发布-端侧部署”的全流程标准化体系，使高性能端侧部署成为可标准化、可复制的服务。
五大协同优化策略：实现性能代际突破
在行业仍以单一技术路径寻求性能提升时，智元通过五大优化策略的系统协同，实现了端侧性能的代际跃迁：
- 全栈Jetson Thor推理系统搭建：优化底层架构，实现JAX/PyTorch的推理与模型转换，确保π0.5模型在Jetson Thor平台稳定运行。
- 算法逻辑重构：通过批量处理提升特征提取效率，重构AE（Action Expert）的计算依赖结构以促进计算融合，提升图计算性能。
- 双路径编译优化：
- 利用PyTorch编译结合Triton加速，满足前期快速验证需求；
- 通过自研编译器路径，融合TVM与TensorRT，深度挖掘Jetson Thor硬件潜力，实现性能最优。
- FP8/nvFP4低精度量化：针对π0.5模型中占比超85%的线性层与MHA层，实施低精度量化优化。在Jetson Thor硬件支持下实现性能跃迁，同时MSE损失控制在0.53%以内，平衡性能与精度。
- 实际业务场景下的剪裁优化：结合具体任务需求优化AE模块，合理减少迭代次数，通过局部微调保持推理精度，实现效率与效果的双重提升。
技术突破的核心价值：开启具身智能规模化落地
此次性能跃升不仅是一个数字上的进步，更重要的是解决了VLA模型端侧部署的根本性难题，为具身智能的规模化落地扫清障碍：
- 摆脱外挂依赖：机器人本体即可承载先进VLA模型，无需外挂桌面端显卡，同时摆脱网络通信瓶颈，降低部署成本并提升场景适配能力。
- 提升作业流畅性：22.1Hz的端侧推理帧率使机器人具备更敏捷的响应能力，决策与执行之间的衔接更加紧密，任务执行更加自然流畅。
- 树立行业新标杆：该性能不仅远超此前最优的11.7Hz，更验证了Jetson Thor平台在运行前沿大模型方面具备巨大潜力，为端侧智能发展提供明确方向。
优化效果实测：动作响应更加敏捷
在真机演示中，机器人动作表现更敏捷、响应更迅速。此外，在LIBERO评测基准下，模型精度的损失几乎可以忽略不计，进一步证明了优化策略的高效性。
未来展望：深耕端到端优化，引领端侧智能进化
从1.4Hz到22.1Hz的飞跃，不仅标志着推理性能不再成为端侧算法部署的瓶颈，也体现了智元通过持续科研输出推动技术演进的决心。未来，智元将持续在低比特压缩、编译优化、算子引擎等关键技术领域深入攻关，不断拓展复杂模型端侧部署的性能边界。
更重要的是，这套系统化、可复制的优化方法论，不仅能推动更多VLA架构模型实现端侧落地，还将为行业构建“科研突破—技术转化—生态赋能”的良性循环，引领端侧智能从“局部优化”迈向“系统进化”。
作为具身智能领域的科研深耕者，智元始终坚持核心技术自研与持续创新的路线，本次实践所沉淀的系统优化方法论，正是其科研成果的重要体现。智元将持续科研深耕，推动具身智能技术的普惠化发展，让每台机器人都具备高效、智能的本地“大脑”，在各行业实现更广泛的部署应用，为人机协作的未来场景开辟更多可能性。
关于上海智元新创技术有限公司
AgiBot致力于融合AI与机器人技术，打造世界领先的通用实体机器人及其生态系统。公司成立于2023年2月，创始团队由经验丰富的行业专家组成，涵盖全球科技巨头的高管与顶尖AI科学家。
AgiBot构建了“具身智能+AI”全栈机器人平台，旗下包括元征、灵犀、Genie三大机器人系列，广泛覆盖商业应用场景。作为全球首批实现具身机器人规模化量产与商业落地的企业之一，AgiBot的产品已进入多个国家和地区市场。