如何在边缘AI应用场景中实现高性能、低功耗推理（上）
AI市场正在经历深刻的转型。传统的AI处理模式主要依赖云端，即终端设备从各类传感器采集数据并上传至云平台进行推理与决策，再将结果反馈至终端。然而，这种模式对带宽提出了极高要求，尤其是在数据量庞大的场景下。
如今，边缘计算正逐步成为AI部署的主流趋势。边缘设备集成AI推理功能，能够在本地完成快速响应，从而显著降低延迟，提升数据安全性，并减少对云端的依赖。这种架构特别适合电池供电的IoT设备，因其具备低功耗、低成本、高自主性等优势，正被广泛应用于智能制造、环境监测等多个领域。
图 1：从云端推理到边缘推理的迁移
在这一趋势下，MCU（微控制器单元）因其低功耗、低成本、强实时性等特点，正逐渐取代MPU成为边缘AI的首选硬件平台。现代MCU不仅具备高度集成的硬件加速器，还能够支持神经网络所依赖的线性代数运算，如点积、矩阵乘法、卷积和转置运算。此外，行业也推出了为资源受限的MCU环境量身定制的微型神经网络模型、软件库及配套的生态系统。
使用RA8P1 AI加速MCU构建高效AI应用
瑞萨电子推出的RA8P1 MCU是一款专为边缘AI设计的高性能MCU。该系列集成了Arm Cortex-M85和Cortex-M33双内核，以及Ethos-U55 NPU，能够在AI推理、DSP处理和标量运算方面提供更强的性能与更低的功耗。
基于台积电先进的22nm ULL工艺，RA8P1展现出7300+ CoreMark的原始处理性能与高达256 GOPS的AI算力，满足了边缘设备对低功耗与高性能的双重需求。
这款MCU结合大容量内存与丰富的外设配置，能够直接在本地执行复杂的语音识别、图像识别和实时分析任务。其双核架构有助于任务分配与性能优化，同时内置的安全特性如TrustZone和不可变内存，为AI应用提供了更高的安全保障。
RA8P1中的Ethos-U55 NPU专为AI运算优化，能够高效执行卷积、矩阵乘法等关键操作。该处理器针对8位整型运算进行优化，大幅减少内存占用与功耗，同时保持推理精度。
瑞萨已通过实际测试验证了Ethos-U55 NPU的性能优势。在多个AI用例中，NPU相较传统CPU内核在处理效率与能效比方面表现出显著提升。
图 2：Ethos-U55 NPU相较CPU内核的AI性能提升
支持的AI模型
- 图像分类：ResNet8、MobileNet v2、MobileNet v3
- 关键词识别：DS-CNN
- 视觉唤醒词：MobileNet v1
- 对象检测：Yolo_fastest、Yolov8N
- 异常检测：ad_medium
通过RUHMI框架加速AI开发
RA8P1的AI解决方案依托瑞萨电子打造的RUHMI框架，为开发者提供了一套完整的工具链，支持快速构建与部署高优化的神经网络模型。
RUHMI具备模型优化、量化、图编译和格式转换等关键功能，兼容TensorFlow Lite、PyTorch和ONNX等主流ML框架。此外，该框架还提供针对RA8P1优化的即用模型示例和应用程序模板。
图 3：瑞萨RUHMI框架的AI开发流程
典型AI开发流程
- 模型优化与编译（离线）：将预先训练的模型通过TensorFlow Lite、PyTorch或ONNX导入，使用RUHMI优化工具进行量化为Int8中间格式，并分离运算符以适应NPU与CPU协作处理。
- 数据输入与预处理：MCU通过摄像头、麦克风等采集原始数据，并由Cortex-M85内核进行预处理。
- NPU执行推理：CPU将数据与模型指令发送至Ethos-U55 NPU，NPU读取模型并处理每一层神经网络。
- 输出与后处理：NPU完成运算后，将结果返回CPU，由其执行后处理逻辑。
RA8P1支持的边缘AI应用场景
凭借出色的推理性能和低功耗，RA8P1适用于多种AI应用。
典型应用包括：
- 语音AI：关键词识别、语音识别、语速识别、降噪、发音人识别。
- 视觉AI：目标检测、图像分类、手势识别、人脸识别、图像分析、驾驶员与车辆监控。
- 实时分析：异常检测、振动分析、预测性维护。
- 多模态应用：集成语音与视觉的智能HMI系统、增强型监控摄像头、具备多感官输入的机器人。
在下一部分，我们将通过两个具体应用案例，进一步探讨RA8P1在AI实现方面的实际价值。