【仪表网 行业标准】按照中国电子工业标准化技术协会团体标准制修订项目工作安排，标准起草组已完成《人工智能 边端设备模型部署工具链功能要求》团体标准(项目号：CESA-2022-039)征求意见稿的编制工作。现按照协会《团体标准制修订程序(试行)》的要求，公开征求意见。 意见反馈邮箱standards@cesa.cn、yangyz@cesi.cn，截止时间2023年6月18日前。
随着5G与AI的快速发展，边端设备上运行AI算法成为了IoT的主流方式。对于移动终端和IoT设备，由于硬件资源限制，云侧的模型和推理运行框架体积太大，无法直接部署，因此模型的压缩和运行框架的轻量化成为移动终端和IoT设备上部署的关键。在AIoT的趋势下，边端设备资源受限的条件下，需部署轻量的AI算法模型用于语音、视觉等应用。致力于围绕该产业的各个厂商设计生产了针对深度学习从训练、优化、部署、硬件加速的各种工具。如主流的模型训练框架TensorFlow、Pytorch、Caffe和MXNet等。硬件上如超低算力的MCU，定制化的AI芯片等以及语音模组、视觉模组等封装模块产品。该产业应用范围广泛，但缺少标准化流程及规范。
本标准针对以上问题，致力于解决AIoT产业所面临的碎片化问题，加速AI的部署和普及，极大地降低了面对不同硬件和场景而迁移平台的成本和开发周期。
本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。
本文件给出了边端设备模型部署工具链的组成框架，规定了其功能要求。本文件适用于人工智能领域深度学习模型在边端设备实时性运行能力的设计、研发、推广和应用。
模型压缩模块：
模型压缩模块要求包括：
a) 应支持一种主流训练框架(如Tensorflow,Pytorch,MindSpore,PaddlePaddle 等)，宜支持一种以上训练框架。
b) 应支持剪枝、量化、知识蒸馏三种模型压缩功能，宜支持神经网络搜索、超参数搜索、自定义算法接入。
c) 应支持主流数据格式的模型转换。
d) 宜支持单卡训练、多卡训练及分布式训练。
辅助功能模块：
1.授权接口
授权接口要求包括：
a) 应支持在线授权方式。
b) 应支持离线授权方式。
2.模型版本管理
模型版本管理要求包括：
a) 应支持模型版本回退。
b) 应支持模型版本升级。
3.模型加密
模型加密要求包括：
a) 宜支持使用加密方式生成 Key 对模型进行加密，解析时使用 key 进行解码。
4.测试集测试
测试集测试要求包括：
a) 应支持随机输入对模型进行推理，进行资源使用、响应时间测试。
b) 宜支持训练模型的测试数据集对模型性能的评估。
5.性能评估
性能评估要求包括：
a) 应支持对模型的参数量、运算量的评估。
b) 宜支持神经网络每层的参数量评估、运算量评估、数据类型及计算单元的显示。
c) 宜支持典型模型的端到端效率，内存占用、内存带宽、利用率的显示。
d) 宜支持每层的读写带宽、超参和量化信息导出。
6.可视化界面
可视化界面要求包括：
a) 应支持对模型结构的显示。
b) 宜支持训练过程的可视化追踪，包括损失函数值，性能，超参数组等。
c) 宜支持可视化工具链使用。
d) 宜支持运行时，各计算单元工作状态、利用率查看。
更多详情请见附件。