阿里导读：近日，阿里正式开放轻量级深度学习端到端推理引擎“MNN”。
AI科学家贾评价道：“相比Tensorflow、Caffe2等通用框架既涵盖训练又涵盖推理，MNN更注重推理的加速和优化，解决模型部署阶段的效率问题，从而在移动端更高效地实现模型背后的业务。这与服务器端TensorRT等推理引擎的思路不谋而合。在大规模机器学习应用中，考虑到大规模的模型部署，机器学习推理端的计算量往往是训练端的十几倍，因此推理端的优化尤为重要。”
如何设计MNN背后的技术框架？未来有什么打算？今天就来详细了解一下吧。
1、MNN是什么？
MNN是一个用于深度学习的轻量级端到端推理引擎。MNN的核心是解决深度神经网络模型的端到端推理运算问题，涵盖了深度神经网络模型的优化、转换和推理。目前，MNN已在手淘、手搭、优酷、聚划算、UC、朱非、牛倩等20多个app中使用，覆盖直播、短视频、搜索推荐、产品图片搜索、互动营销、权益分发、安全风控等场景，每天稳定运行上亿次。此外，在菜鸟储物柜等物联网设备中也有应用。2018年双十一购物节，天猫晚会的笑脸红包、扫货、猜星打架等场景都用到了MNN。
这个项目已经在Github上开源了。关注“阿里科技”官方微信官方账号，在对话框中回复“MNN”，即可获得Github的下载链接了解更多详情。
2、MNN的优势
MNN负责加载网络模型，推理预测返回相关结果。整个推理过程可以分为加载和分析模型、调度计算图、在异构后端高效运行。MNN通用、轻便、高性能且易于使用：通用性：
支持Tensorflow、Caffe、ONNX等主流模式格式，支持CNN、GAN等常用网络；支持86个TensorflowOp wops和34个CaffeOps每台计算设备支持的mnnops个CPU，55个metals，40个opencl，35个Vulkan支持iOS 8.0、Android 4.3和具有POSIX接口的嵌入式设备；支持异构设备混合计算，目前支持CPU和GPU，可以动态导入GPU Op插件替代CPU Op的实现；轻量性：
根据端侧设备的特点进行深度定制和裁剪，没有任何依赖性，可以方便地部署到移动设备和各种嵌入式设备上；在iOS平台上，armv7 arm64静态库大小约5MB，链接生成的可执行文件约620KB，metallib文件约600KB。在Android平台上，so的大小约为400KB，OpenCL库约为400KB，Vulkan库约为400 kb；高性能：
不依赖任何第三方计算库，依靠大量手写汇编实现核心运算，充分发挥ARM CPU的计算能力；在iOS设备上可以开启GPU加速(Metal)，支持iOS 8.0及以上版本。普通型号比苹果原生CoreML快；Android提供OpenCL、Vulkan、OpenGL解决方案，尽可能满足设备需求，并针对主流GPU(Adreno、Mali)进行了深度优化；卷积和转置卷积算法是高效且稳定的，并且可以高效地运行于任何形状的卷积。Winograd卷积算法应用广泛，可以高效地实现3x3-7x7对称卷积。ARM v8.2新架构额外优化，利用半精度计算的特性，新设备可以进一步提速；易用性：
完善的文档和例子；有一个高效的图像处理模块，它涵盖了常见的变形和转换要求。一般不需要引入libyuv或opencv库来处理图像；支持回调机制，方便提取数据或控制运行方向；支持在网络模型中运行一些路径，或者指定CPU和GPU并行运行；
3、MNN核心介绍
3.1 模块设计 2f440eafea43c8a446e5a8c67686c7" img_width="640" img_height="373" inline="0" alt="阿里开源！轻量级深度学习端侧推理引擎 MNN" onerror="javascript:errorimg.call(this);">如上图所示，MNN 可以分为 Converter 和 Interpreter 两部分。
Converter 由 Frontends 和 Graph Optimize 构成。前者负责支持不同的训练框架，MNN 当前支持 Tensorflow(Lite)、Caffe 和 ONNX；后者通过算子融合、算子替代、布局调整等方式优化图。
Interpreter 由 Engine 和 Backends 构成。前者负责模型的加载、计算图的调度；后者包含各计算设备下的内存分配、Op 实现。在 Engine 和 Backends 中，MNN应用了多种优化方案，包括在卷积和反卷积中应用 Winograd 算法、在矩阵乘法中应用 Strassen 算法、低精度计算、Neon 优化、手写汇编、多线程优化、内存复用、异构计算等。
3.2 性能比较
采用业务常用的 MobileNet、SqueezeNet 和主流开源框架进行比较，结果如下图：
MNN 相比于 NCNN、Mace、Tensorflow Lite、Caffe2 都有 20% 以上的优势。我们其实更加聚焦在内部使用的业务模型优化上，针对人脸检测等模型进行深入优化，iPhone6 可以达到单帧检测 5ms 左右。
注：Mace、Tensorflow Lite、Caffe2 均使用截止 2019 年 3 月 1 日 GitHub 代码仓库的 master 分支；NCNN 由于编译问题采用 20181228 Release 预编译库。
4、MNN的开源历史
4.1 为什么要做端侧推理？
随着手机算力的不断提升，以及深度学习的快速发展，特别是小网络模型不断成熟，原本在云端执行的推理预测就可以转移到端上来做。端智能即在端侧部署运行 AI 算法，相比服务端智能，端智能具有低延时、兼顾数据隐私、节省云端资源等优势。目前端智能正逐渐变为趋势，从业界来看，它已经在 AI 摄像、视觉特效等场景发挥了巨大价值。
手淘作为电商的超级 App ，业务形态丰富，拍立淘、直播短视频、互动营销、试妆、个性化推荐搜索等业务场景都有端智能诉求，结合端智能能力，可以给用户带来新的交互体验，助力业务创新突破。
一般来说，端侧深度学习的应用可以分成如下几个阶段：
- 模型训练阶段，主要解决模型训练，利用标注数据训练出对应的模型文件。面向端侧设计模型时，需要考虑模型大小和计算量；
- 模型压缩阶段，主要优化模型大小，可以通过剪枝、量化等手段降低模型大小，以便在端上使用；
- 模型部署阶段，主要实现模型部署，包括模型管理和部署、运维监控等；
- 端侧推理阶段，主要完成模型推理，即加载模型，完成推理相关的所有计算；
由上可知，端侧推理引擎是端智能应用的核心模块，需要在有限算力、有限内存等限制下，高效地利用资源，快速完成推理。可以说，端侧推理引擎实现的优劣，直接决定了算法模型能否在端侧运行，决定了业务能否上线。因此，我们需要一个端侧推理引擎，一个优秀的端侧推理引擎。
4.2 为什么要开源 MNN？
在 2017 年初，我们在开始引擎研发之前，重点调研了系统方案和开源方案，从通用性、轻量性、高性能、安全性等方面深入分。CoreML 是 Apple 的系统框架，MLKit 和 NNAPI 是 Android 的系统框架，系统框架最大的优势是轻量性 ―― 在包大小方面相对宽裕。而最大的劣势是通用性，CoreML 需要 iOS 11+，MLKit 和NNAPI 需要 Android 8.1+，可以覆盖的机型非常有限，同时难以支持嵌入式设备的使用场景。此外，系统框架支持的网络类型、Op 类型都较少，可拓展性又较差，还未能充分利用设备的算力，加之存在模型安全方面的问题。综上种种，系统框架不是一个很好的选择。开源方案中 Tensorflow Lite 宣而未发，Caffe 较成熟但不是面向端侧场景设计和开发的，NCNN 则刚刚发布还不够成熟。总的来说，我们找不到一套面向不同训练框架，不同部署环境，简单高效安全的端侧推理引擎。
因此，我们希望提供面向不同业务算法场景，不同训练框架，不同部署环境的简单、高效、安全的端侧推理引擎 MNN 。能够抹平 Android 和 iOS 的差异，碎片设备之间的差异，不同训练框架的差异，实现快速的在端侧部署运行，并且能够根据业务模型进行 OP 灵活添加和 CPU/GPU 等异构设备深入性能优化。
随着时间推移，NCNN、Tensorflow Lite、Mace、Anakin 等逐步升级和开源，给与我们很好的输入和借鉴。我们随着业务需求也在不断迭代和优化，并且经历了双十一考验，已经相对成熟和完善，所以开源给社区，希望给应用和 IoT 开发者贡献我们的力量。
5、应用场景
目前，MNN 已经在手淘、猫客、优酷、聚划算、UC、飞猪、千牛等20+集团App中集成，在拍立淘、直播短视频、互动营销、实人认证、试妆、搜索推荐等场景使用，每天稳定运行上亿次。2018年双十一购物节中，MNN 也在猫晚笑脸红包、扫一扫明星猜拳大战等场景中使用。
拍立淘是在手淘里面的一个图像搜索和识别产品，从14年首次上线经过不断迭代发展目前已经成长为 UV 超过千万的应用。其中的技术也在不断迭代更新，从最早的拍照上传图片云端识别，演进到目前在端上做物体识别和抠图再上传云端识别，有效地提升了用户体验同时节省了服务端计算成本。针对一些简单的物体分类万物识别和 logo 识别，目前也已经支持直接通过端上的模型进行实时识别。
笑脸红包是18年双十一猫晚开场的第一个节目，这个玩法是基于实时人脸检测和表情识别能力做的，相比之前各种通过屏幕触控的交互玩法，这个活动通过摄像头实时人脸检测算法实现从传统触控交互玩法到自然交互玩法的跨越，给用户带来新的用户体验。
集五福是19年春节的活动，也是手淘第一次通过扫年货的方式加入到这个活动中来。通过扫一扫商品识别能力，识别红色年货，除了福卡之外，还能得到羽绒被、五粮液、茅台、帝王蟹等实物大奖和猫超、天猫精灵等无门槛优惠券，让家里的年货变成下金蛋的“母鸡”。
6、Roadmap
我们计划每两个月 Release 一个稳定版本。当前规划如下：
模型优化方面：
- 完善 Converter 图优化
- 完善对量化的支持，增加对稀疏的支持
调度优化方面：
- 增加模型 flops 统计
- 针对设备硬件特性动态调度运行策略
计算优化：
- 现有 Backend 持续优化（CPU/OpenGL/OpenCL/Vulkan/Metal）
- 优化 Arm v8.2 Backend，支持量化模型
- 使用 NNAPI，增加 NPU Backend
- 应用快速矩阵乘法、Winograd 算法优化性能
其他：
- 文档和示例
- 完善 test、benchmark 相关工具
- 支持更多 Op
作者： MNN
