AI开源浪潮的领军力量！OPEN AI LAB Edge AI推理框架Tenigne全解读

Tengine通过异构计算技术，能够帮助开发者同时调用CPU、GPU、DSP、NPU等不同计算单元的运算资源，进一步提升芯片有效性，以完成AI网络计算。

4、超轻量无依赖

在AIoT非常多场景中，考虑功耗、成本等要素，往往对于资源的分配极为苛刻，不依赖外部库很多时候会成为工程化场景的一大诉求。为此，OPEN AI LAB专为嵌入式神经网络推理设计了一个HCL vision的图像处理库，拥有常见图像处理算子，以满足神经网络推理前后处理需求。

通过对框架设计进行一系列的简化和轻量处理，Tengine最小程序体积能达到300KB，在MCU上最小体积为20KB，并且自带视觉、语音的前后处理函数，对额外资源的占用进一步优化，提升芯片的适用范围和潜力。

5、全栈部署移植支持

AI产业化的难点，往往不是一个技术单点，而是一套体系化的工作，最终成效亦不取决于长版有多长，而是取决于短板有多短。

Tengine从诞生至今，已开发出具备量化训练工具、调试工具、模型库、编译器等工具在内的完整工具链，能进一步满足开发者的各类高精度应用需求。

（二）Tengine的前世今生

不难看出，其实Tengine与国内外大多数开源的深度学习框架和平台定位是不同的。

目前，国内大多数公司和机构的开源框架和平台，更多是涉及机器学习、深度学习、自然语言处理和数据科学等领域，但针对AIoT领域嵌入式设备进行开源的框架和平台少之又少，在商业领域同样鲜少出现。

2016年，虽然AI的主要应用方向还是在云端，但已开始出现AI从云端往设备端迁移的趋势。黄明飞谈到，OPEN AI LAB曾尝试使用TensorFlow、Caffe等开源框架，对嵌入式设备应用进行开发和设计，但却无法充分发挥其AI性能。

“它们无论是尺寸，还是优化设计，都不是围绕着嵌入式端来设计的。”黄明飞坦言，如果要去改动这些框架，实际上是非常困难的一件事。

为了更好的做到行业赋能与生态协同，OPEN AI LAB投入到嵌入式AI推理框架的研发中，自此Tengine诞生。

2017年，OPEN AI LAB正式在Github上发布第一个Tengine版本。至今，Tengine已经经历了4个大版本的升级，并在这一系列的迭代和更新中，Tengine也逐渐形成了自己的体系化能力及优势。

随着Tengine开源的发展和推动，它已经成功帮助智慧城市、公共交通、智慧车载、工业智能、智慧养殖、消费电子和智能家居等多个领域的企业，实现了广泛的行业落地和应用。

例如，面向智慧停车管理方向的合作伙伴，利用Tengine开发了AI+停车模式，能够识别有牌车与无牌车，以及车牌、车型、车身颜色、车内人脸等420多种车辆及车辆附属物品。

Tengine作为国内自主知识产权的商用级AIoT智能开发平台，从短期看，它不仅能帮助开发者在开发过程中，进一步提升算法移植和部署效能；从长期看，它的开源也将为打破AIoT产业壁垒，快速整合上下游以实现AIoT产业的落地和应用，为丰富全球AI开源生态提供了重要的推动力。

（三）Tengine开源与商用的双螺旋

“实际上，Tengine需要面对两个方面，一是开发者，二是行业客户。”黄明飞谈到，开源不是商业行为，但OPEN AI LAB作为一个创业公司，在满足开发者需求的同时，仍需要面向行业客户而生存。

但也因为这一特殊性，Tengine的发展也逐渐形成一个产业与开发者双向“反哺”的过程。“在过去两三年里，Tengine主要优先解决行业客户的问题。”在黄明飞看来，行业客户所面临的问题具有代表性，能够从系统的角度来帮助改进Tengine。随着研发人员在满足客户需求的前提下不断调整Tengine，OPEN AI LAB又将Tengine的开源版本进行迭代，从而反哺到开发者。

“开发者所提出的很多问题对改进Tengine很有价值。”黄明飞说到，在未来一年里，OPEN AI LAB也将进一步把开发者和商业客户放到同等重要的层面，与开发者共同将Tengine演进成更优秀的开源项目。

（四）Tengine到Tengine2，为广泛的行业赋能

基于Tengine的推理框架和异构计算，OPEN AI LAB还推出了面向行业应用的AI全栈赋能解决方案平台——Tengine2。

在Tengine基础之上，更加广泛的帮助行业伙伴，实现行业智能化业态升级，涵盖了数据、训练、评测、调优、端侧部署等开发部署流程，其底层推理框架和异构计算由Tengine支持。

联合OpenCV合作发布，未来展望

黄明飞在与智东西的交流中谈到，目前OPEN AI LAB研究团队的研究重点，仍主要集中在开源平台Tengine，以及一站式AI端到端平台方案Tengine2的更新和演进上，已形成一支百人规模的研发团队。

1、强强联合，助力开源

黄明飞透露，本月初，OPEN AI LAB与老牌跨平台计算机视觉库OpenCV已联合发布新版本，让OpenCV开源社区生态更全面和丰富，也让Tengine能够面向更广泛的全球开发者。

近期，据IT开发者社区CSDN汇总国内外AI工具框架关键词，并基于实际数据梳理的《中国 AI 应用开发者报告》，目前在国内的AI开发者中，Tengine成为最受国内AI开发者欢迎的本土AI工具框架。

▲最受中国AI开发者欢迎的全球AI工具框架排名（数据来源：CSDN）

OpenCV主要针对云端应用，能够运行在Windows x86或Android等操作系统上，并提供Python、Ruby等多种语言接口，帮助开发者实现图像处理和计算机视觉（CV）领域的诸多通用算法。

但随着AIoT产业的发展，OpenCV亦逐渐需要一个专门面向嵌入式端而开发的开源框架和平台。

“让Tengine成为OpenCV的一部分，深度融合助力开源，在全球开发者开发嵌入式计算机视觉，对深度学习产生需求时，能够使用Tengine，并一起开发Tengine。”黄明飞说到。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!