AI开源浪潮的领军力量！OPEN AI LAB Edge AI推理框架Tenigne全解读

最近，国内的人工智能（AI）开源生态突然热闹了起来，这厢清华大学刚开源了一个强化学习平台，那边华为和旷视又相继开源了AI计算和深度学习框架。

从学术界到产业界，“开源”已经成为一个AI领域的关键词。作为计算机行业发展至新兴阶段的现象之一，开源为AI行业的百花齐放提供了不可或缺的动力。

一方面，它从授人以鱼到授人以渔的转变，为AI构建了一个开放共进的生态环境，并帮助行业加速AI应用落地；另一方面，它在解决行业实际问题时持续更新和迭代，亦源源不断地给AI领域输送重要的技术养料和创造力。

在这一股股重要的开源力量中，OPEN AI LAB的Tengine值得关注。

这家诞生于2016年12月的初创公司，经历三年多的发展，已经连续推出面向AIoT边缘计算的AI推理加速框架Tengine、一站式端到端解决方案平台Tengine2等平台级产品，推动边缘AI算力、算法及行业方案等环节的深度协作，加速AI技术在细分行业的商业化落地。

近日，智东西与OPEN AI LAB联合创始人兼CTO黄明飞做了一次深度对话。对话中，黄明飞还透露，Tengine与开源社区大咖OpenCV有深度合作，通过Tengine普及更多的开发者，惠及更广的行业应用部署。

“Tengine”究竟是什么？光芒背后，OPEN AI LAB又以怎样的定位，投身正在起步的中国AI开源生态？同时，与OpenCV的合作之于AI开源生态又有怎样的意义和影响？

▲OPEN AI LAB联合创始人、CTO黄明飞

中国AI开源浪潮背景之下，AIoT激烈的落地战

自谷歌深度学习框架TensorFlow拉起开源大旗后，AI的框架开源逐渐成为学术界和产业界的趋势。TensorFlow之外， Keras、PyTorch、Caffe、Theano、PaddlePaddle、Angel、XDL等AI框架和平台，相继发展成开源项目，分别吸引了一批开发者。

实际上，AI框架和一系列智能开发平台的开源，与近年来AI面临的落地挑战息息相关。

当下各行各业看似皆可“AI化”，但如何为纷繁复杂的实际应用场景提供有效的解决方案，AI框架和平台无疑被承载了最大期望，向上要承载不同的算法模型和应用程序，向下要兼容各类芯片和计算机操作系统。

通过开源吸引上下游广泛的参与，社区型协作共同发挥作用让技术迭代更迅速，应用更广泛，最终实现产业共同繁荣。与此同时，以5G为代表的物联网（IoT）通讯技术快速发展， AI与IoT融合成智能物联网（AIoT）。

在黄明飞看来，由于AIoT技术在行业的普及对低成本、实时性低功耗、高可靠性的需求，以及隐私安全等问题的浮现，AI计算正从云端下移到边缘节点中，如智慧交通、自动驾驶、智能家居和城市大脑等领域，数以亿万计的边缘节点和终端设备需要实现本地智能化，称之为边缘AI计算。

边缘计算的需求对硬件成本、功耗、兼容和易用性提出了较大的挑战，硬件上面临着芯片种类复杂、算力利用率低，软件开发环境复杂、兼容性差等关键问题。

黄明飞谈到，如何能简单快速地实现AI算法模型从云端向下迁移到边缘节点部署，充分发挥边缘节点上的芯片算力与硬件性能，已成为AI在行业落地和规模部署经济性的关键所在。

在这一背景下，OPEN AI LAB的边缘AI推理框架Tengine备受关注。

Tengine的核心能力及产业赋能

（一）Tengine是什么，解决什么问题？

“如果简单来形容，它就是一个嵌入式的AI推理框架，帮助算法开发者解决在AI快速产业化落地中遇到的各个瓶颈难题。”黄明飞说到，相比业内系列框架，Tengine有两个特点，一是物理位置层面，其所关注的重点是嵌入式设备，也就是海量的AIoT应用设备，而非服务器集群；二是业务模式层面，重点在于推理，并非训练。

从架构上看，Tengine自上而下主要可分为模型兼容层、基础工具链、模块化架构层、操作系统层、异构计算层五大框架层级，具有跨算法框架兼容、跨芯片适配、算力异构调度加速、轻量无依赖、一致性开发移植部署工具链几大核心能力，以有效提升AI生产力。

1、跨OS/算法框架适配

随着AI在产业、学术界的快速发展，市面上主流的算法训练框架蓬勃发展，如TensorFlow、Caffe、PyTorch、MXNet、ONNX、PaddlePaddle等以其各自的优势，在行业中获得广泛使用。

但对于开发者而言，训练只是第一步，训练后获得推理模型的有效部署才是解决场景问题的关键，快速的硬件平台迁移及高效部署已经成为AIoT产业快速发展的掣肘。

Tengine目前广泛支持市面上主流的模型格式，如TensorFlow、Caffe和MXNet，并且通过ONNX模型实现了对PyTorch和PaddlePaddle的支持，让开发者能更自由地选择训练框架，降低了面对不同硬件和场景而迁移平台的成本。

在操作系统层面，由于AIoT场景的差异化及非收敛性，Android、Ubuntu、RTOS等各有其适配的产品形态，Tengine同样在OS层面进行了兼容适配，以简化AI开发者的开发流程。

2、跨芯片平台适配

算法框架及操作系统之外，一个更为大众所津津乐道的就是芯片的发展。

当下AIoT芯片发展百家争鸣，不同场景需求、性能需求、功耗需求、成本需求，带来的是芯片厂商的芯片系列的广泛定义，这也是AIoT产业蓬勃发展的重要特征。

但芯片的持续创新迭代，对于开发者，特别是占据市场创新能力大半的中小型团队来说，算法开发、芯片适配、动态资源调度、性能调优往往依赖于庞大且冗余的技术栈能力，直接导致产业化窗口把握、开发成本居高不下、决策周期长等一系列问题。

为了助力产业提速增效，Tengine为开发者提供跨硬件设备的统一开发平台，在不同硬件设备上的API都尽可能保持一致，帮助开发者以一致的方式实现对不同芯片的有效调用适配。

开发者仅仅需要通过Tengine API，就能充分调用包括MCU、Arm Cortex-A/M系列处理器、Arm中国周易AIPU，以及海思NNIE、瑞芯微RK3399Pro NPU等等在内的芯片算力。

3、异构/加速支持，芯片有效性提升

业务跑通是第一步，跑得快跑得好才是芯片优势的核心体现。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!