肇观电子刷新端侧AI芯片性能记录并发布“5分钟部署”AI开发平台

一套在PC端运行强大的算法如何确保在芯片上也能快速呈现效果?Evaluator 评估器可以帮助客户快速评估结果是否正确,性能是否能被发挥出来。通过Infer Studio™的Evaluator功能,客户可以一键式将模型部署在设备上,全面透彻的看到运行结果,同时对分类,检测分割等网络在测试图片中可视化呈现算法效果。

为了高效分析算法移植过程中可能遇到的偏差和兼容性问题,Infer Studio™ 的Debugger调试器能够按层调试,随时发现错误。客户可以导出算法运行中的每一层数据,跟原本算法中的每一层数据做对比,便于随时调试,找出错误。

04.Infer Studio™ 的行业落地应用

客户的方案在算法移植验证以后,是否也能在产品层面快速部署,正常运行?与Infer Studio™ 配套的SDK可以通过积木搭建的方式快速构建多媒体pipeline,并将算法模型灵活嵌入到pipeline中。

例如,一个经典的AI应用是:VI (Video Input) 从摄像头外部接入原始数据,这些数据经过ISP模块转换成YUV格式,一路传输到Encoder进行编码,并输出。另一路ISP输出的数据传输到CNN引擎运行各种AI算法。AI应用中各个功能模块之间有着灵活的数据流向构建方式;通过模块间Bind(一种数据建立的方法)的方式,客户可以更灵活的根据自己的应用需求,组合功能模块,完成应用部署落地。

客户也可以自由删除某些模块,替换或者增加某些算法模块。所有这些pipeline搭建工作都可以通过可视化或者几行配置代码来实现。将AI算法开发到产品落地的时间压缩到极限。对于典型的AI应用,物体分类,人脸/车辆检测,物体分割等应用,从算法编译到应用部署,5分钟内即可完成。

目前,Infer Studio™ 在诸多客户的项目中作为日常使用的重要工具,得到了普遍认可和好评。

例如:在一个监测司机是否在说话、瞌睡、打电话的车载项目中,工程师需要检测眼部的状态来判断司机是否在走神或者瞌睡,检测耳朵旁边是否有电话,等等。客户原本需要一个星期甚至更久才能让这套算法在芯片上跑起来,但是结合了Infer Studio™之后, 对多个神经网络进行硬件加速,对神经网络的前后处理再结合计算机视觉加速单元 CV Accelerator里的内置算子来完成,使得该算法迅速完成编译并在平台上高性能跑起来。

肇观电子的Infer Studio™是目前市面上罕见的的人工智能算法的硬件移植和部署开发平台,在提高人工智能算法的落地效率、降低部署实施成本方面实效显著,受到下游厂商的广泛好评。

05.结语

人工智能技术所赋予时代的意义,往往短期被高估,长期被低估。作为AI芯片设计领域的核心公司之一的肇观电子,不仅在芯片核心技术上不断突破,还为客户提供 “一键式” 配套开发工具。 这不仅促进了客户的解决方案在应用场景中的部署,也推动了整个人工智能行业的发展。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!