百度大脑EasyDL零售版货架拼接技术探秘
|
在快消行业的商品识别需求场景中，快消品牌商的业务代表在终端门店拜访销售时，需对商品陈列规范进行审查。传统做法需要人工统计，耗费时间长，人力成本高，且数据真实性无法保障。快消品牌商为了对访销过程进行精细化管理，开始使用SFA、DMS等工具进行数字化转型，并探索利用AI技术对现有的数字化访销实现“降本、增效、动销”，推动其规模化落地，最终拉动业绩增长。 EasyDL是基于百度飞桨框架PaddlePaddle推出的面向企业打造的一站式AI开发平台，包括经典版、专业版、零售版三款产品，面向不同人群、不同场景需求，提供高效进行AI模型开发部署的平台产品。其中百度EasyDL零售版围绕零售快消品行业的数字化访销场景，提供了核心的商品检测识别模型及配套服务能力，包括定制商品检测服务、标准商品检测服务和货架拼接服务。标准商品检测服务提供无需训练即可直接使用的商品检测API，支持识别数千种常见饮品和日化用品；定制商品检测服务，提供易操作的定制模型页面，用户仅需要五步便可以定制新的商品识别模型。标准和定制商品检测服务都支持返回商品的名称、品牌、规格和商品在图中的位置，可用于辅助统计完整货架上的商品排面、货架占比、商品分销等陈列指标。由于一些门店内的货架较长，需要对多张货架局部图片进行拼接，才能统计完整货架上的商品陈列指标，因此自动实现货架拼接并智能识别商品，成为快消品行业陈列审核效率提升的重要环节。为了满足这一需求，百度EasyDL零售版推出了货架拼接服务。 百度飞桨EasyDL零售版货架拼接服务支持将多个货架的局部图片或视频，组合为完整货架图片；同时支持使用定制的或标准的商品检测服务对局部货架图片进行商品检测，并在拼接好的完整货架图中输出商品检测结果，其中包含SKU的名称和数量，适用于需要在长货架进行商品检测的业务场景，并且支持云服务调用、离线SDK部署或生成APP。下面，我们来看看货架拼接服务的使用方式和具体实现细节。 1、百度飞桨EasyDL货架拼接服务结构总览 上图是货架拼接服务的整体结构总览图，用户可以通过三种方式使用与体验：1)直接调用云服务API；2)使用离线部署SDK；3)生成体验APP。 在云服务API方式中，为了方便用户对需拼接的货架图片进行上传、查询等动作，我们提供了6个API接口，分别为：创建任务、上传图片、开始任务、查询结果、终止任务和任务列表。其中，在查询结果这个API中，根据任务状态的进度不同，共有六种可能的任务状态，包括：Created(已创建)、Queued(排队中)、Running(正在拼接)、Success(拼接成功)、Failure(拼接失败)、Terminated(已终止)。下图为任务状态的转换图：
离线SDK是将API进行封装后，支持用户快速部署到多种硬件环境中离线使用，满足各类无网络环境或需要高并发返回预测结果的场景使用。 当用户完成模型发布后，在货架拼接服务的页面上可以选择生成体验APP，下载到手机进行使用。体验APP支持用户拍摄货架视频，APP会自动对视频进行抽帧获取局部货架图片。如果用户尚未发布一个模型但想要体验APP的使用，也可以通过https://ai.baidu.com/easydl/app/1001/vas/img-stitch 申请邀测权限，步骤如下：
整个货架拼接流程中使用的关键模块和功能包括： 1）Task Manager： 任务信息管理服务，提供了6个通用的API，管理货架拼接任务的meta数据、完成用户对任务的各种操作，对用户数据鉴权等； 2）Daemon Scheduler：后台守护进程，负责扫描和调度可执行的货架拼接离线任务；对任务进行流控管理；任务执行异常检查等; 3）DagTask Scheduler：基于有向无环图(DAG)调度和执行任务。由于货架拼接离线任务流程较为复杂，可以分为若干个子任务，部分子任务可并行执行，通过DAG的方式来组织和运行整体离线任务，可以提升任务的运行效率，后面会详细介绍离线任务的完整结构。 2、百度飞桨EasyDL货架拼接离线任务实现详解 接下来，一起了解下离线任务是如何实现的。货架拼接服务支持用户上传从上到下、横向拍摄的多个视频或者多组局部货架图片，货架拼接任务会先后进行横向和纵向的货架图片拼接，获取完整的货架大图；另外由于用户在百度EasyDL平台训练商品检测模型使用的往往是货架的局部图片，因此需要使用局部图片调用API进行商品检测，并根据拼接参数将检测框的位置校准的拼接大图上。整个流程可拆分为以下5个子任务： 1）调用用户指定的定制或者标准的商品检测模型服务对局部货架图片进行商品检测，获取商品名称和在局部图片上的检测框位置信息。 2）对每一组从左到右拍摄的局部货架图片，获得一张拼接的完整货架图片。 3）经过步骤2，获取N组货架图片横向拼接后生成的大图，对N张大图进行纵向的图片拼接，获得最终完整的货架完整大图。 （编辑：应用网_阳江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
