百度大脑EasyDL零售版货架拼接技术探秘

4）  对于每一组从左到右拍摄的图片，通过步骤2会得到的一组拼接参数，使用这组参数计算，对这组图片的商品检测框的位置进行相应的平移、旋转、拉伸等，将检测框横向校准到拼接大图上的相应位置，并对重叠较多的检测框进行去重。

5） 类似与步骤4，通过步骤3产生的拼接参数，对步骤4横向校准后的商品检测框，再次做纵向的位置校准，得到商品在最终大图上的位置。

整个流程总体可以组织如下所示的DAG：

从上图可以发现，在任务开始阶段，子任务1和2没有依赖的关系，可并行运行；在子任务2成功后，任务3即可运行，无需等待子任务1的结果；通过DAG方式可以使得子任务局部并行运行，加快整体拼接任务的处理速度。 另外，货架图片拼接子任务通过容器化的方式运行，避免对部署环境的依赖，提升可扩展性；通过调度资源工具，避免GPU、CPU等资源的抢占冲突，提升拼接任务的可靠性。

3、百度飞桨EasyDL货架拼接算法详解

纵观整个货架拼接离线任务，其中较为核心的还是货架拼接算法，算法的设计决定了拼接任务的速度、可靠性以及结果的准确性等。下面，将对货架拼接算法进行详细介绍。

3.1、货架拼接算法

货架拼接算法本质上是属于图像拼接算法的范畴，在图像拼接算法中，目前主要有三种不同的方法：1)全局对齐方法，以一个单应性矩阵来对齐图像，通过求解相机参数对图像进行变换和融合，输出拼接图像；2）空域变化绘制方法，将图像划分为密集的网格，每个网格都用一个单应性矩阵对齐，然后对每个网格进行优化变形，采用全局对齐类似的方法对网格图像进行拼接；3）缝合线主导方法，以匹配图像之间的缝合线为主导，不用严格去对齐整个重叠区域，而是只对齐缝合线附近的区域，通过缝合线实现图像的拼接。

而对于货架拼接的场景来说，拍摄图片的方式一般都是手机端平移拍摄，存在拍摄的角度比较随意、拍摄距离近、需要拼接的图片数量比较多的问题。而在上述的图像拼接算法中，全局对齐方法要求各次拍摄时相机的光心近乎重合，即拍摄时相机只能做纯旋转运动，对拍摄方式的要求很高。空域变化绘制方法和缝合线主导方法对匹配的特征内点的数量和质量要求较高，而且需要调整更多的超参数，计算量较大，拼接速度慢，无法用于大量图片的拼接任务。因此，上述几种图像拼接的方法都无法很好地解决货架拼接场景存在的问题，不能直接用于货架拼接。

针对上述货架拼接场景存在的问题，我们在全局对齐方法的基础上对拼接算法进行了优化。首先，针对平移拍摄角度比较随意的问题，在进行货架图像拼接之前，我们对输入的货架图像进行水平矫正，将所有图像都矫正到相同的拍摄视角下，这样可以有效减小拍摄角度对拼接效果的影响，拼接效果有了很大提升。其次，当输入的货架图片数量较多时，为了减小拼接难度，提高拼接的效率，我们自动对输入的货架图片进行分组，将大量图片的单次拼接分解成少量图片的多次并行拼接，可以有效降低拼接时间。

在分组拼接的过程中，我们采用与全局对齐类似的方法对单个分组的货架图片进行拼接，通过货架图像之间的匹配、变换和融合，得到每个分组的拼接图片。之后对多个分组的拼接图片进行合并，输出整个货架的拼接图片和拼接参数。货架拼接算法的整体流程如下：

3.2、SKU检测框合并去重

SKU检测框合并去重整体流程图：

对于在相邻图片重叠部分的SKU，其在两张图片上都会被检测出来，因此我们需要对这部分SKU进行合并和去重，去除相同的SKU。具体步骤如下：

1）将每张图片上检测到的SKU检测框坐标根据货架拼接的参数进行变换，将单张图片上的SKU检测框坐标转换成拼接图片上的SKU检测框坐标。

2）对于当前图片上的每个SKU检测框，当与其他某个SKU检测框之间有重叠部分，且重叠部分的交并比（IOU）大于某一个阈值时，判定这两个SKU检测框属于同一个检测框。

3）根据这两个SKU检测框的坐标以及置信度进行合并去重，得到最终的SKU检测框坐标。

4）当对所有图片上的SKU检测框都进行合并去重后，统计拼接图片上的每一个种类的SKU检测框的数量，可以得到整个货架上SKU的种类以及数量，输出整个货架上SKU的统计信息。 

以上为百度飞桨EasyDL零售版货架拼接服务架构和算法详解的全部内容，为了全面助力快消品牌商对访销过程进行精细化管理，围绕快速消费品企业在线下渠道中的销量逻辑，百度大脑推出了基于AI技术的数字化访销解决方案，在EasyDL零售版的基础上，还提供翻拍识别、门脸识别和门店拜访行程规划等AI能力，帮助品牌商有效提升一线业务人员人效，最终实现销量的增长。

目前已有多家零售快消品牌商和服务商在实际业务中使用百度EasyDL零售版，提升终端门店管理与执行的效率和效果，准确地洞察商品在货架上的真实信息，让数据分析更高效精准，有效缩短决策时长，从而实现市场运营与决策的智能化。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!