中台有数，保障有谱--大数据技术支撑苏宁818
|
利用中台采集平台实时(binlog)采集购物车加车数据,将业务数据实时汇聚到中台清洗平台,对丰富的多切片(分库分表)数据进行清洗和融合,刻画背后的业务画像,使用智能算法分析4亿+加车数据以及7万+促销活动,为购物车、促销系统提供818大促TOP100热点加车商品和TOP10热门促销活动数据,使系统可以提前对热点商品和热门活动进行缓存预热,降低大促风险。 因加购数量越多代表商品越受欢迎,大促时对加购数量多的商品进行精准的营促销干预,会起到更好的效果,有效的提高购物车的转化率。
4.2. 大促多平台智能分货 苏宁目前除自营体系的易购平台、O2O小店平台、线下门店等渠道外,也在加快第三方平台入驻的步伐,目前已在天猫、抖音、达令家、美团、饿了吗等外部各类平台进行销售活动,因此库存中心对于各平台货物的调配也越来越重要与复杂,分货的方式、调度策略、补货频次各不相同。如何提升分货的准确性便成了大促期间备货方案的重中之重。 中台数据云智能分货涉及15个大类,几十万商品,极大降低了各平台的大促商品缺货率,提升了818销售。 方案: 1:依托数据云平台、AI机器学习平台,通过历史销量、促销活动、库存深度等数据进行各平台销量预测。 2:库存中心依托分货规则引擎,根据销售预测进行各平台库存分货,并根据分货结果推送各平台。 3:库存中心实时扫描销售情况和三方库存状态进行库存动态调整,并搭建异常监控体系,联动业务,指导运营。
智能分货模型的核心是销售预测,结合业务特点,销售预测分为三个阶段,通过发挥销售预测算法三个阶段的不同的优势,实现销售预测准确度的最大化。 1) 时间序列:探查分货相关历史特征数据的稳定性和线性规律。 2) 机器学习:支持分货多平台多场景的业务,在多变量的情况下提升销售预测质量。 3) 深度学习:构建更复杂的分货模式对应的销售预测模型,自动学习分货相关的特征实现预测的全面升级。
4.3. 压测和大促流量模型 每次大促活动筹备,有这两件事情重要的事项:首先会进行基于业务筹备目标的流量预算,以进行系统的容量评估,确定系统是否扩容;其次是制定压测策略、执行压力测试、输出压力测试报告,确认每个系统是否达到筹备的目标值。 中台三十多个系统,系统服务众多,大促容量评估很难准确,依据历史数据,梳理中台核心业务线,构建7个核心流量模型,快速评估出818大促的服务筹备目标后,合理进行容量规划,通过多轮全链路压测进行验证。 方案: 1:根据业务关键服务梳理出从上至下的调用关系链。 2:使用大数据采集各系统服务TPS数据,建立核心服务流量模型。 3:通过活动分析以及历史流量模型依托机器学习算法进行流量预测, 为818大促系统容量评估,压测以及流控提供了有效的依据。 4.4. 大促系统健康巡检 目前各监控平台都只是在系统发生风险的时候进行预警,无法做到提前识别。因此每一次大促保障,都需要进行多轮的系统监控检查,包含缓存使用率,命中率,磁盘使用率,IO,Topsql等各项体检。每项检查涉及几千台机器,人工检查耗时耗力。通过对ZABBIX,DBMS等系统提供的服务或离线数据采集,中台数据云平台自动出具检查分析报告,极大的节省了人力,从之前人工检查花费一周变成系统自动巡检只需一天。 方案: 1:结合组件能力,系统巡检可以由TPS流量异动,流控告警和手工触发三种方式发起。对于系统自动触发的通过规则引擎判断是否需要进行巡检。 2:巡检发起后分别联动异常监管系统,资源管理系统,数据库管理系统和微服务管理系统多个异常监控平台,通过服务,数据同步等方式获取系统健康数据。 3:进行风险评,出具巡检报告。如果存在异常,结合AI图谱识别,根因分析后出具报告。 5. 未来-智能诊断 无论多么资深的技术人员,绝大部分情况下都无法在1分钟内识别系统异常产生的根本原因。然而在大促这种特殊的场景下,线上发生的任何问题都需要即刻定位和处理, 因此我们未来规划了系统智能诊断模型。当系统发生异常后触发第一层主机层诊断,联合云计算研发中心,通过知识图谱构建根因分析。第一层诊断完成后,进行持久层根因诊断,判断数据库是否存在异常,最后进行业务层根因检测。通过三层智能诊断快速定位系统异常的根本原因。 大促保障是一项极其复杂的系统化工程,每次大促对系统而言都是一次全方位的考验。面对越来越复杂的系统和更加多样化的营促销活动,中台大促保障以技术为本,总结每次大促经验,持续建设常态化的筹备机制和立体化的监控工具,推进保障工作逐步向更加体系化,精细化和智能化的方向发展,最终保障系统的平稳运行,保证用户顺畅的购物体验。 （编辑：应用网_阳江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
