从企业实际需求出发 看金山云大数据架构及容器化实践之路

面向研发人员，拖拽方式形成新的服务，屏蔽容器化技术，快速纳管到容器开放平台，通过微服务技术，减少重复造轮子;面向测试人员，便捷提供测试沙箱，自动运行用例，微服务故障注入等;面向运维人员，可以通过开放平台，看到整个大数据云平台运行实例的状态，异常监控可以迅速判断影响范围及上下游，运维操作方便;面向实施人员，通过大数据应用商店，迅速部署不同场景、版本的大数据云平台，减少部署的人力和时间成本;面向产品人员，通过拖拽大数据服务的不同组合，形成不同行业、不同版本、不同演示环境的平台组合。

关海南讲到，大数据容器开放平台的逻辑架构，主要分为组件定义、应用定义、集群管理、集成与部署、大数据商店等，侧重点在于如何稳定、高效的容器化运行大数据组件及服务。其中，Alluxio存储代理层，提供通用的分布式存储缓存，减少回源次数，提升存储存取效率;作为存储代理层，可以对接更多的存储介质、包括公有云存储，提高存储扩展性;与k8s结合，补充大数据应用在k8s上的存储短板，存储多样化、提升存储性能。Istio网格，用于解决多集群网络通信及精细化容器管理。

演讲最后，关海南表示作为面向企业级的新一代大数据PaaS平台，金山云大数据云平台打造为云而生的大数据生态，提供云端数据采集、数据集成、数据管理、数据开发、作业调度等一站式大数据处理环境。

平台提供全方位、多数据类型、可视化数据采集能力，其中数据传输层是金山云整个大数据平台的基石，经过了公司内部万台节点传输的打磨，支持多种传输模式;数据集成支持多种引擎间的理性同步，提供丰富数据检核和加工的算子，提供MPP及Hadoop的计算与集成能力;在开发过程中，因为很多金融公司，对开发、测试、生产完全隔离，所以金山云开发三态导入导出功能，便捷的满足隔离要求。

“数据资产管理和数据服务，是直接赋能业务，中台属性比较突出的两个点。数据资产管理平台，是我们目前投入比较多的一部分，包括统一元数据、数据标准建模、数据血缘、数据目录、数据安全等。数据服务包括提供统一查询引擎、提供服务总线、API管理等，大大减少数据重复建设。”关海南表示。

目前，金山云大数据云平台主要面向金融、公共服务、医疗等领域，通过构建AI驱动的大数据云平台，为智慧金融、智慧城市、智慧医疗等领域提供强大的智能化决策支持。面向未来，金山云大数据云平台将持续完善技术产品服务体系、优化数据处理性能，帮助客户快速构建全新的大数据落地能力，更高效地掘金万亿级大数据服务市场。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!