华为云FusionInsight MRS全面升级，构建坚实数据底座使能新云原生企业
|
12月30日，华为云TechWave云原生2.0峰会在深圳顺利举行。在此次大会上，华为云FusionInsight首席架构师徐礼锋出席并做主题演讲“华为云FusionInsight MRS云原生数据湖构建一企一湖、一城一湖”。
华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案，支持大数据实时分析、离线分析、交互查询、实时检索等应用场景，助力政企释放海量数据价值，实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！ HC2020由华为云CTO张宇昕在峰会上重磅发布了华为云FusionInsight新一代智能数据湖，原FusionInsight HD与华为云MRS强强结合，架构、内核归一，全面升级到FusionInsight MRS云原生架构，将为客户提供以下更具竞争力的云原生数据湖： 1.OBS大数据存算分离方案：首先，相较传统大数据存算一体化方案，软硬件解耦，提供更高性价比、更灵活的OBS大数据存算分离方案。OBS+大数据将计算与存储资源按需灵活扩容，避免资源浪费，OBS采用企业级EC，传统大数据需3副本，华为提供最低1.2副本的大数据存算分离解决方案，存储利用率从33%提升至80%+，使得整体TCO降低60%+。其次，OBS大数据存算分离方案将数据统一存储在OBS，数据在一个支持多协议共享，实现多引擎共享，数据免搬迁；同时，全局一套数据，统一数据管理，从而降低了运维的难度。最后，在性能方面，OBS大数据存算分离方案通过算子下推、软硬件调优，与同等成本的集群相比，性能提升30%+。 2.Data Lake Catalog统一数据目录：相较传统数据孤岛，DLC统一全局数据视图，让元数据全局可见。DLC还兼容Hive MetaStore，性能超越其3~5倍，在保持高性能的前提下，实现数据的全局可视。 3.BMS裸金属服务器：相较传统虚拟机部署，性能零损耗。其兼具大数据所需资源弹性，更是做到分钟级发放。同时，华为云大数据具备独家的SDI技术，基于擎天加速卡，拥有超低时延，可做到100%释放完整算力，让大数据分析、计算等高CPU、高内存、高IO等计算密集型场景如虎添翼。 新版本的FusionInsight MRS云原生数据湖除过以上云原生优势，还在以下5个方面持续发力：
1.快：基于MRS可构建实时数据湖，湖内建仓，一份数据支持全场景，缩短分析链路，加速数据分析全过程。首先，在数据入湖方面，通过Hudi实现全量数据的T+0实时增量更新；其次，在数据集市构建方面，通过ClickHouse实时OLAP能力构建大数据实时数据湖，基于Kimball直面业务构建主题数据，湖内建仓将数据的贴源加工、整合关联、主题加工过程都在湖内完成，一份数据支持数据应用全场景，缩短数据加工链路；通过HetuEngine实现数据虚拟化访问，统一SQL接口，简化用数，全民BI！经实测，在某客户营销业务场景下（大表多表关联场景）使用HetuEngine，较传统大数据性能提升10倍！ 2.融：助力客户从孤岛建设方式向云原生数据湖演进，提供跨源、跨域、跨引擎融合分析，数据免搬迁。 3.大：支持最大2万+节点大规模集群，可集群联邦无限扩容。 4.稳：支持在线滚动升级，无需拆集群、搬应用，使客户一个架构持续演进，十年无忧；支持资源隔离，业务互不影响；支持两地三中心高可用灾备，确保业务连续性！ 5.开放：华为云FusionInsight MRS积极拥抱开源，与世界同行，已获专利500+；具有20+开源PMC&Committer，先后开放CarbonData和openLooKeng等组件。 同时，华为云FusionInsight MRS作为最懂行的大数据解决方案，拥有雄厚的技术研发实力，深入了解客户场景痛点，为政企数字化转型提供最坚实的数据底座，连续多年获得了客户和权威机构的认可。在IDC MarketScape报告中，华为云位居领导者(Leaders)象限，并在市场份额和技术实力两个维度双领先！2020年，华为云FusionInsight已连续四年入选中国大数据企业50强，并荣获金融行业大数据最佳解决方案奖、中国信息通信大数据行业影响力奖、中国大数据平台类最佳解决方案奖。
截止2020年11月，华为云FusionInsight MRS云原生数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业，携手800+合作伙伴，服务于全球60+国家和地区3000+政企客户。 在金融领域，国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight MRS构建其大数据平台。金融某大行之前使用传统大数据的三副本存储性价比低，往往10PB的存储空间，有效容量仅3PB；同时存在存储、计算等资源不均衡，往往存储利用率超过70%，但CPU利用率不足50%，扩容时需要计算、存储资源一起扩容，存在资源浪费现象；该金融客户使用FusionInsight后，实现了大数据平台与OBS对象存储服务的对接，在保证性能的前提下，实现了计算与存储独立按需扩容，提升整体资源利用率，TCO降低60%。 在运营商领域，国内三大运营商均使用华为云FusionInsight MRS构建其大数据平台。广东移动大数据平台的集群规模已超1500节点，日均处理作业21万+，承载业务达200+，其中包括对内精准营销、收入稽核，对外广告投放等关键业务，服务连续性需求较高。而大数据技术迭代快，传统升级方式需断电、重启等操作，升级操作复杂，运维繁琐，影响现网业务运行，且大集群升级耗时长，突发故障易中断升级动作。为了保持业务的连续性和技术引领，广东移动通过华为云FusionInsight MRS滚动升级能力，实现大集群分批次滚动升级，业务0中断；故障节点隔离功能确保升级动作的稳定运行，实现7*24小时不间断服务；1000+精细化运维指标及可视化操作简化运维，实现一个架构持续演进。 在交通领域，深圳地铁在6、10号线采用华为云FusionInsight MRS构建大数据分析平台，打造领先的5G+大数据方案，并构建其数据资产中心和运行监控中心，承载地铁各业务系统，支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析，数据分析效率从周级缩短至分钟级，实现高效运营，推动深圳步入更美好的全联接数字化轨道交通新时代… （编辑：应用网_阳江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
