爱分析·中国云计算行业趋势报告
报告编委
特别鸣谢(按拼音排序)
目录
1.企业级云计算形态向混合云与边缘云演进 1.1 企业数字化转型驱动业务上云 近年来,随着国内外经济环境的变化,企业要想在新形势下持续获取业务增长的新动能,亟需改变过去以人力叠加和经验积累来驱动业务增长的经营模式,通过更前沿的信息技术手段来重塑企业业务流程和模式,已经成为中国企业的当务之急。 2020年新冠疫情的蔓延对于企业在疫情期间的业务应对能力提出了更高的挑战,企业对前沿技术的采纳和应用程度成为决定其应对能力的重要因素。 从发展历程来看,中国企业对信息技术的采纳和应用经历了三个连续的发展阶段,即从早期的以传统信息技术驱动的信息化转型,到中期的以互联网和通讯技术驱动的互联网化转型,再到新时期以云计算、人工智能、大数据等新兴信息技术为驱动的数字化转型。 在这三个发展阶段中,信息化转型阶段深刻塑造了企业早期的IT能力和技术架构,也在企业中沉淀了大量的传统应用系统。而互联网化转型阶段则催生了企业商业模式的变革,诞生了大量基于互联网业务形态的新兴企业,而这些企业中的佼佼者则包括美国的亚马逊和中国的阿里巴巴,而这些互联网巨头也成为云计算技术最早的探索者、实践者。 随着中国企业数字化进程的进一步推进,云计算技术的实践者逐步从新兴的互联网行业拓宽到金融、零售、政府、能源、电信、交通、制造业、医疗、教育等传统行业,从而进一步带动了云计算应用场景的不断进化,这又反过来推动了云计算的技术、产品与服务形态不断演进。 在企业数字化转型过程中,云计算能够为企业降低成本、提升效益,为企业业务创新、AI等新兴技术的应用创新提供有力支撑,还能够通过虚拟化技术降低其对硬件设备的要求来提升基础设施自主可控水平,在整个企业数字化转型过程中居于基础设施地位。 为了适应企业的业务创新、技术创新带来的敏捷性需求,同时满足企业在效率、成本、安全等方面的需求,云计算的形态从最初的公有云、私有云,逐步发展出混合云与分布式边缘云等多种云计算形态。
1.2 多重因素驱动云计算形态演进 爱分析认为,在云计算形态演进过程中发挥推动作用的三大因素是:扩容成本、扩容效率、数据存储安全性,它们影响云计算形态演进的逻辑如下图所示。
扩容成本:随着企业IT架构的发展,IT系统之间出现了“稳态”和“敏态”业务的差异,而它们工作负载的波动性差异,导致它们所期望的基础设施扩容比例不同。 面对这种差异,不同云形态的扩容成本支出存在一次性硬件建设支出和订阅式收费支出两种模式,使得其扩容成本不同,因此企业需要采取不同的策略来实现成本优化。 注:“稳态”与“敏态”源自Gartner于2014年提出的“双模IT”概念。“稳态IT”指业务目标相对明确、流程相对成熟的IT系统,“敏态IT”指业务模式处于不断创新和迭代中的IT系统。但本文中的“稳态”与“敏态”更加侧重于业务部署后的来自业务访问端的工作负载量的差异,即敏态业务常常会经历明显的负载高峰,而稳态业务则很少经历这样的高峰。 扩容效率:稳态和敏态业务由于单位时间内产生负载大幅度波动的频次不同,因此期望基础设施具备的扩容效率不同。 面对这种差异,不同云形态所具有的计算、存储资源数量,以及其底层架构的特性不同,使得它们的扩容效率、扩容成本都存在差异,即扩容弹性能力存在差异,因此企业需要采取不同的策略来实现扩容效率提升。 数据安全性:企业的业务也存在核心和传统性业务、互联网和创新性业务的安全级别差异,它们对于基础设施所具备的等保合规级别、数据隐私性强弱存在差异。比如,等保2.0要求企业的云计算平台为等保四级业务应用系统划分独立资源池,而对数据隐私较为关注的企业往往对于业务等保级别的要求更高。 面对这种差异,不同云形态的底层物理资源池的划分和归属方式、数据存储的物理隔离性存在差异,这也意味着其等保级别的满足性存在差异,因此企业需要采取不同的策略来实现安全合规性提升。 基于在不同业务场景下,企业对于降低成本、提升效率、提升安全三方面的需求强弱差异,云计算出现了从基于公有云、私有云的单一云形态,向以混合云、分布式边缘云为主的多云形态的演进。 1.3 面向双模IT,公有云与私有云优势各异 众所周知,云计算技术的先行者亚马逊AWS最早定义的云计算模式,就是依托于数据中心资源,通过互联网基础设施,为企业提供集中化、共享式的服务器资源租用,这也就是公有云的服务模式,但它在实践中被证明更加适合互联网科技型企业的需求。 而当云计算逐步进入到金融、政府、电信、能源、交通、制造业、医疗、教育等传统行业时,公有云的服务模式逐渐难以满足企业需求,在企业数或第三方数据中心内部建设私有云成为必然选择。 这种差异的驱动因素是不同类型的企业的业务对于扩容成本、扩容效率、数据存储安全性三方面需求的差异,其中前两者的需求可以归结为弹性需求,如下图所示。
弹性需求:敏态业务、互联网和创新型业务的工作负载波动性较高且难以预测,开发测试环境处于快速迭代中,随时会需要新的开发测试资源,更适合由具备高弹性的公有云来承载。稳态业务、核心业务和传统性业务的工作负载相对稳定,一般不需要进行频繁扩容,而且常常拥有大量的本地硬件基础设施,需要考虑利旧的需求,因此更适合由一次性建设投入为主、无持续订阅投入的私有云来承载。 安全性需求:敏态业务、互联网和创新型业务、开发测试环境对安全性要求较低,而采取共享物理资源池的公有云完全能够满足这类业务的安全性需求。稳态业务、核心业务和传统性业务对安全性要求高,部分业务甚至要求达到等保四级,因此具有专属资源池、能够满足等保四级要求的私有云才能够满足这类业务的安全性需求。 从以往企业的信息化和数字化程度来看,互联网和创新型企业的业务以敏态业务、互联网和创新型业务为主,同时需要拥有大量的开发测试环境,而传统型企业的业务以稳态业务、核心业务和传统性业务为主。 因此,我们看到的以往状况是互联网和创新型企业更多地会采用公有云,传统型企业更多地会采用私有云。这种企业之间、业务之间的需求差异性,使得过去公有云和私有云之间的关联较少,很少需要进行紧密配合。 但是,随着企业数字化进程的深入和业务模式的创新,传统型、创新型企业的应用场景出现了拓展和融合。在这种背景下,公有云与私有云的优势和特性可能是越来越多的企业希望同时享有的。 1.4 IT成本优化诉求之下,混合云已成大势所趋 随着企业数字化转型的深入,传统型企业、互联网和创新型企业的业务需求都发生了变化: 1)一方面,越来越多的传统企业开始探索“互联网+”、“AI+”等创新业务,这部分业务一般属于工作负载量波动较大的敏态业务。此外,在业务创新过程中,传统企业也需要敏捷的开发能力和高效获取的各类资源。因此,传统企业在持续使用私有云的同时,也需要公有云来承载创新业务和开发测试环境。 2)另一方面,大量互联网和创新型企业在业务发展到稳定阶段后,尽管其敏态业务的工作负载波动性仍然较大,但是其波谷的负载量也达到了相当水平,而这部分负载量将会持续存在很长时间,可以视为“敏态业务中的稳态业务”。因此,互联网和创新型企业除了维持一部分公有云资源来应对负载高峰的同时,还会将这部分持续存在的工作负载迁移到私有云上。
以上传统型企业、互联网创新型企业的两种业务边界拓展方式,使得原来他们与私有云、公有云的紧密绑定关系被打破,由公有云、私有云共同提供服务成为越来越明显的趋势。在这种背景下,混合云的应用空间大大扩展了。 总体来看,相比于公有云、私有云方案,混合云方案的优势主要体现在成本方面,而效率方面几乎能够获得等同于公有云的特性,安全方面则能够获得几乎等同于私有云的特性: (1)与互联网和创新型企业原有的纯公有云方案相比,混合云的成本之所以更加优化,并非是单纯的由私有云来取代一部分公有云,而在于让私有云承载了适合其特性的稳态业务类型,实现了私有云部分成本最优。 (2)与传统型企业原有的纯私有云方案相比,混合云的成本之所以更加优化,并非是单纯的由公有云来取代一部分私有云,而在于让公有云承载了适合其特性的敏态、创新型业务以及开发测试环境,实现了公有云部分成本最优。 因此,探索能够融合公有云、私有云两种云形态优势的混合云架构,同时实现良好的协同管理,成为未来企业级云计算的必然趋势。正如全球基础云架构方案商VMware所定义,混合云(Hybird Cloud)主要指公有云和私有云协同工作的应用方式,以及任意的能够通过办公场所内和场外的工作协同来提供云计算服务的解决方案组合。 现阶段,混合云的市场渗透率还处于较低水平。据中国信通院数据显示,2018年中国使用云计算的企业比例为58.6%,其中混合云的采用率为8.1%,而公有云、私有云分别是36.4%和14.1%。据Gartner数据显示,2019年全球云计算IaaS市场规模达455亿美元,在全球4581亿美元的IT软件支出为中仅占不到10%的比例,而云计算在中国的渗透率相对更低。 由此来看,中国未来的混合云市场将有极大的发展动力与潜力,而率先应用混合云的企业在相当长的时间内将代表企业数字化转型的最先进力量,在企业效能的竞争中将占据领先地位。 1.5 万物互联时代背景下,分布式边缘云方兴未艾在更大意义上,混合云仅仅是多云架构的类型之一。根据Flexera旗下的全球云管理服务厂商RightScale每年发布的云状态报告的定义,多云(Multi-Cloud)同时包括了多公有云(Multiple public)、多私有云(Multiple private)和混合云(Hybird Cloud)。 在传统多云架构中,无论是多公有云、多私有云还是混合云,数据处理能力都是集中式的,即大部分数据都统一汇集到这些云平台中进行处理。 但是随着万物互联时代的来临,企业的云计算应用场景发生了明显的变化,来自企业边缘侧的高数据密度、时延敏感的应用场景明显增加,比如面向互联网企业的音视频加速需求的内容分发网络(CDN)、工业互联网的工业设备数据、智慧安防中的安防摄像头数据、智慧交通中的路况和车辆数据的采集、处理和分析等等。
面对这类对于网络效率的要求较高的应用场景,集中式云的计算、存储扩容能力逐渐产生瓶颈,迫切要求云厂商和企业将计算能力下沉到网络边缘侧,实现中心节点与边缘节点的职能分化,构建“分布式边缘云”,并进一步对中心节点、边缘节点进行深度协同以实现成本优化。 1.5.1 分布式边缘云的定义及价值 《Gartner2020年规划指南》指出,分布式云是这一年的十大战略趋势之一,而Gartner对分布式云的定义是:将公有云服务分布到不同的物理位置,而服务的运行、治理、更新和演化则由最初的公有云提供商负责的一种云服务架构。 这里我们需要明确“分布式云”与“边缘计算”的差异。首先,并非所有的边缘计算系统都需要以云架构作为其中心节点、边缘节点的底层架构,即边缘计算系统不一定是基于分布式边缘云的。但是反过来讲,所有的分布式边缘云的最终目的都是为了让边缘计算系统走进云计算体系,即所有分布式边缘云都是边缘计算系统。 在后文中,为了强调分布式云的边缘计算属性,同时让大家更容易理解这一概念,我们将其称之为“分布式边缘云”,同时将边缘计算系统中担负中心节点计算能力的云称为“中心云”,将担负边缘节点计算能力的云称为“边缘云”。 边缘云根据位置的不同,又可分为近场边缘云和现场边缘云两大类,近场边缘云强调高可靠性的基础云服务能力,多采用OpenStack架构,而现场边缘云强调超强的弹性、快速的启停速度和高并行计算能力,多采用Docker和Kubernetes架构。 华为云IEF边缘计算解决方案就是一个典型的基于Docker和Kubernetes的分布式边缘云,如下图所示。
总体来看,分布式边缘云产生和发展的驱动因素在于网络响应效率和扩容成本两方面: 1)网络响应效率:在分布式边缘云架构中,采集到的数据可以首先在边缘节点进行初步的处理再上传到中心节点进行AI模型训练,训练完毕的模型被下放到边缘节点,基于持续产生的数据进行模型的推理和优化,从而避免了因大量数据的网络传输和集中式计算存储带来的网络性能瓶颈,提升了网络响应效率。 2)扩容成本:计算、存储能力下沉到边缘之后,中心云的资源扩容压力以及带来的成本被大大减轻。 1.5.2 分布式边缘云的统一管理与边云协同 分布式边缘云实现网络响应效率、扩容成本两方面优势的根本原因在于统一管理与边云协同,即通过中心云的统一远程运维管理平台,实现中心云、边缘云之间的行为协调,充分将计算、存储能力下沉到边缘,同时不影响中心云自身的正常工作。 边云协同能力主要包括数据协同、应用协同两个层面,如下图所示。
1)数据协同:它解决的问题本质上是数据密集型业务如何在中心云和边缘云之间进行合理负载分配,进一步可以分为数据处理协同和AI能力协同两个层次。 在数据处理协同过程中,首先由中心云负责制定数据上传策略并下发到边缘云,然后由边缘云负责数据采集,并基于中心云制定的策略进行预处理后上传到中心云,最后由中心云进行数据的集中存储和进一步挖掘分析。 AI能力协同过程本质上是数据处理协同过程的升级,区别在于其工作流程需要由边缘云发起,由边缘云将供AI模型训练的数据上传到中心云,然后由中心云基于数据进行AI模型训练并推送到边缘云,最后由边缘云基于AI模型和终端输入进行模型推理,并将推理结果返回中心云。 2)应用协同:它解决的问题本质上是非数据密集型的常规性业务如何在中心云和边缘云之间进行合理负载分配,进一步可以分为应用交付协同和应用编排协同两个层次。 为了实现这两类边云协同能力,一方面需要边缘云具备一定的自治能力,在网络出现故障的情况下仍然维持正常工作状态,不完全依赖于中心云的运维管理能力,另一方面需要中心云具备对边缘云集群的统一管理能力,尤其是对于异构边缘云的纳管,并进一步对边缘云进行统一的应用交付生命周期管理和服务编排管理,如下图所示。
目前,分布式边缘云的技术成熟度尚处于早期,且应用价值尚未被充分挖掘。从长期来看,分布式边缘云的主要价值在于充分弥合了万物互联的趋势下,集中式云计算的有限计算能力与现实世界中无限的数据维度之间的鸿沟。 2.混合云的实践路径选择与面临挑战 当企业选择实行混合云战略,需要选择良好的实践路径。按照主导厂商类型的不同来区分,混合云方案存在两种实践路径: 从公有云向下延伸,提供技术同构的专有云产品,从而形成混合云解决方案; 从私有云向上延伸,将公有云进行集成,从而形成混合云解决方案。 本章将论述这两种实践路径的产生逻辑,以及针对特定企业和场景的选择建议。 2.1从公有云到混合云:满足基础架构一致性需求云计算的最早商业化形式是公有云,其早期的实践者和推动者是亚马逊、阿里巴巴等互联网巨头,后来其他互联网公司、传统ICT厂商和创业型公司也持续加入。同时,为了满足企业级客户的专属资源池的需求,这些公有云厂商陆续推出了专有云、私有云方案,从而形成了全栈式的混合云方案。 按照厂商背景来看,提供全栈式混合云解决方案的公有云厂商有三类:第一类是互联网大厂旗下的公有云厂商,第二类是传统ICT厂商旗下的公有云厂商,第三类是中立性的公有云厂商。 从共同点来看,这些公有云厂商的混合云发展路径都是最终实现公有云架构与专有云&私有云架构的完全统一,但是不同点在于它们公有云诞生的目的不同使得其特性不同,由此造成的专有云&私有云、混合云的适用场景也有所差异,如下图所示。
2.1.1 互联网大厂公有云+专有云的混合云方案阿里云、腾讯云、百度智能云、京东智联云等互联网大厂旗下的公有云,其诞生初衷都是为了通过公有云服务更好地支撑自己集团内部的业务,实现自身IT能力的敏捷化转型,同时降低对于专业服务器、存储和网络设备厂商的依赖。 这类厂商的公有云架构大部分都是基于高度自主研发的分布式架构,为了应对极高并发的互联网业务,普遍需要较大数量的管理节点以保证服务的稳定性。 这类厂商早期的公有云客户一般以互联网企业和中小企业,逐步转向服务大型政企客户时,提出了“专有云”的概念,即通过对公有云架构进行适当的缩减,形成一套规模相对较小、能够适应本地化部署的专有云方案,典型如阿里云+Apsara Stack,腾讯云+TCE、京东智联云+JD Cloud Stack、百度智能云+ABC Stack、金山云+Galaxy等。 由于专有云与公有云采取一致性的基础架构,IaaS、PaaS资源具备一致性,因此一般能够支持应用在公有云、专有云之间进行低成本快速迁移,同时保证了公有云、专有云实现功能和特性的同步进化,防止了碎片化的专有云版本出现。 但是由于互联网大厂公有云的基础架构特性,其专有云对于物理节点数量下限要求较高,一般都要求至少提供几十到近百的物理节点,更加适合于业务规模较大、预算充足的腰部以上企业。
整体来看,互联网大厂“公有云+同构专有云”的混合云方案,适合业务规模较大、预算较为充足、服务商生态较为完善的企业,公有云、专有云间的基础架构一致性有助于其在漫长的IT建设周期内保证技术能力的持续同步进化。 2.1.2 传统ICT厂商与中立云厂商公有云+私有云的混合云方案与互联网大厂旗下的公有云不同,华为云等传统ICT厂商旗下的公有云,以及UCloud、青云等中立性公有云厂商,其公有云的定位更加单纯,主要用于对外提供商业化的公有云服务,同时期望能够将公有云的架构无缝地移植到私有云之中。 因此,这类公有云厂商的基础架构相对较为轻量化,从而保证了其私有云产品既能具备与开源架构一样的低节点数量要求,同时又能保证私有云的基础架构与公有云之间的一致性,典型如华为云+华为云Stack、UCloud+UCloud Stack、青云+青云私有云。 整体来看,传统ICT厂商或中立云厂商的“公有云+同构私有云”的混合云方案能够更加灵活有效地支撑中小规模业务场景,同时保证公有云和私有云的基础架构一致性,因此更加适合于当前业务规模一般,但未来可能具备一定成长性,并期望长期保持技术创新和迭代能力的企业。 2.2从私有云到混合云:满足企业差异化需求相比于从公有云到混合云的实践路径,从私有云到混合云的实践路径更为复杂,这是因为私有云厂商从一开始就需要考虑来自企业客户的差异化需求,这种差异性体现在两个方面:
基于这些差异化需求,私有云架构出现了开源技术和闭源技术的差异,以及分离式架构与超融合架构的差异。 2.2.1 分离式架构的私有云早期的私有云采取分离式架构,即计算、存储能力通过不同的设备或服务器集群来提供。按照技术架构的不同,它又分为开源和闭源两类。
但是由于OpenStack架构的复杂性问题,近些年在产品化、标准化、商用化等方面开始面临大量痛点,因此开源云厂商基于OpenStack进行闭源深度自主研发,从而提高产品的标准化程度,实现产品无缝升级已经成为大势所趋。
闭源私有云的优势在于其长期实践经验和产品迭代带来的高度稳定性,但由于其核心技术往往由国外虚拟化厂商、商用存储设备厂商所控制,会使得企业面临自主可控性差、厂商绑定等因素的困扰。此外,商用存储扩展性不足也成为困扰企业的一大痛点。 总体来看,无论是开源技术还是闭源技术,计算、存储分离部署模式由于采用了单独的存储集群,在面向具备庞大数据中心资源的超大规模客户时存在以下三点优势:
但是,分离式私有云架构同样存在两点劣势:
2.2.2 超融合架构的私有云当企业追求私有云的易于管理、高性价比等特性时,计算、存储融合部署的超融合架构成为最合适选择,目前这种方案已经开始在中型乃至大型客户中出现。 Gartner认为,超融合架构(HCI)是一种以软件为中心的体系结构,将计算、存储、网络和虚拟化资源(以及可能的其他技术)紧密集成在单一的供应商提供的一台硬件设备中。相比于分离式架构的私有云,超融合架构的私有云真正实现了完全的软件定义、完全的虚拟化、完全的分布式。 与分离式架构私有云类似,超融合架构私有云同样存在开源、商用两类生态。
如上图所示,SmartX的超融合架构除了包括自有的虚拟机服务和分布式块存储,还可兼容VMWare、Citrix等其他厂商的虚拟机服务。据了解,SmartX结合云管理形成的超融合私有云已经在大型国有银行和大型券商等客户形成实际案例。 相比于分离式架构私有云,超融合架构私有云的有两点明显优势:
2.2.3 从私有云出发的混合云生态两类私有云部署架构(分离式/超融合)、两类私有云技术生态(开源/闭源),与公有云一同构成的混合云生态体系如下图所示。
总体来看,不同混合云生态在定制化能力、易管理性、成熟稳定性、性价比等四方面的对比如下。
2.3 混合云实践过程对企业的多重挑战无论从公有云走向混合云,还是从私有云走向混合云,对于企业来说,都是一个解决方案越来越复杂、面临的技术挑战越来越多的过程。 据中国信通院数据显示,缺少适合的解决方案,以及现有技术不够成熟是阻碍企业应用混合云的两大最主要因素,网络连接不够稳定、基础功能不完善是企业在混合云应用过程中面临的两大最主要挑战。 但是,缺乏合适的解决方案与技术的具体原因可能分布在混合云与分布式边缘云的各个层次中。为了分析这些原因,我们必须明确混合云与分布式边缘云建设的混合云和分布式边缘云的基础架构图来进行分析,如下图所示。
1)混合云基础设施平台:它是混合云、分布式边缘云建设的基础环节,主要包括公有云/私有云、中心云/边缘云等多种不同基础架构的云形态,以及其中不同的计算、存储、网络架构,还有跨云连接网络、多云管理平台(CMP)等多云间的融合机制。 2)云原生技术中台:它是企业开发云原生应用或迁移、改造传统应用,最终实现业务创新的核心环节,主要包括aPaaS(DevOps、微服务治理、中间件服务)、iPaaS、Database PaaS(数据库PaaS)、Business Analytics PaaS(业务分析PaaS)、ITOM平台(CMP、APM工具),共同服务于云原生应用交付生命周期。其中,aPaaS(应用PaaS)是云原生应用交付的主要平台。 在本报告的第三章、第四章中,我们将详细分析这两个环节中的挑战构成,如下图所示。
此外,为了应对这些挑战,企业还需要选择合适的厂商来提供混合云解决方案,因此本报告还将提供一些典型厂商的最佳实践案例。在这些挑战环节中提供解决方案的典型厂商如下图所示。
3.混合云基础设施平台建设 云计算基础设施层的构成形态,直接决定了云计算的架构和形态。企业在对混合云与分布式边缘云的落地实践中,首先要面临基础设施平台建设的挑战。 3.1 混合云基础设施的三个应用阶段根据公有云、私有云之间在基础设施层面的协同深度,我们可以将混合云基础设施的应用阶段分为三个层次:多云网络互通、多云管理与协同、多云资源一致。
1)多云网络互通:在多云之间实现广域网的连接,从而实现信息的跨云传输;在这一阶段,企业面临的挑战主要是混合云对跨云连接网络的稳定性、配置敏捷性、成本优化能力等方面具有较高要求; 2)多云管理统一:通过多云统一资源管理,实现工作任务在多个计算存储资源池的灵活分配,从而实现多云业务协同和成本优化;在这一阶段,企业面临的主要挑战在于多云环境承载业务形态多样、资源类型多样、权限分配复杂,对企业的IT统一管理带来大量痛点; 3)多云资源一致:通过在多云之间保持IaaS、PaaS资源的相对一致性,从而允许应用和资源在多云之间自由迁移或漂移,同时尽可能减少过程中的人工干预;在这一阶段,企业面临的主要挑战在于如何克服多云基础架构的异构性。 本章将对以上三个阶段企业面临的挑战及对策进行详细阐述和分析,同时提供相关类型厂商在企业中的实践案例。 3.2多云网络互通企业组网是企业IT基础设施建设的核心诉求之一,它保证了企业分布在不同地点、不同环境中的计算资源能够实现在一张局域网中自由互访,并满足企业内部的网络管控需求。 在混合云架构中,公有云、私有云计算与存储设施往往分布在不同地域和数据中心,需要通过广域网进行连接,从而实现企业组网。 在分布式边缘云架构中,从骨干网、城域网到接入网,均需要通过广域网进行连接,从而构成包括众多边缘云的边缘计算网络。 无论是混合云还是分布式边缘云,它们的广域网连接质量对其应用效果乃至成败至关重要。 现阶段,VPN、专线和SD-WAN是企业采用最多的三种网络连接技术,其中MPLS VPN是最为普遍的VPN技术类型,它们分别具备不同的优势和适用场景,其对比如下图所示。
随着企业对云计算应用程度的加深,以及混合云、边缘云的出现,专线和MPLS VPN面临着三个方面的严峻的挑战。 第一,随着业务工作负载量的增加,专线、MPLS VPN的带宽也需要不断增加,而高带宽的专线和VPN的租用费用较为昂贵,给企业造成了越来越高的网络运维成本; 第二,随着分布式边缘云架构的发展,部分偏远或小型分支机构的规模不足以支撑专线和MPLS高昂的成本; 第三,在云计算环境下,企业业务创新与迭代速度不断加快,对企业的网络响应能力,对增加带宽、增加线路等网络配置的敏捷性要求都越来越高,而专线、MPLS的配置灵活性相对不足。 为了解决专线和MPLS VPN面临的困境,SD-WAN(软件定义广域网)这一新兴网络技术在近些年崛起,其主要技术在于实现网络控制与数据转发功能的分离,以及传统网络功能的虚拟化,同时基于对网络环境实时状态的感知来控制虚拟化的网络功能,从而为每个数据包选择最佳路径,保障了分发的高效性和通讯的实时性。
总体来看,SD-WAN相比于专线和MPLS VPN的优势体现在成本和效率两方面: 扩容成本:SD-WAN可完全基于互联网链路,无需依赖任何专线线路;可有效提升网络链路的利用率,无需维持空闲链路。 扩容效率:SD-WAN通过智能路由实现流量高效转发,传输时延相比于MPLS VPN大幅降低;通过Portal即可进行网络部署和变更,所需时间大幅缩短,技术门槛也大幅度降低。 近些年,SD-WAN的安全性技术也不断完善,支持通过IPsec、TLS、DTLS等多种加密技术来实现数据加密。但现阶段,许多企业出于对安全性的顾虑,会采用MPLS VPN与SD-WAN的混合架构,使用MPLS来承担核心业务流量,而使用SD-WAN来承担互联网业务流量。 综上所述,在混合云与边缘云时代,SD-WAN能够有效提升企业网络管理效能,从而进一步提升企业竞争力。 3.3 多云管理统一尽管成本优化是推动混合云、分布式云的主要因素,但是成本优化方案的落地实施却并不容易。公有云、私有云、中心云、边缘云等不同的云,其成本最优的业务类型不同,同时这些业务的工作负载同样是在动态变化中的。 这种复杂性带来的管理困难,使得企业亟需通过统一的多云资源管理平台,对多云平台的资源使用、任务调度进行统一管理,最终实现多云成本优化。 混合云成本优化分为两个部分: 1)在公有云、私有云之间进行工作负载分配,以尽可能降低因扩容带来的额外成本; 2)对多个公有云账号所拥有的资源进行统一管理与分配,以尽可能降低因部门或团队独占资源带来的资源利用率降低。
3.3.1 公有云、私有云间成本优化混合云产生与发展的主要驱动因素之一是成本与效率的平衡,即让私有云和公有云发挥各自的优势,实现最大的投入产出比。在这里,我们将投入产出比定义为:在一定时间内,混合云承载的总工作负载量与软硬件成本投入的比值。 在混合云实践中,企业面临成本优化的挑战主要来自敏态业务,这是由稳态和敏态业务的特性决定的。 稳态业务:其负载峰值与负载低谷相比,差距一般不超过数倍,因此选择私有云来完全承载其工作负载,其计算资源利用率仍然相对可接受。同时,由于私有云成本主要集中在前期的建设投入,在更长时间尺度上的成本相比于公有云更低。因此,大部分稳态业务都可以通过私有云来完全承载,不存在太多跨云优化的空间。 敏态业务:其负载峰值往往高达负载低谷的数十倍到上百倍,如果选择私有云来完全承载其工作负载,在低谷期会产生严重资源闲置,难以通过后期的低成本来抵消前期的高建设成本。这种情况下,通过公有云来承载其工作负载高峰变得十分必要。 但是,在敏态业务的生命周期中,并非采用公有云的比例越高越好,这是因为在整个敏态业务的生命周期内,尽管其工作负载的总体波动性较大,但是仍然可能在某些时间段内展现出一定程度的稳态特性。 比如,下面的曲线图就表示了某敏态业务在生命周期内经历的工作负载变化情况。
增长期:当业务处于增长期,负载的波动幅度较大且不断增长,其下一时间段的波动幅度,以及生命周期长度往往不可预料,需要云平台具备弹性的扩容缩容能力。因此,选择公有云来完全承载其负载是投入产出比最优的方案。 稳定期:当业务进入到稳定期后,由于用户群体、数据源的相对稳定,其负载波动特性会变得比较容易预测,低谷期的工作负载也会相对稳定。在这个阶段,企业往往对于业务的生命周期长度有相对乐观的预计。因此在稳定期内,企业逐步采用私有云来承载一部分固定存在的工作负载,是相对成本更优的方案。 衰退期:当业务进入衰退期,工作负载在波动中呈现下滑趋势,但由于在稳定期投入了大量支撑私有云的硬件成本,而且这部分硬件成本显然无法回收,所以整体的投入产出比也呈现下滑趋势。在这种情况下,继续尽可能地利用现有私有云资源,同时不断回收公有云资源,更加有利于投入产出比的维持和优化。 当然,上图仅仅是企业在一个较粗的时间颗粒度上可能采取的混合云成本优化方案。在实际生产环境中,优化粒度可以更加精细,在每个波动周期内快速启停公有云资源。 此外,在企业实际生产环境中,本地资源池的情况往往更加复杂,不仅会有私有云,还可能有物理机、VMware虚拟机等异构资源,它们在混合云成本优化过程中也可以作为私有云来对待。 面对这样的优化背景,仅仅依靠割裂在不同资源池内的运维管理界面难以满足需求,企业运维人员亟需有能够纳管多种资源、提供多维度运维数据的管理平台,实现统一、高效的成本优化,这就是云管理平台(CMP)。 作为能够实现多云资源纳管的运维管理工具,云管理平台(CMP)能够纳管包括VMware虚拟机、裸金属机器、私有云、公有云、存储设备、SDN网络等多种资源,同时提供运维监控、统计报表以及相应的可视化功能。 基于CMP的这一系列功能特性,企业能够实现对公有云、私有云各自的资源使用情况的分析,从而做出相应的优化策略:
1)如果企业通过CMP监控到公有云中有长期存在的固定工作负载量,企业可将其逐步迁移到私有云、VMWare上。这时如果私有云、VMWare的使用率已经很高,难以扩容,则考虑扩大规模来承载这部分业务。 2)对于私有云、VMWare、物理机中存在的负载波动性较大、出现了明显的性能瓶颈的业务,企业可将这部分超出正常承载能力的工作负载转移到公有云。 3.3.2 多公有云间的成本优化多公有云的成本优化是建立在公有云、私有云间成本优化的基础上,进一步实现混合云成本优化的另一个阶段。 造成多公有云的原因是复杂的,其中典型的原因包括实现多云灾备、减少厂商绑定、希望利用不同云的特有能力等。此外,出于内部组织架构的原因,企业也有可能创立多个公有云账号来归多个部门管理和使用。 无论是单一公有云厂商的多个账号,还是多个公有云厂商的多个账号,由于其资源之间的割裂性,都可能会带来资源闲置,从而造成成本升高。资源闲置的典型原因包括两类: 1)不同部门拥有不同的账号,使得这部分公有云资源被独占,在不使用的情况下无法被分配给其他部门来使用,也无法被统一释放,造成资源闲置和成本浪费; 2)某些公有云的资源被释放后,它所占用的资源未被同时释放,比如服务器被释放后,占用的存储、弹性IP可能未被释放,在多公有云账号的情况下,这样的情况更加突出,造成资源闲置和成本浪费。 基于CMP提供的多云纳管、权限管理和运维监控能力,企业能够采取以下策略来解决资源闲置问题:
1)针对第一类情况,企业可将公有云账号的权限收归企业统一管理,基于CMP的多云纳管能力,实现多个公有云账号的打通,并基于CMP的权限管理能力,为不同部门创建有不同操作权限的业务组,同时提供资源统一申请流程,对资源进行统一分配和回收; 2)针对特定资源被释放后,被其占用的其他资源未被同时释放,最后出现闲置的问题,企业可基于CMP的运维监控能力实现资源利用率监控和回收。
3.4 多云资源一致随着企业双模态业务之间的深度融合,以及混合云和分布式边缘云在企业内的应用程度加深,应用和各类资源在多云之间进行平滑迁移的需求逐步显现,这就需要多云资源一致能力,即“互操作”能力。 多云资源一致的含义在于应用和资源能够无缝地访问公有云、私有云、中心云、边缘云的计算、存储、网络等IaaS资源,乃至数据库、中间件、微服务等PaaS资源,这有赖于多云间的基础架构与标准的统一或兼容。 但是,由于公有云、私有云、中心云、边缘云往往来自不同厂商,而这些厂商出于差异性竞争、产品创新等需求,都可能会在相对统一的原生技术标准,如KVM、OpenStack、Kubernetes、Ceph之上增加自己的特性或限制,这使得不同厂商的云在计算、网络、存储等基础架构以及其上的IaaS、PaaS资源都会存在大量异构性,其影响主要体现在两个方面: 1)资源深度耦合:不同云厂商的云原生资源与基础架构深度耦合,云原生应用同样与云原生资源相互耦合,对应用和资源的跨云迁移造成障碍。 2)功能进化不同步:公有云、私有云、中心云、边缘云之间的基础能力无法保证同步进化,这阻碍了私有云、边缘云中的云原生应用采用公有云、中心云提供的最新服务,进一步增加了应用跨云漂移的难度。 现阶段来看,多云资源一致仍然难以建立在开放生态的基础上,因为这有赖于云厂商之间的共识,从而在未来实现某些统一的底层标准。 目前,在混合云、分布式边缘云中实现资源一致性的阶段性方案有三种: 1)采用统一厂商的全栈式方案:即由同一家云厂商来提供包括公有云、私有云、中心云、边缘云产品,这样做的好处在于完全保证了多云之间基础架构和资源的一致性,能够让企业在私有云、边缘云中享受到与公有云较为一致的资源服务,保证了上层应用无需改造、无需专门的迁移工具就能实现自由迁移。 2)搭建跨云的云原生技术中台:通过Docker容器镜像、Kubernetes容器编排技术实现跨云的统一云原生技术中台搭建,能够同时解决资源一致性和跨云迁移自动化的问题,并且能够进一步服务于应用的全生命周期的跨云统一管理,这将在第四章中详细介绍。 3)采用第三方云迁移工具:它尽管并没有改变多云基础架构异构的现实,但是却提供了一种多云资源一致性的替代方案,即通过自动化、标准化的跨云迁移解决方案,降低了应用跨异构云迁移的成本,这样的平台可能是多云管理平台(CMP),也可能是专业的云迁移工具。 与混合云解决方案类似,分布式边缘云同样存在全栈式、资源一致性的解决方案,较为典型的是华为云的九霄智能边缘解决方案。 华为云九霄智能边缘解决方案包括现场边缘云IEF智能边缘平台(Intelligent EdgeFabric)和近场边缘云IEC智能边缘云(Intelligent Edge Cloud)两部分,其中IEC智能边缘云与华为公有云、华为云Stack基础架构完全一致,主要面向AR/VR、云游戏、互动直播等近场边缘场景,主要职责是提供基础云服务能力,一般部署在城域网中的地市级、区县级机房中。 相比于电信运营商的分布式边缘云,华为云等云厂商的边缘云解决方案在基础架构一致性方面的优势,有助于其实现边云深度协同。 4.多云架构的云原生技术中台建设与应用交付 企业上云和数字化转型的主要动力之一是为了实现业务创新,从而获得快速的商业增长。 因此,尽管企业在上云初期主要关注基础设施平台的扩容成本、扩容效率、数据存储安全性等问题,但是随着其云计算应用程度加深而不断加强,企业对于应用交付过程的关注会持续加强。 4.1多云架构对应用交付过程的挑战企业在数字化转型和业务创新过程中,为了快速地实现业务迭代和体验提升,需要不断通过快速上线新功能的方式来收集用户反馈,从而用于指导下一步的开发,从而实现业务创新的敏捷化转型。 因此,企业除了关注基础设施层面的成本、效率优化,以及安全合规等问题,必然会还会关注实现业务创新的云原生应用的交付效能。 混合云、分布式边缘云的出现,对于应用交付效能提出了新的挑战。如果企业无法有效解决异构多云环境下的应用交付效能降低,将阻碍混合云、分布式边缘云的成功实践。 如果要想找到评价企业应用交付过程是否能够为企业创造足够价值的一个评价标准,那么“应用交付效能”将是十分合适的一个指标。应用交付效能的含义是应用在开发与构建、测试、部署、运维管理的生命周期过程中,在吞吐量和稳定性两方面的综合表现。 注:交付效能、吞吐量、稳定性等定义来自谷歌旗下DORA(DevOps Research and Assessment)发布的《全球DevOps现状调查报告》。
1)吞吐量:含义是应用在单位时间内更新的功能点的总量,它主要受到变更前置时间和部署频率的影响。变更前置时间代表应用从研发人员提交代码到成功在生产环境中部署所经历的时间长度。部署频率则与变更前置时间密切相关,一般来说前置时间越短,能够达到的部署频次就越高。 2)稳定性:含义是应用交付完成后,在实际生产环境中持续发挥价值的能力,它主要受到变更及服务失败率和服务恢复时间的影响。变更及服务失败率主要指应用新功能上线后,由于功能缺陷、体验性、系统故障等原因,导致应用被迫回退到上一版本或重新启动的概率。服务恢复时间指应用在因系统故障、性能压力等原因而停止后到恢复正常服务能力所需的时间。 随着基于容器的DevOps、微服务治理等产品与方案的成熟,整个云计算的云原生技术中台体系逐步形成,它也成为推动云计算时代的企业应用交付效能进一步提升的主要动力。云原生技术中台对于应用交付效能的影响表现在吞吐量和稳定性两方面,如下图所示。
1)吞吐量:DevOps平台完全替代了过去开发、测试人员的手动打包提交、手动部署测试环境的过程,人工干预的频次被极大降低,从而缩短了变更前置时间,提升了部署频率,最终提升了吞吐量。微服务架构和开发体系进一步将研发颗粒度细化,团队协作分工更加顺畅,缩短了变更前置时间,同时提升了部署频率,同样提升了吞吐量。 2)稳定性:DevOps平台实现了从开发、测试人员到运维人员的流程自动化,容器技术的可移植性、跨环境一致性的特性消除了因环境异构导致的变更失败可能,使得变更及服务失败率大幅降低。微服务治理的路由控制、流量控制、负载均衡、熔断限流等服务大幅降低了故障率,从而减少了服务恢复时间。这两方面因素都使得应用交付的稳定性极大提升。 但是,以混合云和分布式边缘云为代表的多云架构带来的异构的资源环境,必然需要打破单一云环境下的应用交付和管理生命周期,在应用交付的吞吐量、稳定性两方面都会给企业带来新的挑战。因此,在多云异构环境下,云原生技术中台的价值再次凸显。 4.2 构建跨云的云原生技术中台由于以Docker技术为代表云原生技术在相当程度上能够屏蔽很大一部分多云间的异构性,实现应用开发测试环境的相对标准化、统一化,因此如果实现云原生技术中台的跨云构建,那么多云架构之上的应用交付效能将得到有效提升,如下图所示。
因此,如何构建一套兼容不同厂商的公有云、私有云、中心云和边缘云的云原生技术中台,成为企业在这一过程中将面临的主要挑战。 除了基于不同的云基础设施平台构建云原生技术中台之外,一些大型政企客户往往还拥有大量的数据中心资源,其中存在各类物理机、VMWare虚拟机。尽管这些资源中并没有建设云基础设施,但仍然是资源异构性的另一种表现。云原生技术中台可直接搭建在物理机、虚拟机之上,实现跨异构资源、跨地域、跨机构的应用交付生命周期的统一管理,成为多云架构的另一种形式。 在这样的挑战下,独立的容器云厂商的价值得到凸显,其优势在于中立性、产品化和服务能力: 1)中立性:独立容器厂商尽管可能与某些公有云厂商建立紧密的战略合作关系,但总体来说其产品并不绑定IaaS平台,而是能够充分兼容各类IaaS层资源,包括VMware、OpenStack和主流公有云厂商,从而使得企业能够在多公有云上部署同构的Kubernetes集群,从而有效支撑统一DevOps平台的搭建。 2)产品化:独立容器厂商的产品本质上是对原生Kubernetes进行二次开发和产品化封装,增加大量面向企业使用场景的功能模块,并提供友好的部署安装和用户交互界面,大幅降低了容器平台的使用门槛。基于容器平台,容器厂商一般还提供高度产品化的DevOps平台,集成面向开发、构建、测试等各阶段的中间件和工具,为企业提供一套端到端的DevOps方案。 3)服务能力:独立容器厂商一般具备专业的服务团队,可以为尚不熟悉容器和DevOps的企业提供培训、咨询和技术支持服务。对于部分具有复杂定制化要求的企业,公有云厂商一般不会提供深度的交付服务,而许多独立容器厂商则能够提供此类服务。 总体来看,基于容器云厂商提供的跨云的云原生技术中台,企业能够实现包含开发、构建、测试、部署与运维过程在内的DevOps敏捷开发过程,避免了因多云异构环境造成的人工操作增多、应用交付效能降低的情况。 3.3多云架构下“云原生闭环”的构建尽管在跨云的云原生技术中台的搭建过程中,我们看到了独立容器云厂商的独特价值,但是它也并非唯一的答案。 实际上,云原生技术中台的最初目的,就是为了服务于云原生应用交付的全生命周期。而考虑到敏捷开发过程周而复始的过程,这个生命周期显然不可能是一条单向的直线,而一定会构成一个“云原生闭环”。 根据一般企业的软件研发及上线流程,这个完整的“云原生闭环”应该包括:业务部门流程,即需求提出;研发和测试部门流程,即需求确定、开发测试资源申请、开发与构建、测试;运维部门流程:部署、运维管理、问题与需求反馈。随着运维部门将应用在部署或运维中出现的问题反馈到研发测试部门,整个闭环周期才完全流转结束,如下图所示。
正如上图所展示,在云原生应用交付的生命周期里,除了需求确定、云原生应用开发、测试、应用部署等环节由容器云厂商占据主导,在资源申请、监控与灾备这两个连接开发测试部门与运维部门的核心环节中,企业都需要相应的工具平台进行支撑。 当多云异构环境成为企业中的主流以后,如何实现跨云的资源统一申请、统一监控与灾备,从而有效提升“云原生闭环”的效率成为企业的主要痛点之一。 此外,云原生技术的普遍应用也改变了所谓“资源”的定义。传统IT和云原生出现之前的资源更多的是指的物理资源和虚拟化资源,以及传统的数据库和中间件资源。但云原生技术成熟之后,容器、云原生数据库、云原生中间件等云原生资源同样需要进行统一申请、统一运维监控和灾备。 在这种背景下,许多厂商的CMP、APM等ITOM工具,正在逐步从基础设施层向云原生层进行拓展,从而融入到“云原生闭环”中。 因此,基于“云原生闭环”的重要价值,我们把面向云原生资源进行管理、监控并提供IT服务的云管理工具CMP,以及应用性能监控工具APM等ITOM工具,都定义为云原生技术中台的重要组成部分。 4.3.1 多云架构下的资源申请在单一云的环境下,企业往往直接通过公有云、私有云的后台管理界面来申请资源。但是在越来越复杂的多云环境下,有大量独立的资源申请入口,并且需要通过这些独立的入口来对资源进行管理,对企业的资源分配造成较大管理困难,多云管理平台CMP的价值得到充分凸显。 CMP的最初意义在于提供对异构的多云环境,包括VMware虚拟机、OpenStack私有云、公有云、容器、存储、SDN等各类资源的统一纳管,为企业优化云服务成本,统计云资源使用情况。 但是,在企业日益复杂的多云管理需求下,CMP逐步从单纯的资源管理工具,发展为能够为IT部门乃至业务部门提供服务化能力的ITSM平台。 在服务化趋势下,CMP可作为对内服务门户,提供统一的资源申请入口,对包括虚拟主机、存储、SDN网络在内的IaaS资源,容器、DevOps、中间件、数据库在内PaaS资源实现集中化、服务化交付。其中,对于VMware这类单租户、缺乏自服务能力的传统虚拟化平台,CMP能够有效地为其增加多租户、自服务特性,与私有云、公有云等资源实现统一化的管理和交付。 总体来说,CMP的服务化趋势提升了IT资源申请、审批和创建的自动化水平,降低了应用交付的变更前置时间,提升了应用交付吞吐量。 4.3.2 多云架构下的监控与灾备多云异构环境对IT运维管理的挑战主要体现在性能监控、容灾备份两方面: 1)性能监控:在多云异构环境下,IT系统的隐患和故障类型更加复杂,多因素故障成为主要的故障类型,故障排查难度上升,而传统的、单点式的故障监控分析工具已经难以满足运维人员的需求,成为提升服务恢复时间、应用交付稳定性的主要瓶颈之一。 面对大量的多因素、关联性故障,APM工具能够帮助企业进行更加深度和多维度的监控分析,能够通过基础监控协议、字节码探针、SDK/API等方式触达包括IaaS、PaaS、应用层、日志文件等在内的各类IT资源,获取指标数据并进行关联分析,实现跨越异构云环境的故障定位。 相比于APM,CMP更倾向于提供针对多云环境的整体运维管理解决方案,在提供多云资源纳管和成本优化的基础上,同样能够针对多云异构的IaaS、PaaS资源提供一系列监控告警服务。此外,容器云厂商的微服务治理平台在面向微服务架构应用的监控方面存在明显优势。 因此,APM、CMP、微服务治理平台等性能监控工具的价值,在于能够帮助企业降低服务恢复时间,提升应用交付的稳定性和总体效能。 2)容灾备份:在多云异构环境下,因为私有云、VMWare虚拟机、公有云、跨云网络中的各类故障而造成的业务中断风险明显增加,同时由于业务创新需求,多云架构往往需要进行更加频繁的资源变更,这些都对于应用的交付稳定性、业务连续性能力提出了更高要求。因此,企业的容灾备份需求大大提升。但是,传统IOE厂商的灾备技术较为笨重,难以适应云计算环境下高频的灾备需求。 因此,基于云计算技术的云灾备平台能够有效提升多云环境中的灾备效率,同时降低成本,优势主要体现在兼容性、高效性两方面。在兼容性方面,云灾备支持平台架构解耦,兼容各种虚拟化平台和云平台,如VMWare、KVM、OpenStack等,无厂商绑定限制。在高效性方面,云灾备平台支持精简复制、断点续传、即时负载接管应急、多副本负载演练等功能,能够提升灾备的成功率和灵活性,将灾备演练的周期缩短,并通过应急接管能力提升多云服务的业务连续性。 因此,云灾备平台的价值在于能够有效提升企业的业务连续性,最终提升应用交付的稳定性和整体效能。 总体来看,多云异构环境下的监控灾备环节,主要挑战在于复杂的异构环境对性能监控、容灾备份的自动化、标准化程度带来挑战,运维人员可能会因此增加人工操作频次,从而增加失败率和服务恢复时间,最终降低应用交付的稳定性和总体效能。 而解决这一挑战的主要途径是通过CMP、APM、微服务治理平台、云灾备平台等ITOM工具实现面向多云异构环境的运维过程自动化和标准化。 5.哪些云计算新趋势将为企业创造更多价值? 展望未来,随着云计算技术深入到企业的业务中,必然会催生两方面需求:一方面是更好地让云计算的低成本、高性能算力为企业的数据利用服务,加速企业的业务创新;另一方面是将云计算与传统网络拓扑进行无缝融合,从而更好地为拥有大量历史遗留IT资源的传统型、集团型企业提供全面上云的支撑。 5.1面向数据密集型应用的云原生技术中台5.1.1数据密集型应用面临的生命周期管理挑战相比于底层的IT基础设施,数据和企业业务的联系更加紧密。因此,对数据普遍应用是企业数字化转型的最直接表现,它能够为企业带来业务营收和生产效率的增长,同时有效改善客户体验。 企业对数据进行利用的历史非常悠久,从早期的面向主题的数据仓库建设与OLAP分析,到后来的大数据技术、机器学习与深度学习的兴起,数据的利用深度以及产生的价值也在不断进化。 但是企业数字化转型进程的不断推进,数据维度、数据类型的越来越复杂,企业面临的业务诉求越来越复杂,对数据利用效率的要求越来越高,使得原有的数据利用过程遇到了效率瓶颈。 在这样的背景下,如何从应用管理的角度出发,将数据利用过程转化为包括开发、部署、编排、持续测试和优化等环节在内的数据密集型应用的生命周期管理过程,已经成为企业IT与组织能力的核心挑战之一。 但是,DevOps过去仅仅关注的是非数据密集型的的应用,对于以数据密集型应用的关注较少,但两者存在截然不同的需求: 1)数据带来的管理挑战:面向非数据密集型应用的DevOps主要关注代码、工具、基础设施和人员之间的关系,而数据密集型应用的开发过程则增加了数据这一额外的元素,它比其他几者的管理难度更高,需要通过有效的数据治理过程来整合多个数据源,同时保证数据质量,最终使得数据达到“业务就绪”状态。 2)数据带来的工具和人员的挑战:数据密集型应用的开发和维护过程需要依赖于不同于非数据密集型应用开发的技术栈和工具,包括数据建模语言,以及传统的ETL/ELT、元数据管理、主数据管理、数据质量工具,再到数据可视化BI工具和数据科学工具,而涉及到的人员也发生了改变,比如数据库管理员、数据分析师、数据科学家、业务或运营人员等。
因此,近些年业内有人提出了面向数据密集型应用的生命周期管理理念——DataOps,它尝试将数据、代码、工具、基础架构和人员进行标准化的流程管理,最终提高数据开发过程的生产能力、可重复性、敏捷性和自助服务能力,最终实现数据科学模型持续部署和优化。但目前DataOps的具体模式尚不成熟,仍然在持续探索中。 同时,云计算逐步发展出为数据型应用提供计算、存储、分析、服务和生命周期管理能力的PaaS——DaaS(既包括了面向数据存储的DB PaaS,又包括了面向数据分析和AI建模的Business Analytics PaaS),也就是通常所说的数据中台和AI中台,它将数据开发过程变成一项能够在云计算平台中按需取用的服务。 5.1.2 云原生技术实现提供多云、多数据中心数字化应用解决方案然而,面向数据密集型应用的DaaS与生命周期管理过程,在云计算平台上的实践中仍然会面临一系列挑战: 1)环境异构性的挑战:传统领域企业在数据应用实践中,往往会面临多云、多数据中心等异构环境,而异构环境会直接影响数据汇集和利用的效率,从而影响数据密集型应用开发的整体效率。 2)生产环境性能的挑战:数据密集型应用在生产部署环境中需要进行大量的数据处理和模型推理,对于计算的并发性要求更高,单台服务器上部署多个业务会产生资源竞争,但虚拟化会产生明显的性能损耗,需要轻量化的隔离部署环境。 3)数据交换合规性的挑战:非数据密集型应用的开发测试过程可以不依赖于真实数据源,但是数据密集型应用则不同,由于其需要进行数据建模和机器学习等过程,必然需要依赖于大量真实数据。但是,在多云、多数据中心的环境中,企业或组织往往需要对割裂在不同地域、不同组织中的数据进行统一汇集,共同进行数据分析和建模。但是,部分行业和领域对数据的合规性限制往往阻碍了数据的跨地域、跨组织的汇集与利用。 面对这些挑战,基于Docker、Kubernetes等云原生技术构建跨多云、多数据中心的DataOps成为企业的必然选择。
5.2云网融合趋势重塑传统网络管理模式随着云计算深度地融入到传统型、集团型企业的业务之中,它必然要与企业原有的网络技术架构发生融合。在这样的背景下,通过“云网融合”重塑传统ICT架构正在成为云计算发展的另一项前沿趋势。 云网融合的主要驱动力可以归结为传统型、集团型企业上云过程中的两个IT架构变化趋势:
1)资源的异地化:正如第一章所述,传统型企业的业务创新驱动了各类创新型应用的诞生,常常会产生对公有云的需求。此外,为了满足企业在不同地域的IT服务能力,实现核心系统的全面上云,企业还可能会在多个地域、多个分支机构建设数据中心或机房,并进行私有云、虚拟化的建设。以上这两种因素都推动了企业IT与云资源的异地化趋势。 在这样的背景下,企业为了提升对外和对内的IT服务和响应能力,需要通过专线、VPN、SD-WAN等广域网技术实现在异地资源之间实现低延时网络互联,并提升网络开通和变更的效率。 2)资源异构化:由于创新型业务、传统型和核心型业务的不同需求,企业在这些资源进行IT建设和上云过程中,必然会产生包括各类物理资源与虚拟资源、专属资源与共享资源在内的异构资源池。由于传统型企业业务的相对稳定性,这些异构资源池将会长期存在于IT架构中,因此随着时间推进,它们内部的、之间的网络拓扑架构都会变得越来越复杂。 对于电信运营商、第三方数据中心运营商、广电等对网络服务能力具有苛刻要求的行业来说,过去依托于专业物理设备、依赖人工操作的网络配置过程极大影响了网络配置和变更效率。因此,这类企业亟需通过SDN、NFV等技术实现网络的自动配置、拓扑灵活调整、自动化编排、协同调度等能力,即网络的云化。 云间互联、网络云化这两种云网融合方式在具有多数据中心和公有云的企业内,表现方式如下图所示。
分布式边缘云是多云异构环境的另一种表现,它在地市、区县、园区等各个级别的边缘云由于一般不具备驻场的专业网络人员,同样需要通过SDN/NFV等技术来实现网络配置的自动化和网络服务的编排,如下图所示。
此外,由于边缘云的机房环境条件的差异往往十分巨大,比如,地市级机房的网络资源相对充足,但区县级以下机房的网络资源相对紧缺,因此SDN部署同样应当做出相应的适配,实现轻量化的部署方案。 结语 2010年代,混合云与多云是云计算应用的前沿趋势,它是云计算不断满足企业差异化业务形态过程中出现的必然结果。 2020年代,除了混合云与多云的趋势将进一步深化,近场化、场景化、融合化将成为云计算应用的三大最新趋势。 边缘计算驱动的近场化趋势,让云计算算力的空间位置更加贴近企业现场,加强了云计算对边缘侧的数据利用能力,从而为企业提供更加低时延、低成本、沉浸式的数据利用支撑; DaaS与DataOps驱动的场景化趋势,让云计算算力的逻辑层次更加贴近企业业务,加强了云计算的数据利用效能,从而进一步驱动了企业的业务创新; 云网融合驱动的融合化趋势,让云计算基础架构与企业、地方、全国、全球等各个范围的ICT基础设施实现高度融合,双方开始呈现“你中有我,我中有你”的状态,最终使得企业经营、个人生活都与云计算结合得更加紧密而深刻。 未来,爱分析将持续而深入地追踪云计算的最前沿趋势在各个行业内的落地进展和最佳实践。
(编辑:应用网_阳江站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |