腾讯云虚拟化：坚定的开源主义者

没日没夜的几天里,技术团队不断研究热迁移的技术原理,从提升迁移成功率和服务可用性两个维度推理技术方案。终于,在解决了几个关键技术卡点后,团队终于找到了一种能够实现的方案。腾讯云也因此成为第一个大规模运用热迁移技术,解决硬件批次性故障的云厂商。

衍生问题随之而来。这个可能会为腾讯云带来至少一定时间内竞争优势的技术方案,是否还要第一时间开源?团队出现了一些分歧的声音。

“开源应该是一种一以贯之的思想。如果我们这次的热迁移技术方案不开源,也许能够获得一时的竞争优势,但这就会让我们一直倡导的开源价值被摧毁,这并不利于KVM技术的长远发展。”在腾讯云副总裁刘颖的开导下,技术团队很快达成一致,将热迁移技术方案贡献到社区。

这个突破性的贡献也为腾讯云在社区赢得了广泛赞誉。随后的2017年,凭借在这一领域的持续贡献,腾讯云受邀在KVM Forum上发表主题演讲,这也是国内云厂商代表中的首次。

成立专门团队

2016年底,李万鹏加入腾讯云,身份是高级工程师。这个职责需要承担大量的业务开发工作。

因为对开源有着狂热爱好,他每天早上五点起床,利用上班前的时间和周末以及节假日的时间研究KVM开源相关的项目。

“本职工作的压力还是很大,为了避免耽误工作,只能抽业余时间做一些bugfix的工作,虽然价值相对低一点,但也算是对爱好的一种保持吧,这就是腾讯的‘工程师文化’。”与李万鹏保持相同爱好的还有几位同事。

无心插柳柳成荫。李万鹏和几个同事在业余爱好上的坚持,却让腾讯云在2017年第一次登上了KVM全球企业开源贡献榜,这也是榜单上首次出现中国云服务商身影。

2017年,腾讯云首次登上KVM全球企业开源贡献榜

登榜的消息很快传到了腾讯公司高级执行副总裁汤道生那里,他对团队提出了表扬和鼓励。

做出影响力,并得到了领导的肯定,也让技术团队更加坚定,在开源领域的持续投入很值得。“从自身角度而言能提升腾讯云的技术影响力,往大的价值上说也是推动技术进步的一个很好的方式。尤其是对KVM这样一个云计算的关键技术,腾讯云应该有这样的担当。”

这样的想法得到了支持。领导决定,成立一个专注开源的虚拟团队,虚拟团队成员日常工作量减半,留下精力更好地投入到KVM开源方面的工作当中。

“虚拟化和内核的研究还是有很高的门槛,要想在开源这个领域做出成绩,需要更多的人力投入。之前业余时间做,更多就是研究怎么修复bug,成立一个专门的团队,大家有机会攻克一些关键特性。”李万鹏说。

2018年开始,腾讯云陆续向社区贡献技术特性。

那一年,腾讯云提出的PV TLB shootdown、PV IPI方案,对TLB刷新以及IPI进行优化,这些方案能够提升大规格配置虚拟机的性能,降低虚拟化层损耗,使得部分应用场景性能提升达到130%~150%,被列入了当年核心突破。

2018年,腾讯云提交的贡献被列为核心突破

2019年,腾讯云Yield IPI、C-state MSRs、Exitless Timers方案再次对IPI和Timer进行进一步优化,3个方案再次被评为2019年度核心突破。值得一提的是,2019年腾讯云还推出35ms内启动一台虚拟机的轻量级虚拟化技术,创造了业界目前能最快启动一台虚拟机的记录。

2019年,李万鹏受邀参加KVM大会演讲

团队也吸引了越来越多的人加入,同样热爱开源的李海伟就是其中之一。

“业界做开源通常都是零散的组织,像腾讯云一样专门有虚拟团队的并不多,这正是吸引我的原因。 ”李海伟表示,专门的组织最大的好处是能够建立好的氛围,成员传帮带,大家的视野也可以更广,而且能有比较充裕的时间和精力去做一些高价值的技术突破。

2019年8月,这个组织更进一步。腾讯云产品团队的架构调整时一封专门的邮件,将李万鹏、李海伟等划在了一个部门,部门职责是:1.将经过业务实践验证的技术方案持续贡献到社区;2.将社区里好的技术特性落地到业务中实践验证;3.探索KVM技术新方向和难点问题的攻坚……

自此,KVM开源团队,成为了一个全职部门。

瞄准行业最痛的问题

2020年,针对IPI(处理器中断)和Timer(定时器)这两个业务场景中出现频次最多、性能影响最大以及最难克服的难题,腾讯云提出了快速处理的框架, 绕过虚拟化开销,使得IPI和Timer处理的性能提升分别有30%和16.5%,再次被评为年度KVM核心突破。

除此之外,针对大规格虚拟机(多CPU和大内存)场景中性能下降明显的问题,腾讯云经过深入研究和探索,自主设计了完全支持CPU并行化的vMMU方案,克服了KVM原有设计中CPU执行被迫串行化带来的性能损失,实现了虚拟机内存管理机制的架构升级。目前,该方案已经在腾讯云稳定运行,并已经贡献给开源社区。

另外,针对操作系统中元数据对内存资源占用过高的问题,腾讯云设计了全新的文件系统Dmemfs(Direct Memory File System), 可以直接管理部分系统预留的虚拟机内存服务,提高系统的资源利用率降低平台成本。这个方案不仅提高了系统的资源利用率, 能够降低平台成本并最终让利于用户,同时也给系统开销降低提供了一种新的思路。目前,这一方案也被贡献到了开源社区。

“腾讯云现阶段在KVM开源方面聚焦的就是行业最痛点的问题,一方面通过持续创新解决腾讯云线上遇到的各种挑战并将产出反馈给社区,另一方面探索云计算领域的新技术,做好前沿技术的预演和积累,坚定不移地持续为虚拟化开源社区做出贡献。”陈立东表示。

另一个更大范围的数据是,截至2020年3月,腾讯共对外开源110个项目,包含腾讯云、微信、大数据、游戏、AI、安全等领域,并覆盖所有BG(事业群)。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!