深度学习框架简史：TF和PyTorch双头垄断，未来十年迎来黄金时期

数据搬运作为一等公民。多节点或多设备训练正在成为深度神经网络训练的规范。最近开发的深度学习框架，如 OneFlow，从设计的第一天起就将这一观点纳入设计考虑，并将数据通信视为模型训练的整体计算图的一部分。这为性能优化打开了更多的机会，而且由于它不需要像以前的深度学习框架那样维护多种训练策略(单设备 vs 分布式训练)，因此除了提供更好的性能之外，它还可以提供更简单的用户界面。

总结

我们正处于一场人工智能革命的黎明。人工智能领域的新研究和新应用正在以前所未有的速度涌现。八年前，AlexNet 网络包含 6000 万个参数，最新的 GPT-3 网络包含 1750 亿参数，网络规模在 8 年内增加了 3000 倍!另一方面，人类的大脑包含大约 100 万亿个参数(即突触)。这表明，如果有可能的话，神经网络要达到人类的智能水平还有很大的差距。

这种难以接受的网络规模对模型训练和推理的硬件和软件计算效率都提出了很大的挑战。未来的深度学习框架很可能是算法、高性能计算、硬件加速器和分布式系统的跨学科成果。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!