深度学习模型并非“越大越好”，它可能引起气候变化问题

既然存在效益递减的问题，又是什么在推动着模型不断地朝着越来越大的方向发展呢？一个主要的原因是，当前人工智能社区对获取“最好的”性能基准测试结果非常关注。构建一个新模型，能够在性能基准测试中创下新的准确性记录，即便成绩提升仅仅是微不足道的一点，也可以赢得研究人员的认可和好评。

正如加州大学洛杉矶分校（UCLA）的教授Guy Van den Broeck所说：“我认为对这种情况的一个最好的比喻，就是某个富油的国家能够建造一座很高的摩天大楼。当然，建造这样的东西需要花很多钱，还有很多的工程工作。你也确实可以在建造这座高楼的时候，获得‘最先进的技术’。但是……这件事在本质上并没有什么科学上的进步。”

在当前的人工智能研究领域，占据主导地位的“越大越好”思路，可能会在未来几年对环境造成重大的破坏。需要在这个领域内进行思虑周详但又大胆的变革，让人工智能技术的发展变得更加可持续，并更具生产力。

展望未来

首先，每一位人工智能从业人员都应该考虑，如何在短期内“快速制胜”，以减轻其研究对碳足迹的影响。

重要的第一步是，提高这个问题的透明度和度量程度。当人工智能研究人员们发布新模型的结果时，除了性能和准确性指标之外，他们还应该公布在模型开发中消耗了多少能量的数据。

经过深入彻底的分析，艾伦人工智能研究所的团队建议，将「浮点运算」作为研究人员追踪的最通用、也是最有效的能效度量标准。另一组研究人员创建了一个机器学习排放计算器，从业人员可以使用这个计算器来评估他们构建的模型的碳足迹（根据硬件、云服务提供商和地理区域等因素）。

遵循这些思路，综合考虑能源成本和性能收益的做法，将成为研究人员们在训练模型时的最佳实践。明确地量化这种关系，将促使研究人员在面对效益递减问题时，对资源分配做出更明智、更平衡的决定。

随着可持续人工智能实践的扩散，希望人工智能社区能够在评估人工智能研究的时候，开始考虑这些效率指标，就像今天我们对传统性能指标（例如准确性）采取的做法一样：在会议论文提交、演讲、学术角色中考虑它们。

还有一些已经相对比较成熟的方法，能够帮助人工智能技术在近期减少碳足迹：使用更有效的超参数搜索方法、减少训练过程中不必要的实验次数、使用更高能效的硬件等。

但是，单靠这些补救措施并不足以解决这个问题。人工智能领域需要更根本的长期转变。

我们需要退后一步，并且承认，仅仅依靠建立越来越大的神经网络并非通往通用智能的正确途径。我们需要推动自己去发现更优雅、更有效的方法，来对机器中的智能进行建模。我们正在持续不断地同气候变化进行斗争，这是一场关乎地球未来的战争。

在此引用人工智能传奇人物、深度学习教父Geoff Hinton的话：“未来取决于那些‘对我所说的一切’都深表怀疑的研究生……我的观点是将其全部抛弃并重新开始。”

人工智能社区必须开始致力于开创人工智能的新范例，这些范例应该既不需要指数级增长的数据集，也不需要庞大的能源消耗。小样本学习（few-shot learning）等新兴研究领域，都是有前途的途径。

人类的大脑——智力的原始来源提供了重要的启发。和当今的深度学习方法相比，我们大脑的效率高得不可思议。它们只有几磅重，大概只需要20瓦左右的能量消耗，这个能耗只能够给昏暗的灯泡供电。然而，它们代表了已知宇宙中最强大的智力形式。

人工智能研究人员Siva Reddy指出：“人类的大脑用很少的能量消耗，就能够完成令人惊叹的事情。问题是我们如何建造出这样的机器来。”

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!