人工智能给人类带来便利的同时,它的环境可持续问题一直备受关注。
去年6月份,美国马萨诸塞州大学阿默斯特分校的研究人员发布了一份报告,预估训练和运行某种神经网络系统所需的电量会产生大约626000磅(1磅约等于0.45千克)的二氧化碳排放。这相当于美国普通汽车使用寿命内排放量的五倍。
到了人工智能模型的部署阶段,碳排放的问题会变得更加严重。因为系统需要部署在不同的硬件平台,每个硬件平台又具备不同的属性和计算资源。
为了改变这样的情况,来自麻省理工学院的研究人员开发了一种新的自动化AI系统,可用于训练和运行某些神经网络。结果表明,用某些关键方法提高系统的计算效率,系统可以减少碳排放。
研究人员将这套系统称为“once-for-all”(一次就好)网络,它可以训练一个大型神经网络,其中包含许多不同大小的预训练子模型。每个子模型都可以在推理时独立运行而无需重新训练,并且系统会根据目标硬件的功率和速度,折衷相关的精度和等待时间,来确定最佳子模型。例如,对于智能手机,系统会选择更大的子模型,但根据各个电池的寿命和计算资源,其子网结构又会有所不同。研究人员称,这套系统在训练时只大约只需当今流行的模型搜索技术的1 / 1300的碳排放量。
“我们的目标是建立更小,更绿色的神经网络。”MIT电气工程和计算机科学系的助理教授Song Han表示: “到目前为止,搜索有效的神经网络架构都需要大量的碳足迹。但是,通过新方法,我们将碳排放减少了几个数量级。”
据Song Han介绍,关于这套系统的论文将会在下周发表,其他研究者还包括来自EECS,MIT-IBM Watson AI Lab和上海交通大学的四名本科生和研究生。
那么,他们的方法具体是如何做到减少计算所带来的的碳排放的?研究员表示,主要在于他们采用了“渐进式收缩”的算法,可以有效地训练大模型,又同时支持所有子模型。这个算法首先会训练大型模型,然后在大型模型的帮助下训练较小的子模型,以便它们可以同时学习。最后,当所有子模型都训练完成后,就可以根据平台的功率和速度限制进行快速专业化的计算。添加新设备时,它可以以零培训成本支持许多硬件设备。
在实验中,研究人员发现,用他们的方法训练一个包含超过10万亿个架构设置的计算机视觉模型,比花费数小时训练每个子网络要有效得多。此外,这套系统不会影响模型的准确性或效率。在ImageNet上进行测试时,该模型在移动设备上得到了最好的准确性,并且在推理方面比领先的分类系统快1.5到2.6倍。
研究成员之一,IBM研究员兼MIT-IBM Watson AI实验室John Cohn认为:“如果要继续保持AI的快速发展,我们需要减少对环境的影响。开发使AI模型更小,更高效的方法,好处在于这些模型可能还会表现更好。”