《The Energy and Carbon Footprintof Training End-to-End Speech Recognizers》论文_the energy and carbon footprint of training a deep-程序员宅基地

技术标签: 音视频  其他  

本文的作者是Titouan Parcollet , Mirco Ravanelli,LIA, Avignon Universite, France,University of Cambridge, United Kingdom Mila, Universit´e de Montr´eal, Canada(后面那个是e上面有个二声的调。)

这篇文章是讲模型和环境的关系,其中有碳足迹的概念:一个人在一年内,因衣食住行等活动所消耗的能源,最终转化为大气中二氧化碳(CO2)的量,用 于衡量人类活动对于气候变化的影响。

研究动机

       深度学习很火,但是也引起了环境问题。模型在训练和测试阶段,能量的耗费是不可以忽视的。提出了为了微小性能的提高而耗费双倍的碳足迹是否合适?本文拿ASR(automatic speech recognition)在碳的耗费量上做了实验。实验表明,提高一点点性能会产生巨大的碳排放量。

INTRODUCTION

        除了人为因素外,深度学习的出现,模型的部署,数据量不断增大,硬件加速等等造成能量耗费,都是环境变坏的原因。下面这张图训练了模型,表明在不同的地域,同一种语言模型产生的二氧化碳排放量不一样,不同种语言在同一个地域排放量也不一样,甚至于训练模型比开车耗费的还要大。

 怎么计算得到二氧化碳的排放量?  

         第一步,计算硬件和基础设备所耗费的总体能量;第二步,将上诉的能量按照不同的地理位置换算成二氧化碳的排放量。

         训练期间,能量的耗费主要是GPU或者CPU以及冷却的数据中心产生的。产生能量使用率的公式:设备耗费的总体能量除以计算节点使用的能量。

     

         训练时间d内能量的耗费:

     

           括号里面的字母一个表示GPU的能量耗费,一个表示CPU 的能量耗费。

           二氧化碳的转化率定义为每千瓦时的能量耗费所转化的二氧化碳的量。

        

           整体二氧化碳的排放量:

           

实验数据和操作

       通过训练ASR模型,看二氧化碳的耗费量。硬件的话,用的GPU:the Nvidia Tesla     V100 32GB 、Nvidia RTX 2080 Ti。CPU:Two Intel Xeon Silver 4210R and two Intel Xeon   E5- 2698 v4,两个cpu分别连接到对应的GPU上。用的转换率是法国和澳大利亚。

     数据集:LibriSpeech  960小时作为训练集,验证集和测试集是官方的“dev-clean” and “test-clean”; CommonVoice  438小时,包含了真实的音频数据,官方的验证集和测试集作为评估。

实验结果:

       实验结果表明,不同的GPU耗费的排放量不同,RTX比Tesla耗费高达2.5倍;不同地域排放的不一样,比如第一行的法国和澳大利亚的排放量差别很大;不同的数据集耗费也不一样,比如第一行的两个数据集的澳大利亚数据或者法国的数据。

地域因素:

下面这张图 表示花费二倍的二氧化碳排放提高微小的性能:

 结论

         做实验的同时,也要爱护环境。有时候是否不需要微小性能来换取二倍的环境的破坏。

生词

       pervasive adoption  普遍采用

       methane  甲烷          nitrous oxide   氧化亚氮

       deployment  部署      uptake   吸收

       concomitant   共存的,相伴的   

       concurrent     并行的

       trade-off    权衡、平衡      transducer    传感器

       datacenter   数据中心

       compensate    补偿          offset    抵消

       speech community    语言社区

       is coupled with     与....结合

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_46079584/article/details/122527447

智能推荐

如何解决Invalid bound statement (not found):问题_invalid bound statement (not found): com.szkingdom-程序员宅基地

文章浏览阅读600次。在写ssm junit测试的时候一直报这个错, 配置文件以及包名都检查过了,一直没解决。各位大神帮帮忙org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): com.zking.ssm.mapper.LogininfoMapper.getUserByNameAndPwd at org.a..._invalid bound statement (not found): com.szkingdom.sfixp.parti.dao.partidao.

中心化傅里叶变换_傅里叶频谱中心化-程序员宅基地

文章浏览阅读6.8k次,点赞9次,收藏43次。参考文章:数字图像频谱中心化研究数字图像有时需要变换到频率做处理,比如滤波等。但直接对数字图像进行二维DFT变换得到的频谱图是高频在中间,低频在四角。为了把能量(在低频)集中起来便于使用滤波器,可以利用二维DFT的平移性质对频谱进行中心化。频谱图比较亮的地方就是低频,因为图像的能量一般都是集中在低频部分。所以推导出来的结论是:对数字图像的每个像素点的取值直接乘以(-1)^(x+y),x和y是像素坐标。这之后再做傅里叶变换,最后即为中心化后的傅里叶变换。代码:# 未中心化的傅里叶变_傅里叶频谱中心化

读《Boost程序库完全开发指南》_boost::适配器链-程序员宅基地

文章浏览阅读833次。读《Boost程序库完全开发指南》 2011-05-18 20:47:19| 分类: 读书|举报|字号 订阅 C++确实很复杂,神一样的0x不知道能否使C++变得纯粹和干爽? boost很复杂,感觉某些地方有过度设计和太过于就事论事的嫌疑,对实际开发工作的考虑太过于理想化。学习boost本身就是一个复杂度,有魄力在_boost::适配器链

css实例 css中id/class 详解样式表(外部样式表 内部样式表 内联样式 7种基础选择器 多重样式优先级 错误理解)[第一天]_css class-程序员宅基地

文章浏览阅读6.6k次,点赞4次,收藏18次。css实例css中的idcss中的class样式表外部样式表内部样式表内联样式7种基础选择器5种组合选择器后代选择和子代选择注意多重样式优先级选择器错误理解_css class

Acwing第72场周赛+Leetcode第314场周赛_acwing 第72场周赛4625. 压缩文件-程序员宅基地

文章浏览阅读309次。Acwing第72场周赛+Leetcode第314场周赛_acwing 第72场周赛4625. 压缩文件

计算机就业方向-程序员宅基地

文章浏览阅读6.8k次,点赞5次,收藏12次。希望看到这篇文章的学计算机、软件的同学可以互相转载,让大家都知道我们以后的道路是怎样的。有了方向,干什么都有动力,不是吗?(有点长,希望大家先分享,以后慢慢看,有用没用,我说了不算,你看看就知道了!)计算机专业就业方向一、 关于企业计算方向企业计算(Enterprise Computing)是稍时髦较好听的名词,主要是 指企业信息系统,如ERP软件(企业资源规划)、CRM软件(客户关系_计算机就业

随便推点

基于MATLAB的高斯白噪声和频率选择性衰落信道下的OFDM OTFS 16QAM QPSK LDPC Turbo调制解调误比特率性能仿真(附带代码和仿真说明)_ofdm系统在不同衰落信道下的误比特率性能分析-程序员宅基地

文章浏览阅读653次,点赞21次,收藏15次。同时,还对添加保护间隔、信道均衡等关键技术进行了详细讲解,并附带了仿真说明,使读者可以轻松理解和应用。通过本文的研究和分析,我们对OFDM和OTFS在高斯白噪声、频率选择性衰落信道下的误比特率性能有了更深入的理解。我们采用了16QAM和QPSK的调制方式、LDPC和Turbo的编码方式,并对添加保护间隔、信道均衡等关键技术进行了研究。Turbo编码也是一种常用的前向纠错码,它通过串并组合两个编码器的输出,并引入交织技术,在信道传输过程中提高了错误纠正能力。2.1 16QAM调制。OFDM调制解调技术。_ofdm系统在不同衰落信道下的误比特率性能分析

Android.mk 分析android buid工程需要的makefile知识点总结_android 解析android.mk工程-程序员宅基地

文章浏览阅读502次。1.0 make -C /home/wangxiancan/android -f build/core/main.mk all_modules -C 表示进入到某目录 执行(解析)其中的makefile -f 表示将后面的文件当做makefile文件解析 (make命令默认只识别如Makefile命名的文件,不过你会发现-C后面目录下已经有一个makefile了,并且这个m..._android 解析android.mk工程

UE5连接SQL数据库_ue5连接数据库-程序员宅基地

文章浏览阅读2.8k次。UE5连接SQL服务器_ue5连接数据库

spring boot 2.x整合dubbo-xml的方式_springboot 2.x 通过xml集成dubbo-程序员宅基地

文章浏览阅读514次。spring boot 2.x整合dubbo-xml的方式传统的项目都是基于xml配置文件的方式集成的dubbo,现在假如要升级框架到spring boot但是还是想用原来的方式整合dubbo,那么这篇文章对你应该有帮助项目结构生产者[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nFRGvMHz-1575526058549)(C:\Users\bhh\..._springboot 2.x 通过xml集成dubbo

Vue.js npm错误:transpileDependencies.map不是一个函数_transpiledependencies.map is not a function-程序员宅基地

文章浏览阅读483次。这个错误通常是由于npm版本不兼容导致的。在旧版本的npm中,transpileDependencies是一个字符串数组,我们可以直接配置需要编译的依赖库。而在较新版本的npm中,transpileDependencies被改成了一个对象,并且需要使用map()方法来处理。因此,如果我们在较新版本的npm中使用了旧版本的配置方式,就会导致transpileDependencies.map不是一个函数的错误。_transpiledependencies.map is not a function

关于EXT JS 的所有组件_ext.js 组件-程序员宅基地

文章浏览阅读2.3k次。EXTJS的组件体系中有进40种组件,而这些组件又可以大致分成三大类,即基本组件、工具栏组件、表单及元素组件。 基本组件是构成Web UI的主体组件,因为这些组件在其他开发体系中也都有部分存在。这些组件丰富了传统Web UI 的表现,是EXTJS改善Web UI 的重要体现。 EXIJS的基本组件:xtype Class _ext.js 组件

推荐文章

热门文章

相关标签