论文解读：HUBERT HOW MUCH CAN A BAD TEACHER BENEFIT ASR PRE-TRAINING_hubertcsdn_ZQSZXY的博客-程序员秘密

HUBERT HOW MUCH CAN A BAD TEACHER BENEFIT ASR PRE-TRAINING

文章来源：icassp2021

研究背景：

相比于CV和NLP领域，ASR领域中自监督预训练方法面临3个挑战。

一条语音句子中存在多个发音单元。
只进行audio-pretraining，没有发音单元的词典。
发音单元变长，没有清晰的段边界。

在这篇文章中，作者提出了HIdden-Unit BERT(HUBERT)模型，采用k-means聚类，为BERT预训练模型提供target label。**作者方法成功的关键因素是只在被masked的区域计算预测损失函数。**这使得模型在预训练阶段能够受益于无监督teacher的一致性，而不是teacher的质量。在初始阶段，只进行100类别的聚类，进行两次迭代的聚类，HUBERT模型的性能能够在低资源场景下，和最优的wav2vec2.0模型相当。

具体做法：

wav2vec2.0是怎么生成target

在讲解本文的做法之前，需要先了解预训练模型wav2vec2.0的做法。wav2vec2.0是一个很优秀的自监督预训练模型，在预训练阶段不需要语音-文本pair数据，但是预训练模型训练需要构建自监督任务所需要的target。

wav2vec2.0模型采用原始语音输入，然后进行features encoder学习类似于fbank的局部特征，然后features encoder的输出被多段mask后，进入transformer，通过transformer上下文预测被mask的表征，然后features encoder输出的被多段mask的真实特征进入VQ模块进行量化，这个VQ模块本质上是一个聚类器，是一个提供预训练target的模块，这里的VQ本身是随着训练进行参数更新，是一个在线聚类的过程。wav2vec2.0先了解到这里。

HUBERT是怎么生成target

HUERT是一个离线聚类获取target的过程，具体做法：

首先在39维的MFCC特征上进行k-means和GMM聚类，聚类中心数为{50,100,500}。聚类之后可以获取每一帧语音的聚类中心，此时的聚类中心为每一帧的target。
每一帧语音获取target后，进行类似于wav2vec2.0类似的pretraining，然后在mask位置和未被mask的位置计算损失函数， $L=\alpha L_m+(1-\alpha)L_u$ 。 $L_m$ 为mask位置产生的损失， $L_u$ 为未被mask位置产生的损失。
预训练完成后，可以在有标签数据上finetune。
进行迭代式的聚类。在预训练阶段2完成后，此时已经有比较好的预训练模型，可以将预训练模型当作teacher模型生成表征进行第二次k-means聚类，发现更有意义的聚类单元。

研究结果：

作者在实验中发现，只在被mask的位置计算损失函数性能最好。
可以看出，finetune性能与在预训练阶段teacher的质量有很好的相关性。而且在MFCC上k-means聚类中心数目对性能影响不大。
增大batch-size能够明显提升性能；训练更长时间性能会更好。另外这个结果优于DiscreteBERT中采用13.5k的聚类中心数目的结果，作者猜测HUBERT性能好的原因：使用了更合适的聚类中心数目并且将原始mfcc作为输入，不会丢弃信息。
无监督的teacher模型融合，可以带来比单个teacher更好的性能。
作者在采用预训练模型进行迭代式聚类时，采用不同层的输出进行聚类，发现中间层6层的表征产生target进行二次预训练对下游finetune任务帮助最大。

附录

文章链接：Hubert: How Much Can a Bad Teacher Benefit ASR Pre-Training? | IEEE Conference Publication | IEEE Xplore

幻灯片链接：Wei-Ning Hsu, Yao-Hung Hubert Tsai, Benjamin Bolte, Ruslan Salakhutdinov, Abdelrahman Mohamed · HUBERT: How much can a bad teacher benefit ASR pre-training? · SlidesLive

本文链接：https://blog.csdn.net/ZHUQIUSHI123/article/details/119304099

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

ArcGIS ArcMap 与 ArcServer关于Python的冲突_weixin_33951761的博客-程序员秘密

一、问题描述1、ArcMap 是32位，运行的Python也是32位；2、ArcGIS Server 是64位，运行的Python是64位；3、这样就导致注册表和环境变量起冲突，即如果Server能运行，ArcMap就不能运行，反之亦然；4、ArcServer 错误，很明显Server调用的Python脚本目录指向了32位Python安装目录。5、ArcMap错误是在运行GP模型之后发...

feasycom蓝牙对接Android,2.4G低功耗蓝牙解决方案_weixin_33218490的博客-程序员秘密

2.4G低功耗无线传输应用始于千年，并逐渐渗透到生活的各个方面。当时，由于功耗性能和蓝牙技术问题，在许多市场中，例如游戏手柄，遥控赛车，键盘和鼠标配件等，主要使用专用的2.4G应用程序。在2011年之前，TI推出了业界首款低功耗蓝牙芯片，由于与手机的互操作性便利，低功耗蓝牙市场开始爆炸。它从可穿戴应用程序开始，逐渐渗透到传统的2.4G私有协议市场，并扩展到电池供电的无线传输应用程序，例如智能家居和...

解决vue中NavigationDuplicated {_name: "NavigationDuplicated", name: "NavigationDuplicated"}报错_Alina_x的博客-程序员秘密

今天打开项目点击底部首页导航突然报错从别的页面进入然后点击底部首页导航就不会报错；去router的index.js页面（引入vue-router的页面）添加如下代码可以完美解决const originalPush = Router.prototype.push;Router.prototype.push = function push (location) { return origi...

（转载）执行sh ./xxx.sh出现：“Syntax error: “(” unexpected”的解决方法_蔡军帅的博客-程序员秘密

昨天更新了Virtualmin的系统识别部分，目的是让它能支持Debian系统下的一键安装和优化，代码修改了差不多，将VPS重新安装为Debian，通过sh ./virtualmin.sh执行代码就报“Syntax error: “(” unexpected”错误，通过bash ./virtualmin.sh执行就没问题。几经查找语法，没有问题，后来在网上找到问题原因：代码对于标...

求有关计算机的英语科技小短文,带翻译,200字左右,关于计算机的英语小短文,带翻译...._马汉东的博客-程序员秘密

共回答了20个问题采纳率：95%computer is a machine that manipulates data according to a list of instructions.The first devices that resemble modern computers date to the mid-20th century (1940–1945), although the ...

java代码--Date类获取当前时间-格式化输出_super-hadoop的博客-程序员秘密

package cn.Date;import java.text.Format;import java.text.SimpleDateFormat;import java.util.Date;/**DateFormat 是日期/时间格式化子类的抽象类,因为他是一个抽象类，所以要有具体构造方法 *public cla

论文解读：HUBERT HOW MUCH CAN A BAD TEACHER BENEFIT ASR PRE-TRAINING_hubertcsdn_ZQSZXY的博客-程序员秘密

HUBERT HOW MUCH CAN A BAD TEACHER BENEFIT ASR PRE-TRAINING

研究背景：

具体做法：

wav2vec2.0是怎么生成target

HUBERT是怎么生成target

研究结果：

附录

智能推荐

ArcGIS ArcMap 与 ArcServer关于Python的冲突_weixin_33951761的博客-程序员秘密

feasycom蓝牙对接Android,2.4G低功耗蓝牙解决方案_weixin_33218490的博客-程序员秘密

解决vue中NavigationDuplicated {_name: "NavigationDuplicated", name: "NavigationDuplicated"}报错_Alina_x的博客-程序员秘密

（转载）执行sh ./xxx.sh出现：“Syntax error: “(” unexpected”的解决方法_蔡军帅的博客-程序员秘密

求有关计算机的英语科技小短文,带翻译,200字左右,关于计算机的英语小短文,带翻译...._马汉东的博客-程序员秘密

java代码--Date类获取当前时间-格式化输出_super-hadoop的博客-程序员秘密

随便推点

JBPM4.4工作流引擎学习（四）--流程资源RepositoryService_xiatian_sun的博客-程序员秘密

vs2015安装完打开是Blend ，没有窗口模板和控制台模板解决方案_vs blend_无涯大者的博客-程序员秘密

全网最细华为路由器mpls 虚拟专用网络intranet 组网配置_网工鹏哥的博客-程序员秘密

java web项目实现上传功能_dppass的博客-程序员秘密

hostapd wpa_supplicant madwifi详细分析（五）——hostapd_global_run函数_zhiweiaixiaosang的博客-程序员秘密

UE4 or Unity？_unity3d能像ue4一样使用蓝图制作游戏吗_光电的一只菜鸡的博客-程序员秘密

推荐文章

热门文章

相关标签