【论文笔记】基于多分类器和对抗语料判别器的多语料库语音情感识别_多分类的wa-程序员宅基地

Reconciliation of Multiple Corpora for Speech Emotion Recognition by Multiple Classifiers with an Adversarial Corpus Discriminator

INTERSPEECH 2020 - Fairy Devices, Japan

关键词： 语音情感、多任务学习、对抗学习、多语料库

摘要

概述： 利用多任务学习和对抗学习压缩语料库特有因素以更好利用语料库，本篇文章研究的是训练数据的生成问题，也是一个新的思路
情感计算中主要的问题就是语料库的评价指标不一致，之前大多数研究的做法都是抛弃或者合并一些情感，但是会造成数据损失，再者语料库本身的许多特质也造成不能充分利用整个语料库。本文提出一个共享情感编码器，多个分类器和对抗语料库判别器，采用多任务学习和对抗学习训练。

简介

SER中使用很多神经网络模型
虽然标签一样，但是跨语料库的情感表达是不一样的，不同语料库之间的情感定义也是不同的，我们需要消除他们之间的差异而不受单个语料库自身因素（语言、录音环境等）的限制
之前的相关研究有的丢弃非共同标签的数据，或者合并为公共标签；或者用对抗学习合并域，这些方法改变了情感表达的边界或者抛弃了一些类别，导致大量的信息损失；直接使用多分类器，每个分类器对应一个语料库，但是没有消除语料库本身因素的影响

方法

模型结构

模型结构
语料库之间共享一个编码器，输入的语音特征被映射到嵌入空间，无论数据来自哪个数据库。每个语料库都对应一个分类器，这是为了保证不丢弃或者合并语料库中的情绪。除此之外还有一个对语料库标签的判别器。
只用多分类器，就无法消除语料库自身因素的影响，不同语料库的数据在特征空间的距离较远；只用对抗学习，只有但分类器的话，分类结果只有积极和消极两个，情感的内部信息就会丢失，所以将两者进行结合。

对抗学习

总损失函数的定义：
$\mathcal{L}=\mathcal{L}_{emo}+\mathcal{L}_{cor}$
多任务学习损失函数：
$\mathcal{L}_{emo}=\sum_{i=1}^{N}\mathcal{L}_{emo}^{(i)}$
对抗学习损失函数：
$\mathcal{L}_{adv}=-\mathcal{L}_{cor}$
两个部分学习率不同，首先更新分类器和编码器使得多任务损失最小；然后更新对抗学习部分，这时编码器参数固定；最后固定对抗学习部分，通过对抗loss更新编码器使其减少语料库间的相关因素，也就是让模型分不清这些特征来自于哪个语料库。

实验

特征和模型细节

将所有语段分割为长3s，位移1s的片段，必要时用0填补，标签是该片段所在语段的标签。采用log梅尔声谱作为输入特征，并且采用-score归一化。
编码器采用的是ACRNN（Attention-Based Convelutional Reccurent Neural Network），因为在SER中其效果较佳。对抗网络部分和分类器均采用三层128cells的全连接，后接一个softmax层。ACRNN模型具体结构：
ACRNN

语料库

EmoDB和CREMA-D，EMO-DB为德语，包含535条语音，7类情感；CREMA-D有6类情感。

实验设置

我们有单语料库模型、多情感分类模型和带语料库判别器的多情感分类模型。单语料库模型只有一个情感分类器而且在一个语料库训练；多情感分类模型有两个分类器；最后一个模型加上了判别器。实验采用LOSO十折交叉验证，用WA和UA作为指标。这里交叉验证方法解释的很清楚。

结果

从UA和WA的结果可以看出，提出模型的效果优于其它两个模型；还可以看出，多分类器结果优于单分类器；数据少的EMO-DB提升比CREMA-D还大，说明多分类器在语料很少情况下也表现得很好。
在这里插入图片描述

通过绘制混淆图，我们把一个样本被分类为语料库的后验概率小于0.8称为语料库模糊样本，否则为语料库明晰样本。对EMODB来说，disgust是混淆的，容易被CREMA-D分类器分类为anger。相反，对CREMA-D来说最容易混淆，易被EMODB分类器分类为anger或者disgust。可能两个语料库的anger和disgust很相似，说明两语料库有重叠部分。
在这里插入图片描述
用UMAP可视化特征映射空间，说明对抗学习使得两个数据库在特征空间距离更近了。说明与特征相关的实验，采用这种可视化比较直观

问题

是否能用聚类？有没有类似的文章？
就用两个语料库是不是太少了？真正要实用是不是还需要更多语料库的支持？有考虑过算力的问题吗？
没有说怎么得到混淆图的

本文链接：https://blog.csdn.net/cherreggy/article/details/121343264

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

停靠窗口-程序员宅基地

文章浏览阅读64次。代码： 1 #coding: utf-8 2 from PyQt4.QtCore import * 3 from PyQt4.QtGui import * 4 import sys 5 6 QTextCodec.setCodecForTr(QTextCodec.codecForName("utf8")) 7 8 class MainWidget(QMai..._可停靠窗口可以停靠在主窗口底部

十一届蓝桥杯c组--省一国二_蓝桥杯c组国2是什么水平-程序员宅基地

文章浏览阅读977次。文章目录专科生咋样准备蓝桥杯以下我对于《数据结构与算法》的认识对于专科生零基础怎样去备赛蓝桥杯一些细节要注意专科生咋样准备蓝桥杯我是一名专科生和大多数人一样大学零基础开始，对着计算机充满兴趣，对各种竞赛好奇，对新鲜技术的渴望。这是我自己备赛十一届蓝桥杯省赛和国赛的过程感兴趣可以看一看真的很ruo -->备赛心得以下我对于《数据结构与算法》的认识数据结构与算法是从事这个行业必须会的东西，大厂的金钥匙之一。竟然选择以后从事这个行业那么就一定要学习数据结构与算法，而竞赛就很直_蓝桥杯c组国2是什么水平

银行秋招笔试计算机,2020银行秋招岗位不同，考试内容都一样吗？-程序员宅基地

文章浏览阅读876次。银行有很多的岗位，所有的岗位考试内容都一样吗？弘新教育小编带你分析银行岗位的考试内容。银行考试范围一样吗？各大银行考试一般是由各银行单独组织的，考试范围一样，基本上包括行测、综合知识、英语和性格测试，考试侧重点不同，例如中国工商银行侧重于行测；中国农业银行侧重于英语和行测；建设银行和交通银行英语考得比较少。六大行考试各科目占比如下：EPI：考试题型主要以选择题形式出现。主要包括言语理解、数学运算、..._计算机专业银行的笔试有什么区别吗？

基于Springboot框架广东广州某大学教室自习室预约系统设计与实现研究背景和意义、国内外现状_基于spring boot 的教室预约管理系统的设计与实现-程序员宅基地

文章浏览阅读756次，点赞20次，收藏9次。终极手撕架构师的学习笔记：分布式+微服务+开源框架+性能优化网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！9)]一个人可以走的很快，但一群人才能走的更远！

kkfileview安装及使用_安装kkfileview file-online-preview-v4.2.1-程序员宅基地

文章浏览阅读1k次，点赞10次，收藏17次。把源码下载完成之后，用idea打开此项目，再打开maven小界面，点击kkfileview-parent下面的clean和install即可，最后在到server下面的target下面进行查看，查看是否有两个安装包：如图第一个是Linux的安装包，第二个是windows的安装包。2、点击bin目录下的startup.bat，该项目就能启动了，并查看log目录下的kkFileView.log文件查看是否成功启动。6、运行成功后，在本机访问地址为：http://服务器ip地址:8012/即可。_安装kkfileview file-online-preview-v4.2.1

达梦数据库常用功能及命令记录--持续更新-程序员宅基地

文章浏览阅读8.7k次，点赞3次，收藏17次。达梦数据库常用功能及命令记录达梦数据库语句的使用总体来说跟oracle很接近的，这篇文章主要是把常用的情况和语句做了记录，并且后续还会不断的持续更新达梦数据库常用说明1.测试查询语句：select 1;select top 2 from v$dm_ini; select from v$dm_ini limit 2;select * from v$dm_ini where rownum&l..._达梦数据库存储不等于写法

随便推点

用框架表示计算机主机这一概念,第三章知识表示与推理之框架表示法.ppt-程序员宅基地

文章浏览阅读956次。第三章知识表示与推理之框架表示法中南大学智能系统与智能软件研究所第三章知识表示和推理 ——框架表示及推理框架知识表示法的提出 1975年明斯基在论文“A framework for representing knowledge”中提出了框架理论。它所针对的是人们在理解事物情景或某一个故事时的心理学模型，论述了人们理解问题的一种思想方法。两种不同的知识表示法产生式系统表示的知识是庞大..._试构造一个计算机的框架表示

记录ASP.NET CORE 3 部署过程-程序员宅基地

文章浏览阅读715次。环境为：window server 2008 IIS6.1 net core 3 首先时安装net.core 运行时。地址为：https://dotnet.microsoft.com/download/dotnet-core/3.0 大家找对应的版本进行下载安装。 IIS中创建网站，配置应用程序池.NET FrameWork 版本，选择无托管代码。..._.net core3 发布部署

Java中的设计模式在代码重构中的应用-程序员宅基地

文章浏览阅读1.1k次，点赞18次，收藏7次。设计模式是在软件开发中经常使用的一种经验总结，用于解决在特定上下文中重复出现的问题。在代码重构中，设计模式可以帮助我们改善代码的结构、可读性和可维护性。下面是几个常见的设计模式及其在代码重构中的应用。

scrapy 解决IP代理池的三种方法_scrapy代理ip池-程序员宅基地

文章浏览阅读1.5w次，点赞11次，收藏57次。一.手动更新ip池 1.1在setting配置文件中新增ip池 IPPOOL=[ {“ipaddr”:”61.129.70.131:8080”}, {“ipaddr”:”61.152.81.193:9100”}, {“ipaddr”:”120.204.85.29:3128”}, {“ipaddr”:”219.228.126.86:8123”}, {“ipaddr”:”61.152.8..._scrapy代理ip池

智慧物业—建设智慧社区的实践_物业智慧社区-程序员宅基地

文章浏览阅读1.7k次。智慧社区的特征•高度信息化、网络化智慧社区应当充分利用信息技术、互联网（及移动互联网）技术、云计算技术，开发、集成、利用信息资源，促进信息交流和知识共享。•社区与社区之间不是信息孤岛，而是互联、互通形成社区网络。•高度智能化、自动化在智慧社区里，智能控制、智能管理、智能仪表、智能家居及相关自动化技术得到广泛应用。•高度人性化、便捷化智慧社区应当利用信息技术、互联网技术，结合本地服务优势，围绕广大业主的需求，开展丰富的社区服务、增值服务，让广大业主足不出户便..._物业智慧社区

AJAX DataSet的使用心得-程序员宅基地

文章浏览阅读311次。无论是VB、Delphi、.NET还是Java，都有提供对数据结果集的操作，有了数据结果集，我们只需要使用结果集的方法移动记录，获取记录字段数据，再结合界面，就可以很容易地完成一个数据库应用的编程，现在都流行用AJAX做基于web的系统了。老大决定新版要用AJAX来做，给了我们用AJAX做一些试验和原型的任务，可是当我们的技术组在预研时，才发现到了web上完全不是那么回事呀，仅仅通过form表单来操作和提交数据要实现我们的设备管理真的很麻烦，以前都是用delphi三层结构，有Clie