DAIC-WOZ数据集_库辛派的博客-程序员宅基地

技术标签: 深度学习  

该数据库是更大的语料库(遇险分析访谈语料库(DAIC))的一部分(Gratch等2014年),其中包含旨在支持诊断心理困扰的临床访谈焦虑,抑郁和创伤后应激障碍等疾病。 这些采访是收集作为更大的努力的一部分,以创建一个可以采访人并识别人的计算机代理精神疾病的言语和非言语指标(DeVault等,2014)。 收集的数据包括音频和录像和广泛的问卷答复; 语料库的这一部分包括“绿野仙踪”采访,该采访由动画化的虚拟采访者Ellie进行,由人控制面试官在另一个房间里。 数据已被转录和标注为多种语言和非语言特征。

数据集介绍

该软件包包括会话300-492的189个文件夹。 某些会议因技术原因已被排除在外原因(请参见下文)。 数据按会话分组。
在这里插入图片描述
排除的会议:342,394,398,460
包括的会议有特别说明:
• 373 –在5:52-7:00左右有一个中断,协助人员进入房间修理未成年人
技术问题,会议持续进行并完成。
• 444 – 4:46-6:27左右中断,参与者的电话响了,协助人员进入房间以帮助他们将其关闭。 会议持续进行并完成。
•451,458,480 –会话在技术上已经完成,但是缺少了Ellie(虚拟人)的部分成绩单。 参与者的笔录仍然包括在内,但没有面试官的问题。
•402 –在对话结束之前,视频记录被剪切约2分钟。

train_split_Depression_AVEC2017.csv:此文件包含参与者ID ,PHQ8(Kroenke等人,20009)二进制标签(PHQ8分数> = 10),PHQ8分数和参与者性别,并对每个正式训练分割的PHQ8问卷的问题 。
PHQ8指患者的健康问卷。 详细信息在文档文件夹文件中提供:scherer_etal2015_VowelSpace.pdf
dev_split_Depression_AVEC2017.csv:此文件包含参与者ID,PHQ8二进制标签,PHQ8问卷中每个问题的分数,参与者性别和PHQ8为问卷中对与正式进行分割有利的每个问题的回答。

test_split_Depression_AVEC2017.csv:此文件包含参与者ID和参与者性别官方测试分组。
每个会话文件夹都包含以下文件(其中XXX是会话号,例如XXX = 301 in
文件夹301_P)。
在这里插入图片描述
Utility files shared(提供共享的函数文件):
在这里插入图片描述

########################################################

文件说明和功能文档

本节介绍了每个会话共享的特定文件。 来自同一文件软件按软件分组。

1. CLNF框架输出

T. Baltrušaitis, P. Robinson, L-P. Morency. OpenFace:开源的面部行为分析。2016年IEEE冬季计算机视觉应用会议(WACV)
http://ieeexplore.ieee.org/abstract/document/7477553/
Link: https://github.com/TadasBaltrusaitis/OpenFace

Files:
1、XXX.CLNF_features.txt:
脸上有68个2D点。 文件格式如下:
“frame, timestamp(seconds), confidence, detection_success, x0, x1,…, x67, y0, y1,…,
y67”. 点以像素坐标表示。
2、XXX_CLNF_AUs.csv :
“frame, timestamp, confidence, success, AU01_r, AU02_r, AU04_r, AU05_r, AU06_r, AU09_r, AU10_r, AU12_r, AU14_r, AU15_r, AU17_r, AU20_r, AU25_r, AU26_r, AU04_c, AU12_c, AU15_c, AU23_c, AU28_c, AU45_c”用“ _r”表示的值是每个动作单元的回归输出和“ _c”是反映一个动作单元的二进制标签存在或不存在0。 行动单位:
https://en.wikipedia.org/wiki/Facial_Action_Coding_System
3、XXX.CLNF_features3D.txt:
脸上有68个3D点。 文件格式如下:
“frame, timestamp(seconds), confidence, detection_success, X0, X1,…, X67, Y0, Y1,…, Y67, Z0, Z1,…, Z67”. 这些点在世界坐标空间中以毫米为单位,摄像头位于(0,0,0)且轴与摄像头对齐。
4、XXX.CLNF_gaze.txt:
“frame, timestamp(seconds), confidence, detection_success, x_0, y_0, z_0, x_1, y_1, z_1, x_h0, y_h0, z_h0, x_h1, y_h1, z_h1”
聚焦输出为4个向量,前两个向量在世界坐标空间中描述两只眼睛的聚焦方向,后两个向量描述头部坐标空间(因此,如果眼睛向上滚动,即使
头部转动或倾斜)

5、XXX.CLNF_hog.bin:
使用Felzenswalb的HoG在对齐的112x112区域上以二进制文件格式显示HOG脸 这导致每帧4464矢量。 它的存储方式是字节流每帧都是:
“num_cols, num_rows, num_channels, valid_frame, 4464d
vector”. In the util folder there is a function。来自CLM的“Read_HOG_files.m”框架将HOG二进制格式读取到matlab矩阵中。
6、XXX.CLNF_pose.txt:
“frame_number, timestamp(seconds), confidence, detection_success, X, Y, Z, Rx, Ry, Rz”。姿势是6个数字的输出,X,Y,Z是位置坐标,Rx,Ry,Rz是头部旋转坐标。 位置在世界坐标中以毫米为单位,旋转为以弧度和欧拉角约定(为得到适当的旋转矩阵,使用R = Rx * Ry * Rz)。
所有.txt文件都包含适当的标题。 每行代表一帧的结果。
“置信度”是[0,1]中的度量,代表跟踪的置信度。

2、音频文件

Audio file: XXX_AUDIO.wav (scrubbed)
头戴式麦克风(Sennheiser HSP 4-EW-3)的音频记录频率为16kHz。 音频文件可能包含少量的虚拟面试官(暂停); 使用成绩单文件缓解
处理时出现此问题。 从音频记录中擦除可识别的语音,即在各时间波形归零; 使用成绩单文件和关键字**“ scrubbed_entry”**以发现这些实例。 清理后的条目也会在功能文件中清零。

3、成绩单文件

XXX_TRANSCRIPT.csv (scrubbed)
转录约定:
•语料库中的大写单词,但很少见。 如果存在,则大写没有意义,除了它是位置名称。
•不完整的单词应标注如下:
如果语音被截断,请写下完整的预期词,然后加上在尖括号中实际发音的部 分:人。;
评论只供人类读者使用;
抄写整个单词的原因是为了避免混淆。
通过在非单词上训练处理模块。
无法识别的单词表示为“ xxx”

语音重叠由重叠的时间戳指示。
•成绩单文件是 “tab separated” 文件。
•参与者ID 363上方的虚拟采访者的笔录会自动生成,并且在方括号中提供语音内容之前包含语音的唯一标识符。
例如: 165.854 166.324 Ellie yeah3 (yeah)

4、音频特征

音频功能是使用COVAREP工具箱(v.1.3.2)提取的,该工具箱位于:
https://github.com/covarep/covarep
文件:
•XXX_COVAREP.csv (scrubbed): 提取了以下功能:
1、所有音频功能(包括共振峰;请参见下文)均为10毫秒。 因此,
音频功能以100Hz采样。
2、F0, VUV, NAQ, QOQ, H1H2, PSP, MDQ, peakSlope, Rd, Rd_conf, MCEP_0-24、HMPDM_0-24, HMPDD_0-12
3、可以在COVAREP网站上找到每个功能的说明,以及提供的COVAREP出版物中。 此外,有关特征提取的确切步骤的信息,详细信息请参见
通过github提供的COVAREP脚本中引用的出版物。
4、一个重要方面是,如果VUV(发声/发声)提供了标记({0,1}),
当前段已浊或清浊。 在清音的情况下,即VUV = 0,人声褶皱没有振动,因此值例如F0,NAQ,QOQ,不应使用H1H2,PSP,MDQ,peakSlope和Rd。
5、清理后的条目设置为零。

** XXX_FORMANT.csv (scrubbed) **

*包含前5个共振峰,即声道
共振频率,这些频率在整个采访中都会被追踪。
清理后的条目设置为零。

参考文献

Jonathan Gratch, Ron Artstein, Gale Lucas, Giota Stratou, Stefan Scherer, Angela Nazarian,
Rachel Wood, Jill Boberg, David DeVault, Stacy Marsella, David Traum, Skip Rizzo, Louis-Philippe
Morency, “The Distress Analysis Interview Corpus of human and computer interviews”,
Proceedings of Language Resources and Evaluation Conference (LREC), 2014
DeVault, D., Artstein, R., Benn, G., Dey, T., Fast, E., Gainer, A., Georgila, K., Gratch, J., Hartholt,
A., Lhommet, M., Lucas, G., Marsella, S., Morbini, F., Nazarian, A., Scherer, S., Stratou, G., Suri,
A., Traum, D., Wood, R., Xu, Y., Rizzo, A., and Morency, L.-P. (2014). “SimSensei kiosk: A virtual
human interviewer for healthcare decision support”. In Proceedings of the 13th International
Conference on Autonomous Agents and Multiagent Systems (AAMAS’14), Paris
Degottex, G.; Kane, J.; Drugman, T.; Raitio, T.; and Scherer, S., COVAREP - A collaborative voice
analysis repository for speech technologies. In Proceedings of IEEE International Conference on
Acoustics, Speech and Signal Processing (ICASSP 2014), pages 960-964, 2014.
Kroenke K, Strine TW, Spitzer RL, Williams JB, Berry JT, Mokdad AH. The PHQ-8 as a measure of
current depression in the general population. Journal of affective disorders. 2009 Apr
30;114(1):163-73.

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_40258368/article/details/106518242

智能推荐

互联网时代,企业培训管理如何创新?_liliesss的博客-程序员宅基地

互联网时代,企业培训管理如何创新?最近,互联网思维颠覆餐饮行业、互联网思维颠覆房地产行业、互联网思维颠覆打火机……大量互联网思维“颠覆”的文章进入眼帘,于是笔者也在思考,在传统行业、传统产品被互联网思维影响下忙着升级、转型、重塑商业模式的时候,HR在管理企业培训的时候是否也应有所创新?专注于企业培训线上、线下培训管理信息化的学力银行平台专家认为,颠覆企业培训不是一件容易的事,但企业培训必然

do_fork()浅析_lihenair的博客-程序员宅基地

linux-2.6.36.3/* * Ok, this is the main fork-routine. * * It copies the process, and if successful kick-starts * it and waits for it to finish using the VM if required. */long do_fork(u

Jenkins之安卓打包-加固-上传蒲公英_jenkins android 加固_meijinmeng的博客-程序员宅基地

1.基础环境Android SDK r24(项目未设置NDK)gradle 4.1-6.4(打包工具)360加固账号蒲公英账号Jenkins已经部署安装好2.配置编译打包步骤注意:这里主要是修改build.gradle 配置和添加local.properties 文件到代码中,具体是根据项目情况来决定脚本: ```bash #修改build.gradle配置和添加local.p..._jenkins android 加固

《十一》微信小程序中自定义组件的 Component_wx://component-export_花铛的博客-程序员宅基地

Behavior():注册一个 behavior,接受一个 Object 类型的参数。properties:同组件的属性。data:同组件的数据。behaviors:引入其它的 behavior。observers:同组件数据字段监听器。methods:同组件的方法。created:生命周期函数。attached:生命周期函数。ready:生命周期函数。moved:生命周期函数。detached:生命周期函数。lifetimes:组件生命周期声明对象。_wx://component-export

Struts1.2(1)_carloschen1985的博客-程序员宅基地

1.EL表达式的扩展 EL表达式目前只用在对象上,无法在对象的属性上使用. 自定义EL表达式 1)先写一个类,每个静态方法说明了一种作用. 2)写一个定义文件,声明类,方法和使用标签的name 3)在jsp里声明这个定义文件 4)使用格式是:${前缀:定义文件里的name(元素)}2.服务器验证 1)自己写验证代码 a.先写好jsp的表单,做...

深入浅出PageRank算法_niaorendnf的博客-程序员宅基地

PageRank算法PageRank算法是谷歌曾经独步天下的“倚天剑”,该算法由Larry Page和Sergey Brin在斯坦福大学读研时发明的,论文点击下载: The PageRank Citation Ranking: Bringing Order to the Web。本文首先通过一些参考文献引出问题,然后给出了PageRank的几种实现算法,最后将其推广至在MapReduce框

随便推点

2021-06-27Java实训学习笔记06---实例化反射_java 反射 实例化_秃头椰仔的博客-程序员宅基地

Java实训学习笔记06---一级目录二级目录三级目录一级目录二级目录三级目录_java 反射 实例化

ios 编程规范_weixin_30832983的博客-程序员宅基地

转自:http://www.cnblogs.com/celestial/archive/2012/06/30/2571417.htmliOS编程规范编码规范一、文档结构管理1.建立Libraries文件夹,所有第三方库放入其中。2.建立Utilities文件夹,自已封装的类放入其中。3.建立Constants.h头文件,所有的常量定义于其中。Constants...

cocos2d-x 关于 Sprite应用 的一个小游戏 - Sky Defense_瓦力冫的博客-程序员宅基地

这个是《Cocos2d-X by Example Beginner's Guide》上的第二个例子,用鼠标点屏幕点一下就会生成一个炸弹,等炸弹大到一定程度再点击屏幕,炸弹就爆炸了,光圈碰到下落的绿色物体就加分了,绿色物体落到地上,就减生命的,生命到0就Game Over了。

摄像头_摄像头感光芯片是模拟还是数字的_timidsmile的博客-程序员宅基地

问:摄像头的数字信号和模拟信号有什么区别?是不是只有模拟信号才能当监控器使用?答:都可以 但是模拟信号回放的时候只有四分之一D1格式 不清晰问:摄像头如何将模拟信号转换为数字信号?答:不是转换 是编码 目前比较流行的是 mp4 和 h264 编成数字信号后 通过解码库再解成模拟信号显示出来问:监控的模拟信号和数字信号是指采集卡还是摄像头?又或者是两者都必需是才是?从外观上_摄像头感光芯片是模拟还是数字的

Python学习笔记(字符串类型)_python字符串中的编号叫什么_pink_pink.的博客-程序员宅基地

字符串是用双引号" "或者单引号’ '括起来的一个或多个字符。字符串可以保存在变量中,也可以单独存在。可以用type()函数测试一个字符串的类型。Python语言转义符:\输出带有引号的字符串,可以使用转义符。使用\\可以输出带有转义符的字符串。字符串是一个字符序列:字符串最左端位置标记为0,依次增加。字符串中的编号叫做“索引”。单个索引辅助访问字符串中的特定位置。Python中字符串索引从..._python字符串中的编号叫什么

SCCM2012客户端推送部署过程日志分析_weixin_34319111的博客-程序员宅基地

SCCM2012的客户端部署,有两种方法,一是自动请求安装,二是手动部署。虽然方式不同,不过过程都一样,以下是部署过程分析1. 首先,要想部署成功,先决条件肯定是要的,比如防火墙例外,已经被发现等。2. 是否在边界内,并指定了相应的管理站点3. 利用客户端推送向导配置了相应的推送参数,比如有权限的帐户等。4. 以上如果都OK,那么接下来SMS Provider会为目标计算机建...

推荐文章

热门文章

相关标签