２０ｌ１年８月 噪声与振动控制 第４期 文章编号：１００６—１３５５（２０１１）０４—０１３２—０５ 情感语音特征对语料库依赖性的统计分析 孙颖， 张雪英 （太原理工大学信息工程学院，太原０３００２４） 摘要：简述线性预测倒谱系数（ＬＰＣＣ）、Ｔｅａｇｅｒ能量算子（ＴＥＯ）、梅尔频率倒谱系数（ＭＦＣＣ）和过零峰值幅度 （ＺＣＰＡ）特征提取方法，并将这四种方法应用于情感识别。设计两种实验，第一种是使用ＴＹＩＪＴ和Ｂｅｒｌｉｎ语料库的单语 言实验，这种实验证明，以上四种特征在单一的语料库单一语言条件下均能够有效地表征语音的情感特征，其中 ＭＦＣＣ特征对情感的识别率最高。第二种实验是混合语料库的单一语言实验。之前大多数关于情感特征的研究都是 基于某一种语料库中某种特定语言的，但在实际中，说话人的背景环境总是多种多样。因此，对特征的混合语料库研 究是有现实意义的。第二种实验证明这四种特征都是语料库依赖性的，其中ＺＣＰＡ特征的识别率下降最少。 关键词：声学；信号处理；情感语音识别；语料库依赖性；情感特征；混合语料库 中图分类号：ＴＮ９１２．３４ 文献标识码：Ａ ＤＯＩ编码：１０．３９６９／ｊ．ｉｓｓｎ．１００６．１３５５．２０１１．０４．０３１ Ｓｔａｔｉｓｔｉｃａｌ Ａｎａｌｙｓｉｓ ｆｏｒ Ｄａｔａｂａｓｅ Ｄｅｐｅｎｄｅｎｃｅ ｉｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｅｍｏｔｉｏｎａｌ Ｓｐｅｅｃｈ ｂｙ ｕｓｉｎｇ Ｄｉｆｅｒｅｎｔ Ｆｅａｔｕｒｅｓ Ｅｘｔｒａｃｔｉｏｎ Ａｐｐｒｏａｃｈｅｓ ＳＵＮ Ｙｉｎｇ，ＺＨＡＮＧ Ｘｕｅ－ｙｉｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，ＴＹＵＴ，Ｔａｉｙｕａｎ ０３００２４，Ｃｈｉｎａ） Ａｂｒｅａｃｔ：Ｆｏｕｒ ａｐｐｒｏａｃｈｅｓ ｏｆ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ：ｔｈｅ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｉｃｉｆｅｎｔ（ＬＰＣＣ），ｔｈｅ Ｔｃａｇｃｒ Ｅｎｅｒｇｙ Ｏｐｅｒａｔｏｒ（ＴＥＯ），ｔｈｅ Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｒｔａｌ Ｃｏｅｆｉｃｉｆｅｎｔ（ＭＦＣＣ）ａｎｄ ｔｈｅ Ｚｅｒｏ Ｃｒｏｓｓｉｎｇｓ ｗｉｈ ｔＰｅａｋ Ａｍｐｌｉｔｕｄｅｓ（ＺＣＰＡ）ａｒｅ ｄｅｓｃｒｉｂｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ａｎｄ ｔｈｅｓｅ ａｐｐｒｏａｃｈｅｓ ａｒｅ ａｐｐｌｉｅｄ ｔｏ ｅｍｏｔｉｏｎａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ．Ｔｗｏ ｋｉｎｄｓ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ａｒｅ ｃａｒｒｉｅｄ ｏｕｔ．Ｔｈｅ ｆｉｒｓｔ ｏｎｅ ｉｓ ａ ｌ【ｉｎｄ ｏｆｓｉｎｇｌｅ ｌａｎｇｕａｇｅ ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｈ ＴＹＵＴ ｄａｔｔａｂａｓｅ ａｎｄ Ｂｅｒｌｉｎ ａｔａｂａｓｅ．Ｉｄｓ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｔｈｅｓｅ ｆｏｕｒ ａｐｐｒｏａｃｈｅｓ Ｃａｎ ｒｅｐｒｅｓｅｎｔ ｓｐｅｅｃｈ ｅｍｏｔｉｏｎ ｅｆｆｅｃｔｉｖｅｌｙ ｂｙ ｕｓｉｎｇ ｓｉｎｇｌｅ ｌｎｇｕａｇｅ ａｏｆ ｓｉｎｇｌｅ ｄａｔａｂａｓｅ．ＭＦＣＣ ｈａｓ ｔｈｅ ｂｅｓｔ ｒｅｓｕｌｔ ｏｆ ｔｈｅ ｆｏｕｒ ａｐｐｒｏａｃｈｅｓ．Ｔｈｅ ｓｅｃｏｎｄ ｋｉｎｄ ｅｘｐｅｒｉｍｅｎｔ ｉｓ ｍｅｒｇｅ－ｄａｔａｂａｓｅ ｏｆ ｓｉｎｇｌｅ ｌａｎｇｕａｇｅ．Ｍｏｓｔ ｐｒｅｖｉｏｕｓ ｗｏｒｋ ｏｎ ｅｍｏｔｉｏｎａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｉｓ ｂａｓｅｄ ｏｎ ａ ｓｐｅｃｉａｌ ｌａｎｇｕａｇｅ ｏｆ ｓｉｎｇｌｅ ｓｐｅｅｃｈ ｄａｔａｂａｓｅ．Ｂｕｔ ｉｎ ｐｒａｃｔｉｃｅ，ｔｈｅ ｅｎｖｉｒｏｎｍｅｎｔｏｆｔｈｅ ｓｐｅａｋｅｒｉｓ ｖａｒｉｏｕｓ．Ｓｏｔｈｅ ｓｔｕｄｙｏｆｅｍｏｔｉｏｎａｌｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎｂａｓｅｄ ｏｎｍｅｒｇｅ—ｄａｔａｂａｓｅｉｓ ｓｉｇｍｆｉｃａｔｉｖｅ． Ｅｘｐｅｒｉｍｅｎｔｓ ｏｆｔｈｅ ｓｅｃｏｎｄ ｋｉｎｄ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｅ ｆｏｕｒ ｆｅａｔｕｒｅｓ ａｒｅ ａｌｌ ｄａｔａｂａｓｅ ｄｅｐｅｎｄｅｎｔ．ＺＣＦＡ ｆｅａｔｕｒｅｓ ａｒｅ ｏｆｔｈｅ ｌｅａｓｔ ｄａｔａｂａｓｅｄｅｐｅｎｄｅｎｃｅｏｆｔｈｅｆｏｕｒ ａｐｐｒｏａｃｈｅｓ． Ｋｅｙ ｗＯ Ｉｓ：ａｃｏｕｓｔｉｃｓ；ｓｉｎａｌｇ ａｎａｌｙｓｉｓ；ｅｍｏｔｉｏｎａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ；ｄａｔａｂａｓｅ ｄｅｐｅｎｄｅｎｃｅ；ｅｍｏｔｉｏｎａｌ ｆｅａｔｕｒｅｓ； ｍｅｒｇｅ．ｄａｔａｂａｓｅ 人类的语言包含着说话人要传达的信息，同时 也能够传递说话人的情感状态。情感计算是当今热 点的研究领域，情感语音的自动识别正是这一热点 领域中面临的最新挑战之一。情感语音识别的目的 是将未知的情感语音按照不同的情感状态分类。为 收稿日期：２０１１－０１．０４；修改日期：２０１１－０４—１６ 项目基金：国家自然科学基金（Ｎｏ．６１０７２０８７）； 山西省自然科学基金（Ｎｏ．２０１００１１０２０—１）； 山西省研究生创新基金（Ｎｏ．２００９３０１０） 了能够可靠地检测出人类的情感状态，语音的音调、 短时谱和强度等被认为是典型的表征语音情感状态 的特征 ］。 本文使用了线性预测倒谱系数（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｉｃｉｆｅｎｔ，ＬＰＣＣ）、梅尔频率倒 谱系数（Ｍｅｌ—Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｉｃｉｆｅｎｔ， ＭＦＣＣ）、Ｔｅａｇｅｒ能量算子（Ｔｅａｇｅｒ Ｅｎｅｒｇｙ Ｏｐｅｒａｔｏｒ， ＴＥＯ）及过零峰值幅度（Ｚｅｒｏ Ｃｒｏｓｓｉｎｇｓ ｗｉｔｈ Ｐｅａｋ Ａｍｐｌｉｔｕｄｅｓ，ＺＣＰＡ）几种特征作为表征语音情感状态 的基本特征，这几种特征均是语音的音调、短时谱和 强度特征的一种或几种的统计组合，两个情感语料 库（ＴＹｕＴ语料库、Ｂｅｒｌｎ语料库）作为基础语料库。ｉ 作者简介：孙颖（１９８１．），女，河南濮阳人，在读博士，目前 从事情感语音研究。 Ｅ．ｍａｉｌ；ｔｙｎｔｓｙ＠１６３．ｃｏｍ 情感语音特征对语料库依赖性的统计分析 虽然目前国内对各种情感特征的研究很多，但是大 部分都是基于某种语言或者某种单独的语料库的。 １３３ 语音情感的分类对比实验，下面简要介绍这四种方 法。 而在实际谈话中，说话人有着各自不同的语言背景， 因此研究不同发音条件下混合语料库的情感特征是 有现实意义的。本文通过两个单独情感语料库中英 语、汉语、德语三种语言的对比试验，及混合语料库 三种语言的对比试验，分别得出了这几种特征的语 ２．１ ＬＰＣＣ特征 线性预测倒谱系数（ＬＰＣＣ）是线性预测系数 （Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｅｆｉｃｉｆｅｎｔ，ＬＰＣ）在倒谱域的表 示，通常ＬＰＣＣ是由声信号的ＬＰＣ递推得到的口】。 ＬＰＣＣ很好地去掉了语音产生过程的激励信息，主要 反映声道响应，通常十几个倒谱系数就能很好地描 料库依赖特性及语言依赖特性。 １ 情感语音识别系统的组成 情感语音识别系统的组成与语音识别系统的组 成类似，基本分为语料库的准备、特征提取和模式匹 配三个部分。图ｌ为情感语音识别的基本框图。 述语音信号的共振峰特性，因此可用于语音情感识 别中。 ２．２ ＭＦＣＣ特征 梅尔频率倒谱系数（Ｍｅ１．Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｉｆｃｉｅｎｔ，ＭＦＣＣ）是一种基于人耳听觉域特性提 取的特征参数 】。ＭＦＣＣ特征提取时，首先将原始 语音信号预加重、分帧加窗。接着对每一帧语音信 号进行快速傅里叶变换，得到信号的离散功率谱。 然后将信号的功率谱通过一组Ｍ个三角带通滤波 器，即Ｍｅｌ滤波器组，每个滤波器的中心频率在Ｍｅｌ 频率轴上为等间距分布。将每个滤波器的输出取对 焉薤塞 特征提墩 模式匹配 数能量，得到对数功率谱。最后将对数功率谱经过 离散余弦变换，转换到时域，就是ＭＦＣＣ。 在整个频率域，ＭＦＣＣ的三角滤波器是非均匀 分布的。滤波器在低频区域分布较为密集，在中高 频区域较为稀疏，这样使得ＭＦＣＣ在低频区域具有 较好的计算精度，频率分辨率高；在中高频区域计算 精度低，频谱信息被弱化。而语音信号主要集中在 低频部分，这种非均匀的滤波器可以很好地体现低 频信号的特征，并且屏蔽高频噪声的干扰，从而确保 特征的有效性。 ２．３ ＺＣＰＡ特征 图１情感语音识别的基本框 Ｆｉｇ．１ Ｂａｓｉｃ ｓｔｒｕｃｔｕｒｅ ｏｆ Ｅｍｏｔｉｏｎ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ 从图１中可以看出，首先，在语料库的准备阶段 要建立不同种情感类型的语料库；其次在特征提取 部分提取的是能够表征语音情感状态的特征：最后 根据不同划分方法在模式识别部分建立多种情感语 音模型，以得到识别率。 情感的划分方法是建立情感语料库与模式识别 部分的重要基础。目前主要存在两种划分方法：基 本情绪论和维度空间论［２１。基本情绪论的观点认为 情绪在发生上有原型形式，即存在着数种人类的基 本情绪类型，每种类型各有其独特的体验特性、生理 过零峰值幅度（Ｚｅｒｏ Ｃｒｏｓｓｉｎｇｓ ｗｉｔｈ Ｐｅａｋ Ａｍｐｌｉｔｕｄｅｓ，ＺＣＰＡ）特征是一种基于人耳听觉特性的 特征，在语音识别中具有较高的抗噪性 。图２是 ＺＣＰＡ特征提取框图。从图中可以看出，整个过程可 以分为滤波、过零及峰值特征提取、输出特征规整三 个部分 ］。 唤醒模式和外显模式。而对于基本情绪应包括哪些 情绪，则有不同的看法，最常被提到的是厌恶、愤怒、 高兴、悲伤、害怕等。 维度论认为，几个维度组成的空间包括了人类 原始情感语音信号在采样后，首先经过１６个 ＦＩＲ滤波器被分为１６组。这１６个滤波器的频带划 所有的情绪，情绪的表示可以看作是具有信息度量 的多维空间的点在情感空间中的映射，情感计算的 分根据等矩形带宽（Ｅｑｕｉｖａｌｅｎｔ Ｒｅｃｔａｎｇｕｌｒ ａＢａｎｄｗｉｄｔｈ，ＥＲＢ）来确定。滤波后，每组的信号都会 基础就是找到这个映射维度论，把不同情绪看作是 逐渐的、平稳的转变，不同情绪之间的差异性和相似 性是根据它们在维度空间中的距离远近来显示的。 本文使用的是基本情绪论划分方法。 依次通过过零检测模块、峰值检测模块、非线性压缩 模块和频率接收模块。过零检测模块用以计算情感 语音信号的过零率，并用过零间隔来表示信号的频 率信息。峰值检测模块会找到相邻两个过零点间的 最大峰值幅度，并在非线性压缩模块将最大峰值幅 度压缩，来表示信号的强度信息。接着频率信息和 ２情感分类特征的研究 本文在相同的条件下用四种特征提取方法进行 ２０１１年８月 噪声与振动控制 第４期 Ｈ 一 通道ｏ １３）＝３ ６４５句。录制时，说话人处于安静的办公室环 境中（信噪比为２０ ｄＢ￣３０ｄＢ）。录音采用Ｃｏｏｌ蹦ｔ 瓜滤 零儡通道ｌ５ 过零及峰值特征提取 ］ ｝一 输出特征 规整 Ｐｒｏ２．０软件，ＰＨＩＬＩＰＳ的ＳＨＭ １００麦克风，采样率为 １１ ０２４ Ｈｚ，分辨率为１６ ｂｉｔ。为了保证语句的情感质 量和发音的自然性，还由录音者之外的１１人进行了 组波器 Ｉ 滤波 主观辨听实验，最终选取８９０句情感语句组成情感 语料库。 ３．２ Ｂｅｒｌｉｎ语料库 Ｂｅｒｌｉｎ语料库是在柏林技术大学的电波暗室中 录制的德语语句 。１０位演员（５男５女）模仿了７种 情感，分别是中立，生气，害怕，高兴，悲伤，厌恶和烦 图２ ＺＣＰＡ特征提取框图 Ｆｉｇ．２ Ｓｔｒｕｃｔｕｒｅ ｏｆｔｈｅ ＺＣＰＡ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ Ａｐｐｒｏａｃｈ 躁。每种情感包含１０个德语句子。在高质量录音 设备下以４８ ｋＨｚ和１６ｋＨｚ的采样率录制。录音后 强度信息在频率接收模块被组合起来，成为每组的 输出特征川。最后将每组频率接收器的输出进行时 间幅度规整。规整后的特征为最终输出特征。 ２．４ ＴＥＯ特征 Ｔｅａｇｅｒ能量算子（ＴＥＯ）是最先由Ｔｅａｇｅｒ和 Ｋａｉｓｅｒ提出的。根据Ｔｅａｇｅｒ的研究，声源是声道内 同样进行了主观辨听实验。最后选出了４９３旬语 句。 ４识别实验及实验结果分析 本文做了两种实验。第一种，分别用第三节中 描述的两个语料库中的三种语言进行了实验。考虑 到实验的准确性和普遍性，在ＴＹ１ＪＴ语料库的每种 情感中随机选取了９ｌ句语句用于实验。Ｂｅｒｌｉｎ语料 库每种情感包含的语句个数不同，在高兴、生气、中 性及烦躁的情感状态下随机选取了７ｌ句语句，而由 于焦虑、厌恶及悲伤的情感状态所含语句较少，因此 Ｂｅｒｌｉｎ语料库的这三种情感状态的所有语句均被选 非线性涡流的交互作用 ＴＥＯ自提出后，就被广泛 的应用于各种领域中，其中最为重要的就是在信号 特征提取领域的应用嘲。ＴＥＯ的离散形式描述如 下： （ｓ 】）＝ｓ。Ｉｎ】一Ｓ ＋１］ｓ 一１】 （１） 其中 （‘）为ＴＥＯ算子，ｓ 】是采样后的语音信 号。本文中，ＴＥＯ特征的提取步骤如下：首先对采样 用。第二种，进行了三种语言混合语料库的实验。 后的原始情感语音分帧，１１０个样点为一帧，帧移为 ５Ｏ％。接着将分帧后的信号通过１６个ＦＩＲ滤波 器。这１６个滤波器的频率范围为２００￣４ ０００ Ｈｚ，频 带划分遵循２．３节简述的ＥＲＢ频带划分原则。最后 对１６个滤波器的输出加权规整，规整后的特征即为 ＴＥＯ特征。 由于Ｂｅｒｌｉｎ语料库包含了ＴＹＵＴ语料库之外的四种 情感，因此在进行混合语料库识别实验时要去除这 四类情感。每种实验使用大约２／３的句子训练，ｌ／３ 的句子测试。用于训练和测试的句子个数见表１。 支持向量机（ＳＶＭ）算法被用于情感特征的分 类。支持向量机被证明是模式识别的有效手段。支 持向量机将输入映射到一个高维空间，然后用一个 超平面分类［１０］ｏ本文中，分别使用了对应于各种情 感的支持向量机，训练集中的每类情感数据对应的 支持向量机经训练后被确定为相应的情感类，其他 非本类的情感则被标上否定标志。在情感识别过程 中，同时将特征向量输入到所有支持向量机中，每个 支持向量机的输出通过逻辑判断后，来选择最可能 的情感类别，输出肯定标志的则被选定为正确情感， 由此可以得到识别结果。 ３情感语料库 ３．１ ＴⅥＪＴ语料库 ＴＹＵＴ语料库是太原理工大学于２０１０年１月录 制的情感语料库。其目的是用于开展情感语音合成 与情感语音识别的研究。语料库包含６句中文，７句 英文。每句话由ｌ４位男性和１３位女性分别用高兴、 愤怒、中立三种情感发音９次。因此汉语语句共有 ６ｘ９ｘ３ｘ（１４＋１３）＝４ ３７４句，英语语句共有５ｘ９ｘ３ｘ（１４＋ 表１训练与测试语句数 Ｔａｂ．１ ＴｈｅＮｕｍｂｅｒｏｆＳｅｎｔｅｎｃｅｓｆｏｒＴｒａｉｎｉｎｇ ａｎｄＴｅｓｔｉｎｇ 情感语音特征对语料库依赖性的统计分析 １ ３５ ４．１一种语言的实验 本组实验以语言种类划分，分别对两种语料库 的三种语言进行三种情感的识别，例如做汉语高兴 实验时，用于训练的语句为汉语语料库中所有情感 语句，即用于训练的语句为６１＋６１＋６１＝１８３句，测试 的语句均为Ｔ ＪＴ语料库中的汉语高兴语句，即３０ 句。表２为四种特征的识别结果。 通过对ＴＹＵＴ的汉语、英语和Ｂｅｒｌｉｎ语料库的 德语分别进行的识别实验，得到了总体较为理想的 识别率，ＬＰＣＣ、ＴＥＯ、ＭＦＣＣ和ＺＣＰＡ四种特征的平 均识别率达到了８１．７５％。综合对比这四种特征在 三种情感三种语言的平均识别结果，平均识别率从 高到低依次为ＭＦＣＣ（８５．７９％）、ＴＥＯ（８０．８３％）、 ＺＣＰＡ（８０．７７％）、ＬＰＣＣ（７９．１５％）。 从情感分类的角度来看，三种特征表现出中性 的识别率最高，高兴的次之，生气的最低，分析其原 因可能与语料库录制时的情感表现有关。 从语言的角度来看，四种特征均表现为汉语的 识别率最高，英语次之，德语最差。这是因为ＴＹＵＴ 语料库是由母语为中文的说话人录制的，因此在情 感表现上中文要强于英文，而Ｂｅｒｌｉｎ语料库的表现 在一些参考文献中的平均识别率也比较低，如文献 ［１１】中同样在ＳＶＭ分类算法和Ｂｅｒｌｉｎ语料库下基于 分段的情感自动分类方法（ＳＢＡ）的识别结果，文献 ［１１］的平均识别率是６５．５％，可见Ｂｅｒｌｉｎ语料库本身 的情感表现就比较弱。单独分析各种特征时， ＭＦＣＣ特征对英语、德语的三种情感状态及汉语的 生气和中性情感状态的识别率最高，ＺＣＰＡ特征对汉 语的高兴情感状态的识别率最高。因此，单纯从识 别率上来看，ＭＦＣＣ特征是这四种特征中区分情感 的最为有效的方法。 ４．２混合语料库的实验 本组实验将ＴＹＵＴ语料库和Ｂｅｒｌｉｎ语料库相同 情感的语句混合，再对三种语言进行三种情感的识 别。例如做汉语高兴实验时，用于训练的语句为两 种语料库中所有的高兴情感的训练语句，即用于训 练的语句为６１＋６１＋４８＝１７０旬，而测试的语句为 ＴＹｕＴ语料库的汉语高兴情感测试语句，即３０句。 表３为四种特征的识别结果。 从表３中可以发现，此时，综合识别结果从高到 低的特征排列为ＭＦＣＣ（８２．２８％）、ＺＣＰＡ（７８．６３％）、 ＬＰＣＣ（７４．８１％）、ＴＥＯ（７３．７４％）。识别率的排列顺 序有所变化，并且识别率都有所下降，其中ＭＦＣＣ下 降了３．５１个百分点，ＺＣＰＡ下降了２．１４个百分点， ＬＰＣＣ下降了４．３４个百分点，ＴＥＯ下降了７．０９个百 分点。 从情感分类的角度来看，ＬＰＣＣ和ＭＦＣＣ特征 的表现有所变化，中性的最高，生气的次之，高兴的 最低。ＺＣＰＡ特征中生气平均的识别率低于高兴的， 但这是由于ＺＣＰＡ特征对于德语的生气识别率下降 非常大，影响了整个的平均值。 从语言的角度来看，四种特征中有三种在三种 语言上的表现没有发生变化，依然是汉语最高，英语 次之，德语最差。 单独分析各种特征时，ＺＣＰＡ特征除了继续在汉 语的高兴状态保持最高之外，还在英语的生气状态、 德语的高兴状态和中性状态取得了最高的识别率。 ＭＦＣＣ特征在剩下的语言情感状态下识别率最高。 从两次实验的结果分析，相同情感语料混合处 理后，识别结果有很大变化，总体来讲都有所下降。 虽然ＭＦＣＣ特征在两次实验中都有比较好的表现， 但是ＺＣＰＡ特征在语料库混合后是所有特征中下降 最少的，并且在某些语言的某些情感下超过了 ＭＦＣＣ。而根据参考文献［１１］，当使用混合语料库 时，索尼公司的机器狗ＡＩＢＯ和基于分段方法 （Ｓｅｇｍｅｎｔ Ｂａｓｅｄ Ａｐｐｒｏａｃｈ，ＳＢＡ）特征的识别结果会 急剧下降。可见ＺＣＰＡ特征具有较好的语料库自适 应性。 ５结语及展望 本文通过单独语言和混合语料库两组实验，分 别得出了ＬＰＣＣ、ＴＥＯ、ＭＦＣＣ和ＺＣＰＡ这四种特征 在高兴、生气以及中性情感状态下的识别结果。单 纯从识别率上来说，ＭＦＣＣ在两组试验中的表现最 好，平均识别率分别达到了８５．７９％和８２．２８％，其余 三种特征的平均识别率略低，但也都能达到比较理 想的结果，可见，ＬＰＣＣ、ＴＥＯ、ＭＦＣＣ和ＺＣＰＡ特征都 可以有效地表征语音的情感特性，并且均可以适用 于不同语料库和不同语言。 对比两组实验，可以发现，当采用混合语料库 时，这四种特征的识别率都会下降，但混合语料库对 ＺＣＰＡ特征的影响最小。这说明ＬＰＣＣ、ＴＥＯ、ＭＦｃｃ 和ＺＣＰＡ特征都有一定的语料库依赖性，尤其是当 处于比较复杂的语言背景环境时，这种依赖性会表 现的更为明显。单纯从本文的试验中分析，ＺＣＰＡ特 征的语料库依赖性最小，但是由于情感语料库的特 殊性，可以利用的情感语料库有限，本文只使用了两 种语料库。如果增加语料库的个数，并且增加语言 的种类，ＺＣＰＡ特征是否依然能够表现出较好的语料 库独立性，将是需要进一步研究的课题。同时如何 构建出一种具有语料库独立性的特征将是我们今后 工作的重点 ２０１１年８月 噪声与振动控制 第４期 表３四种特征在混合语料库实验中的实验结果（％） Ｔａｂ．３ Ｐｅｒｃｅｎｔａｇｅ Ｃｌａｓｓｉｆｉｃａｉｔｏｎ Ａｃｃｕｒａｃｙ ｏｆＭｅｒｇｅ－ｄａｔａｂａｓｅ（％） 参考文献： ｆ１】Ｄｉｍｉ￣ｏ Ｖｅｒｖｍ＇ｉｄｉｓ，Ｃｏｎｓｔａｎｔｉｎｅ Ｋｏｔｒｏｐｏｕｌｏｓ．Ｅｍｏｔｉｏｎａｌ ［７】焦志平，张雪英，赵淑彦．一种基于听觉模型的抗噪语音 识别特征提取方法【Ｊ】．太原理工大学学报，２００５，３６： １３－１５． ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ：ｒｅｓｏｕｒｃｅｓ，ｆｅａｔｕｒｅｓ，ａｎｄ ｍｅｔｈｏｄｓ【Ｊ］． Ｓｐｅ￣ｈ Ｃｏｍｍｕｎｉｔａｔｉｏｎ，２００６，４８：１１６２—１１８１． 【８】Ｈｅ Ｌ，Ｌｅｃｈ Ｍ，Ｍａｄｄａｇｅ Ｎ，Ａｌｌｅｎ Ｎ．Ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｓｐｅｅｃｈ ｏｆ ｐａｒｅｎｔｓ ｏｆ ｄｅｐｒｅｓｓｅｄ ａｄｏｌｅｓｃｅｎｔｓ 】． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ 【２】罗跃嘉，吴健辉．情绪的心理控制与认知研究策略［Ｊ】．西 南师范大学学报（人文社会科学版），２００５，３１（２）：２６．２９． 【３】刘丽嫒，严家明．一种孤立词语音识别的实现方法及改 进【Ｊ］．现代电子技术，２０１０，１６：１０９—１１２． Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ ａｎｄ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＣＢＢＥ ２００９）．Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，Ｊｕｎｅ １１－１３，２００９，１－４． ［９】Ｅ Ｂｕｒｋｈａｒｄｔ，Ａ．Ｐａｅｓｃｈｋｅ，Ｍ．Ｒｏｌｆｅｓ，Ｗ Ｓｅｎｄｌｍｅｉｅｒ，Ｂ． ［４］袁正午，肖旺辉．改进的混合ＭＦＣＣ语音识别算法研究 【Ｊ】．计算机工程与应用，２００９，４５（３３）：１０８．１ １０． 【５】Ｄｏｂ・ｓｕｋ Ｋｉｍ，Ｓｏｏ－Ｙｏｎｇ Ｌｅｅ，Ｒｈｅｅ Ｍ．Ｋｉｌ．Ａｕｄｉｔｏｒｙ ｐｒｏｃｅｓｓｉｎｇ ｏｆ ｓｐｅｅｃｈ ｓｉｇｎａｌ ｆｏｒ ｒｏｂｕｓｔ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ Ｗｅｉｓｓ．Ａ ａｔｄａｂａｓｅ ｏｆＧｅｒｍａｎ ｅｍｏｔｉｏｎａｌ ｓｐｅｅｃｈ【Ｊ】．Ｐｒｏｅ． ｎｔｅｒＩｐｅｅｃｅｈ，２００５：１５１７—１５２０． 【ｌ０】ｗ Ｍ．Ｃｈｍｐｂｅｌｌ，Ｊ．Ｐ．ＣａｍｐｅＵ，Ｄ．Ａ．Ｒｅｙｎｏｌｄｓ，Ｅ． Ｓｉｎｇｅｒ，Ｐ．Ａ．Ｔｏｒｒｅｓ－Ｃａｒｒａｓｑｕｉｌｌｏ．．Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｉｎ ｒｅａｌ－ｗｏｒｌｄ ｎｏｉｓｙ ｅｎｖｉｒｒｏｍｅｎｔｓ［Ｊ］．ＩＥＥＥ Ｔｒａｓｎｓｃｔａｉｏｎｓ ＳｐｅｅｃｈａｎｄＡｕｄｉｏＰｒｏｃｅｓｓｉｎｇ，１９９９，７（１）：５５—５８． ［６】Ｙｉｎｇ Ｓｕｎ，Ｘｕｅｙｉｎｇ Ｚｈａｎｇ．Ａ Ｓｔｕｄｙ ｏｆ Ｚｅｒｏ・Ｃｒｏｓｓｉｎｇｓ ｗｉｔｈ Ｐｅａｋ－Ａｍｐｌｉｔｕｄｅｓ ｉｎ Ｓｐｅｅｃｈ Ｅｍｏｔｉｏｎ Ｃｌａｓｓｉｉｃａｔｉｏｎ ｆｆｏｒ ｓｐｅａｋｅｒ ａｎｄ ｌｎｇｕａｇｅ ｒａｅｃｏｇｎｉｉｔｏｎ【Ｊ】．Ｃｏｍｐｕｔｅ￣ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ，２００６，２０：２１０－２２９． ［１１】Ｍｏｈａｍｍａｄ Ｓｈａｍｉ，Ｗｅｍｅｒ Ｖｅｒｈｌｓｔ．Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｈｅｔ ｒｏｂｕｎｅｓｓ ｏｆ ｅｘｉｓｔｎｇ ｓｕｐｅｒｉｖｉｓｅｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ 【Ｃ】．Ｔｈｅ Ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｅｒｖａｓｉｖｅ Ｃｏｍｐｕｔｉｎｇ，ｓｉｎａｇｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｈａｒｂｉｎ， ａｐｐｒｏａｃｈｅｓ ｔｏ ｈｅ ｔｃｌａｓｓｉｉｆｃａｔｉｏｎ ｏｆ ｅｍｏｔｉｏｎｓ ｉｎ ｓｐｅｅｃｈ【Ｊ】． Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，２００７，４９：２０１．２１２． Ｃｈｉｎａ，Ｓｅｐ．１７．１９，２０１０：３２８—３３１．