语音合成说话毕业论文

语音识别技术研究让人更加方便地享受到更多的社会信息资源和现代化服务，对任何事都能够通过语音交互的方式。 我整理了浅谈语音识别技术论文，欢迎阅读!

语音识别技术概述

作者：刘钰 马艳丽 董蓓蓓

摘要：本文简要介绍了语音识别技术理论基础及分类方式，所采用的关键技术以及所面临的困难与挑战，最后讨论了语音识别技术的 发展 前景和应用。

关键词：语音识别;特征提取;模式匹配;模型训练

Abstract:This text briefly introduces the theoretical basis of the speech-identification technology,its mode of classification,the adopted key technique and the difficulties and challenges it have to developing prospect ion and application of the speech-identification technology are discussed in the last part.

Keywords:Speech identification;Character Pick-up;Mode matching;Model training

一、语音识别技术的理论基础

语音识别技术：是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高级技术。语音识别以语音为研究对象，它是语音信号处理的一个重要研究方向，是模式识别的一个分支，涉及到生 理学 、心理学、语言学、 计算 机 科学 以及信号处理等诸多领域，甚至还涉及到人的体态语言(如人在说话时的表情、手势等行为动作可帮助对方理解)，其最终目标是实现人与机器进行 自然 语言通信。

不同的语音识别系统，虽然具体实现细节有所不同，但所采用的基本技术相似，一个典型语音识别系统主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。此外，还涉及到语音识别单元的选取。

(一) 语音识别单元的选取

选择识别单元是语音识别研究的第一步。语音识别单元有单词(句)、音节和音素三种，具体选择哪一种，由具体的研究任务决定。

单词(句)单元广泛应用于中小词汇语音识别系统，但不适合大词汇系统，原因在于模型库太庞大，训练模型任务繁重，模型匹配算法复杂，难以满足实时性要求。

音节单元多见于汉语语音识别，主要因为汉语是单音节结构的语言，而 英语 是多音节，并且汉语虽然有大约1300个音节，但若不考虑声调，约有408个无调音节，数量相对较少。因此，对于中、大词汇量汉语语音识别系统来说，以音节为识别单元基本是可行的。

音素单元以前多见于英语语音识别的研究中，但目前中、大词汇量汉语语音识别系统也在越来越多地采用。原因在于汉语音节仅由声母(包括零声母有22个)和韵母(共有28个)构成，且声韵母声学特性相差很大。实际应用中常把声母依后续韵母的不同而构成细化声母，这样虽然增加了模型数目，但提高了易混淆音节的区分能力。由于协同发音的影响，音素单元不稳定，所以如何获得稳定的音素单元，还有待研究。

(二) 特征参数提取技术

语音信号中含有丰富的信息，但如何从中提取出对语音识别有用的信息呢?特征提取就是完成这项工作，它对语音信号进行分析处理，去除对语音识别无关紧要的冗余信息，获得影响语音识别的重要信息。对于非特定人语音识别来讲，希望特征参数尽可能多的反映语义信息，尽量减少说话人的个人信息(对特定人语音识别来讲，则相反)。从信息论角度讲，这是信息压缩的过程。

线性预测(LP)分析技术是目前应用广泛的特征参数提取技术，许多成功的应用系统都采用基于LP技术提取的倒谱参数。但线性预测模型是纯数学模型，没有考虑人类听觉系统对语音的处理特点。

Mel参数和基于感知线性预测(PLP)分析提取的感知线性预测倒谱，在一定程度上模拟了人耳对语音的处理特点，应用了人耳听觉感知方面的一些研究成果。实验证明，采用这种技术，语音识别系统的性能有一定提高。

也有研究者尝试把小波分析技术应用于特征提取，但目前性能难以与上述技术相比，有待进一步研究。

(三)模式匹配及模型训练技术

模型训练是指按照一定的准则，从大量已知模式中获取表征该模式本质特征的模型参数，而模式匹配则是根据一定准则，使未知模式与模型库中的某一个模型获得最佳匹配。

语音识别所应用的模式匹配和模型训练技术主要有动态时间归正技术(DTW)、隐马尔可夫模型(HMM)和人工神经元 网络 (ANN)。

DTW是较早的一种模式匹配和模型训练技术，它应用动态规划方法成功解决了语音信号特征参数序列比较时时长不等的难题，在孤立词语音识别中获得了良好性能。但因其不适合连续语音大词汇量语音识别系统，目前已被HMM模型和ANN替代。

HMM模型是语音信号时变特征的有参表示法。它由相互关联的两个随机过程共同描述信号的统计特性，其中一个是隐蔽的(不可观测的)具有有限状态的Markor链，另一个是与Markor链的每一状态相关联的观察矢量的随机过程(可观测的)。隐蔽Markor链的特征要靠可观测到的信号特征揭示。这样，语音等时变信号某一段的特征就由对应状态观察符号的随机过程描述，而信号随时间的变化由隐蔽Markor链的转移概率描述。模型参数包括HMM拓扑结构、状态转移概率及描述观察符号统计特性的一组随机函数。按照随机函数的特点，HMM模型可分为离散隐马尔可夫模型(采用离散概率密度函数，简称DHMM)和连续隐马尔可夫模型(采用连续概率密度函数，简称CHMM)以及半连续隐马尔可夫模型(SCHMM，集DHMM和CHMM特点)。一般来讲，在训练数据足够的，CHMM优于DHMM和SCHMM。HMM模型的训练和识别都已研究出有效的算法，并不断被完善，以增强HMM模型的鲁棒性。

人工神经元 网络 在语音识别中的 应用是现在研究的又一 热点。ANN本质上是一个自适应非线性动力学系统，模拟了人类神经元活动的原理，具有自学、联想、对比、推理和概括能力。这些能力是HMM模型不具备的，但ANN又不个有HMM模型的动态时间归正性能。因此，现在已有人研究如何把二者的优点有机结合起来，从而提高整个模型的鲁棒性。

二、语音识别的困难与对策

目前，语音识别方面的困难主要表现在：

(一)语音识别系统的适应性差，主要体现在对环境依赖性强，即在某种环境下采集到的语音训练系统只能在这种环境下应用，否则系统性能将急剧下降;另外一个问题是对用户的错误输入不能正确响应，使用不方便。

(二)高噪声环境下语音识别进展困难，因为此时人的发音变化很大，像声音变高，语速变慢，音调及共振峰变化等等，这就是所谓Lombard效应，必须寻找新的信号分析处理方法。

(三)语言学、生 理学 、心理学方面的研究成果已有不少，但如何把这些知识量化、建模并用于语音识别，还需研究。而语言模型、语法及词法模型在中、大词汇量连续语音识别中是非常重要的。

(四)我们对人类的听觉理解、知识积累和学习机制以及大脑神经系统的控制机理等分面的认识还很不清楚;其次，把这方面的现有成果用于语音识别，还有一个艰难的过程。

(五)语音识别系统从实验室演示系统到商品的转化过程中还有许多具体问题需要解决，识别速度、拒识问题以及关键词(句)检测技术等等技术细节要解决。

三、语音识别技术的前景和应用

语音识别技术 发展 到今天，特别是中小词汇量非特定人语音识别系统识别精度已经大于98%，对特定人语音识别系统的识别精度就更高。这些技术已经能够满足通常应用的要求。由于大规模集成电路技术的发展，这些复杂的语音识别系统也已经完全可以制成专用芯片，大量生产。在西方 经济 发达国家，大量的语音识别产品已经进入市场和服务领域。一些用户交机、电话机、手机已经包含了语音识别拨号功能，还有语音记事本、语音智能玩具等产品也包括语音识别与语音合成功能。人们可以通过电话网络用语音识别口语对话系统查询有关的机票、 旅游 、银行信息，并且取得很好的结果。

语音识别是一门交叉学科，语音识别正逐步成为信息技术中人机接口的关键技术，语音识别技术与语音合成技术结合使人们能够甩掉键盘，通过语音命令进行操作。语音技术的应用已经成为一个具有竞争性的新兴高技术产业。

参考 文献 ：

[1]科大讯飞语音识别技术专栏. 语音识别产业的新发展. 企业 专栏.通讯世界,:(总l12期)

[2]任天平,门茂深.语音识别技术应用的进展.科技广场.河南科技,

[3]俞铁城.科大讯飞语音识别技术专栏.语音识别的发展现状.企业专栏.通讯世界, (总122期)

[4]陈尚勤等.近代语音识别.西安: 电子 科技大学出版社,1991

[5]王炳锡等.实用语音识别基础.Practical Fundamentals of Speech Recognition.北京:国防 工业 出版社,2005

[6](美)L.罗宾纳.语音识别基本原理.北京:清华大学出版社,1999

点击下页还有更多>>>浅谈语音识别技术论文

这篇博客的主要内容是对语音合成 （text to speech）的背景知识进行介绍。 希望可以让读者通俗易懂的了解语音合成的工作原理， 并对为了理解state-of-the-art text to speech 的算法做基础。这个简介主要基于这篇论文 “Wavenet: a generative model for raw audio”的附录介绍的。 论文链接如下： , 以及stanford CS224S的课程， 链接如下 语音合成是通过文字人工生成人类声音， 也可以说语音生成是给定一段文字去生成对应的人类读音。 这里声音是一个连续的模拟的信号。而合成过程是通过计算机， 数字信号去模拟。 这里就需要数字信号处理模拟信号信息，详细内容可参考 [1]。 图片1， 就是一个例子用来表示人类声音的信号图。 这里横轴是时间， 纵轴是声音幅度大小。声音有三个重要的指标， 振幅（amplitude） , 周期（period） 和 频率（frequency） 。 振幅指的是波的高低幅度，表示声音的强弱，周期和频率互为倒数的关系， 用来表示两个波之间的时间长度，或者每秒震动的次数。  而声音合成是根据声波的特点， 用数字的方式去生成类似人声的频率和振幅， 即音频的数字化。了解了音频的数字化，也就知道了我们要生成的目标函数。 音频的数字化主要有三个步骤。 取样（sampling） ：在音频数字化的过程，采样是指一个固定的频率对音频信号进行采样， 采样的频率越高， 对应的音频数据的保真度就越好。 当然， 数据量越大，需要的内存也就越大。 如果想完全无损采样， 需要使用Nyquist sampling frequency， 就是原音频的频率2倍。 量化 （quantization） ： 采样的信号都要进行量化， 把信号的幅度变成有限的离散数值。比如从0 到 1， 只有 四个量化值可以用0， ， ， 的话， 量化就是选择最近的量化值来表示。 编码 （coding ）：编码就是把每个数值用二进制的方式表示， 比如上面的例子， 就可以用2bit 二进制表示, 00, 01, 10, 11。 这样的数值用来保存在计算机上。 采样频率和采样量化级数是数字化声音的两个主要指标，直接影响声音的效果。 对于语音合成也是同样， 生成更高的采样频率和更多多的量化级数（比如16 bit）, 会产生更真实的声音。  通常有三个采样频率标准 1. 采样， 用于高品质CD 音乐 2. 采样， 用于语音通话， 中品质音乐 3 . 采样， 用于低品质声音。 而量化标准一般有8位字长（256阶）低品质量化 和16位字长（65536阶）高品质量化。 还有一个重要参数就是通道（channel）, 一次只采样一个声音波形为单通道， 一次采样多个声音波形就是多通道。 所以在语音合成的时候，产生的数据量是 数据量=采样频率* 量化位数*声道数 ， 单位是bit/s。 一般声道数都假设为1.。 采样率和量化位数都是语音合成里的重要指标，也就是设计好的神经网络1秒钟必须生成的数据量 。 文本分析就是把文字转成类似音标的东西。 比如下图就是一个文本分析，用来分析 “PG&E will file schedules on April 20. ” 文本分析主要有四个步骤， 文字的规范化， 语音分析， 还有韵律分析。 下面一一道来。  文本分析首先是要确认单词和句子的结束。 空格会被用来当做隔词符. 句子的结束一般用标点符号来确定， 比如问号和感叹号 （？！）, 但是句号有的时候要特别处理。 因为有些单词的缩写也包含句号， 比如 str. "My place on Main Str.  is around the corner". 这些特别情况一般都会采取规则（rule）的方式过滤掉。 接下来 是把非文字信息变成对应的文字， 比如句子中里有日期， 电话号码， 或者其他阿拉伯数字和符号。 这里就举个例子， 比如， I was born April 14. 就要变成， I was born April fourteen.  这个过程其实非常繁琐，现实文字中充满了 缩写，比如CS,  拼写错误， 网络用语， tmr --> tomorrow. 解决方式还是主要依靠rule based method， 建立各种各样的判断关系来转变。 语音分析就是把每个单词中的发音单词标出来， 比如Fig. 3 中的P, 就对应p和iy, 作为发音。 这个时候也很容易发现，发音的音标和对应的字母 不是一一对应的关系，反而需要音标去对齐 （allignment）。 这个对齐问题很经典， 可以用很多机器学习的方法去解决， 比如Expectation–maximization algorithm. 韵律分析就是英语里的语音语调， 汉语中的抑扬顿挫。 我们还是以英语为例， 韵律分析主要包含了： 重音 (Accent)，边界 (boundaries),  音长 (duration)，主频率 (F0). 重音（Accent） 就是指哪个音节发生重一点。 对于一个句子或者一个单词都有重音。 单词的重音一般都会标出来，英语语法里面有学过， 比如banana 这个单词， 第二个音节就是重音。 而对于句子而言，一样有的单词会重音，有的单词会发轻音。 一般有新内容的名词， 动词， 或者形容词会做重音处理。 比如下面的英语句子， surprise 就会被重音了， 而句子的重音点也会落到单词的重音上， 第二个音节rised, 就被重音啦。 英语的重音规则是一套英语语法，读者可以自行百度搜索。 I’m a little sur prised to hear it cha racterized as up beat . 边界 （Boundaries） 就是用来判断声调的边界的。 一般都是一个短语结束后，有个语调的边界。 比如下面的句子， For language, 就有一个边界， 而I 后面也是一个边界. For language, I , the author of the blog, like Chinese. 音长（Duration） 就是每个音节的发声长度。 这个通俗易懂。 NLP 里可以假定每个音节单词长度相同都是 100ms, 或者根据英语语法， 动词， 形容词之类的去确定。 也可以通过大量的数据集去寻找规律。 主频率 （F0 ）就是声音的主频率。  应该说做傅里叶转换后， 值 (magnitude) 最大的那个。 也是人耳听到声音认定的频率。一个成年人的声音主频率在 100-300Hz 之间。 这个值可以用 线性回归来预测， 机器学习的方法预测也可以。一般会认为，人的声音频率是连续变化的，而且一个短语说完频率是下降趋势。 文本分析就介绍完了，这个方向比较偏语言学， 传统上是语言学家的研究方向，但是随着人工智能的兴起，这些feature 已经不用人为设计了，可以用端到端学习的方法来解决。 比如谷歌的文章 TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS 就解救了我们。 这个部分就比较像我们算法工程师的工作内容了。 在未来的博客里， 会详细介绍如何用Wavenet 和WaveRNN 来实现这一步骤的。 今天这个博客就是简介一下算法。 这里说所谓的waveform synthesis 就是用这些 语言特征值（text features）去生成对应的声波，也就是生成前文所说的采样频率 和 振幅大小（对应的数字信号）。 这里面主要有两个算法。 串接合成（concatenative speech synthesis） ： 这个方法呢， 就是把记录下来的音节拼在一起来组成一句话，在通过调整语音语调让它听起来自然些。 比较有名的有双音节拼接（Diphone Synthesis） 和单音节拼接（Unit Selection Synthesis）。这个方法比较繁琐， 需要对音节进行对齐（alignment）， 调整音节的长短之类的。 参数合成 （Parametric Synthesis） ： 这个方法呢， 需要的内存比较小，是通过统计的方法来生成对应的声音。 模型一般有隐马尔科夫模型 （HMM），还有最近提出的神经网络算法Wavenet, WaveRNN.  对于隐马尔科夫模型的算法， 一般都会生成梅尔频率倒谱系数 （MFCC），这个是声音的特征值。 感兴趣的可以参考这篇博客 去了解 MFCC。 对于神经网络的算法来说， 一般都是生成256 个 quantized values 基于softmax 的分类器， 对应 声音的 256 个量化值。 WaveRNN 和wavenet 就是用这种方法生成的。 下面是我学习语音合成的一些资料， 其中stanford cs224s 是强力推荐的，但是这个讲义讲的逻辑不是很清楚， 要反复看才会懂。 UCSB Digital Speech Processing Course 课程, 声音信号处理的基础。 建议读一遍， 链接如下，  Stanford CS224S WaveRNN,  音频的数字化，

基于单片机的语音录放系统设计关键词: 单片机;数字语音电路; ISD1490;波形存储法 摘要：设计了基于单片机的语音录放系统.该系统以 MCS89C51 单片机为核心器件, 控制四片 ISD1490 语音芯片工作, 每个语音芯片配以简单的外围电路自成独立的语音录放电路, 各个语音录放电路的录放功能及录放时间由单片机来控制, 编写不同的程序可实现不同的录放效果。 前沿用磁带记录、 存储、 还原模拟语音信号的方法已有很长的历史, 基于这一方法的电子产品也到处可见,且这些产品的体积都很大,在使用的范围上受到了一定的限制. 单片机语音录放系统就是为解决这一问题而设计的.单片机语音录放系统是以数字电路为基础, 利用数字语音电路来实现语音信号的记录、 存储、 还原等任务. 数字语音电路是一种集语音合成技术、 大规模集成电路技术以及微控制器技术为一体的并在近十几年迅速发展起来的一种新型技术.语音集成电路与微处理器相结合, 具有体积小、 扩展方便等特点, 具有广泛的发展前景。1 固体录音机原理 语音数字处理方法可以分为规则合成法、 参数合成法和波形存储法三类, 前两类复杂且难度大, 目前使用较少, 波形存储法是普遍采用的一种.波形存储法的技术基础是A / D、 D/ A 转换技术和多种的编码、 解码算法.图1 说明了波形存储法的语音数字处理、 记录及存储过程:首先用麦克风取得语音的电模拟量信号, 经适当放大后, A/ D转换器以一定的频率对其进行采样并转换为二进制数字量,并实时地对其进行编码,实现对实时数据的压缩以减少数据量,然后送入数据存储器中储存.图一 语音记录过程图2 是数字语音还原的基本过程:按一定顺序从数据存储器中读出数据, 以对应的算法进行解码,合成为语音数据,这是一种实时的数据解压过程,恢复的语音数据送入D/ A 转换器还原成语音的模拟信号输出.图二 语音回放过程2. 1 ISD1490 基本录放电路 ISD1490 语音芯片的内部已以 EEPROM 作为数据存储器,因此无需电池即能保存数据10 年以上,擦除和写入均可在片内自动完成而无需外部设备. 此外, 其片内还含有时钟振荡器、 话筒扩大器自动增益控制电路、 抗干扰滤波器、 音频功率放大器等.因此它自身已具备了语音录放系统所需的全部基本电路, 只需配备一只驻极体话筒、 一只喇叭、 两只按钮、 一个电源及少量电阻电容,就可以构成一个基本的录放系统(如图3 所示) .图 3 ISD1490 基本的语音录放系统该芯片具有下列显著特点:外围元件少, 操作方便;零功率信息存储, 无需备用电源; 信息能可靠保存10 年以上,可重复录音10 万次;语音固化无需编程开发设备; 通过地址的选址可以分段录放,因此可以独立存放汉字语音,构成语音库;具有自动省电模式,在非录放状态时自动省电.有单一电源供电( + 5v) ;静态电流典型值 0. 5uA,最大值2uA;工作电流典型值15mA,最大值30mA. 2. 2 单片机语音录放系统本电路使用了四片 ISD1490, 每片都如图 3 所示接成基本的录放电路,最后用单片机将四个基本录放电路连接成一个整体. 因为每片录音芯片可录音 90 秒,四片共可录音 360 秒, 用单片微处理器 MCS89C51 进行控制, 当录音时间在 90秒之内时,只用 1# 芯片, 如录音时间超过90 秒时,启用2# 芯片, 在录音时间超过 180 秒时, 启用3# 芯片, 这样,用微处理器来完成定时和芯片自动选择,就可实现360 秒内任何时间长度 的语音录制与回放, 从而实现录音放音功能. 系统结构如图4.图 4 单片机语音录放系统结构图3 系统的软件设计 本系统软件设计较为简单, 主要是定时选片控制,每片语音电路的地址端均接地,录放控制端受MCS89C51 控制, 根据微处理器的定时, 当需要某一芯片录放时, 单片机相应的控制端起作用,即启动语音电路工作,部分程序框图如图5 所示.图 5 部分程序框图4 结束语 单片机语音录放系统解决了传统录放机体积大、 扩展不方便的缺点.本系统所设计的电路可实现360 秒内任意长时间的语音录放. 在此基础上对硬件和软件稍作改动, 便可完成其他的功能,如语音报警器,智能语音控制器等,为各种智能仪器仪表扩展语音功能奠定了基础, 具有广泛的发展前景。