參考連接： https://my.oschina.net/jamesju/blog/116151 http://blog.csdn.net/jojozhangju/article/details/18720085 http://www.ithao123.cn/content-8393537.html

1，孤立詞識別系統(tǒng)

1.1 簡介

在本系統(tǒng)中我們將要實(shí)現(xiàn)三個(gè)詞的識別系統(tǒng)，詞匯集為：{brightness, channel,color}。

1.2 搭建步驟

A：創(chuàng)建語料庫，brightness, channel,color各錄制5次

B：聲學(xué)分析，把wavform的聲音文件轉(zhuǎn)換為mfcc格式

C：模型定義，為詞典里面的每一個(gè)詞建立一個(gè)HMM原型

D：模型訓(xùn)練，HMM模型初始化和迭代

E：問題定義，即語法定義

F：對測試結(jié)合進(jìn)行識別

G：評測

2，搭建工作環(huán)境

2.1 創(chuàng)建如下目錄結(jié)構(gòu)

(1) data/:存儲(chǔ)訓(xùn)練和測試數(shù)據(jù)（語音文件、語音標(biāo)簽、特征矢量文件）。子目錄：data/train/lab data/train/wav data/train/mfcc data/test/lab data/test/wav data/test/mfcc

(2) analysis/: 存儲(chǔ)聲學(xué)分析步驟的文件

(3) training/: 存儲(chǔ)初始化和訓(xùn)練步驟的文件

(4) model/: 存儲(chǔ)識別系統(tǒng)的模型(HMMs)的相關(guān)文件。子目錄：model/PRoto

(5) def/: 存儲(chǔ)任務(wù)定義的相關(guān)文件

(6) test:/ 存儲(chǔ)測試相關(guān)文件

2.2 標(biāo)準(zhǔn)HTK工具選項(xiàng)

一些標(biāo)準(zhǔn)選項(xiàng)對于每個(gè)HTK工具都是通用的。

(1) -A: 顯示命令行參數(shù)

(2) -D: 顯示配置設(shè)置

(3) -T 1: 顯示算法動(dòng)作的相關(guān)信息

完整的選項(xiàng)列表請參見：htkbook

2.3 語料庫的準(zhǔn)備

我們來錄制{brightness, channel,color}這個(gè)三個(gè)詞的讀音。同時(shí)每個(gè)錄音都要進(jìn)行標(biāo)注，也就是有一個(gè)文本文件與其對應(yīng)描述它的內(nèi)容。

2.3.1 錄音

將上述三個(gè)詞各錄制5次，保存為wav格式。并存放在 data/train/wav/brightness data/train/wav/channel data/train/wav/channel中。

備注：wav文件通過訊飛tts工具生成，格式為16Khz，16位，1聲道。 看到其他資料是通過HSLab HTK工具，但是可能因?yàn)楸緳C(jī)少裝了一些庫，運(yùn)行不起來。

2.3.2 標(biāo)注

用相關(guān)的語音處理軟件進(jìn)行標(biāo)注。并把標(biāo)注的文件放到 data/train/lab/brightness data/train/lab/brightness data/train/lab/color中。

備注：本文中標(biāo)注使用的軟件是praat，由于htk中標(biāo)注的時(shí)間單位是100ns，用praat獲取到秒的時(shí)間后乘2的7次方。標(biāo)注文件中具體內(nèi)容如下：

2.4 聲學(xué)分析

從原始的聲音文件轉(zhuǎn)換為特征矢量文件：

需要?jiǎng)?chuàng)建的文件：

(1) analysis.conf

創(chuàng)建目錄：training/

說明：配置文件，說明了特征矢量的特性

內(nèi)容：

注：參數(shù)意義詳見：htkbook

(2) targetlist_train.txt

創(chuàng)建目錄：training/

說明：列出源文件和目的的文件的位置，即聲音文件和特征文件

內(nèi)容：

指令：Hcopy -A -D -C training/analysis.conf -S training/targetlist_train.txt

運(yùn)行結(jié)果：

會(huì)看到生成的文件：

2.5 HMM的定義

需要?jiǎng)?chuàng)建的文件：hmm_brightness hmm_channel hmm_color hmm_silb hmm_sile

創(chuàng)建目錄：model/proto

說明：用來定義單詞的HMM模型

內(nèi)容：

hmm_brightness:

備注：hmm_channel hmm_color同hmm_brightness，不過最上面的名字要分別換成channel和color

hmm_silb:

備注：hmm_sile同hmm_silb，只修改名字就好。

2.6 HMM訓(xùn)練

2.6.1 初始化

需要?jiǎng)?chuàng)建的文件：

(1) trainlist_brightness.txt trainlist_channel.txt trainlist_color.txt trainlist_silb.txt trainlist_sile.txt

創(chuàng)建目錄：training/

說明：特征矢量文件路徑

內(nèi)容：

trainlist_brightness.txt:

trainlist_channel.txt：

trainlist_color.txt：

trainlist_silb.txt:

trainlist_sile.txt:

(2) hmm0目錄

創(chuàng)建目錄：model/

說明：初始化后的HMM模型存放的位置

指令：

初始化之后我們可以再hmm0文件夾中看到：

2.6.2 訓(xùn)練

需要?jiǎng)?chuàng)建的目錄：hmm1 hmm2 hmm3

創(chuàng)建位置： model/

每次，HRest迭代（即當(dāng)前再估計(jì)迭代中的迭代）顯示在屏幕上，通過change

量度標(biāo)示收斂性。一旦這個(gè)量度值不再從一個(gè)HRest迭代到下個(gè)迭代減少（絕對值），過程就該停止了，迭代一般2-3次就可以了。

指令：

2.7 任務(wù)定義

2.7.1 建立語法規(guī)則和字典

需要?jiǎng)?chuàng)建的文件：

(1) gram.txt

創(chuàng)建的目錄：def

說明：在使用我們的單詞模型之前，要定義識別器的基本結(jié)構(gòu)（任務(wù)語法）。我們首先定義最簡單的語法：開始停頓、接著簡單單詞（這里指brightness, channel, color）、結(jié)束停頓。

內(nèi)容：

備注：用括號{}括住START_SIL和END_SIL表示其可不存在或者重復(fù)多次（允許在單詞之前或之后長時(shí)間的停頓，或者根本沒有停頓）。括號[]括住$WORD表示零個(gè)或一次出現(xiàn)（如果沒有單詞，可能只是識別停頓）。

(2) dict.txt

創(chuàng)建的目錄：def

說明：系統(tǒng)要知道HMM模型與語法變量BRIGHTNESS、CHANNEL、COLOR、START_SIL和END_SIL的對應(yīng)關(guān)系。這種信息存儲(chǔ)在文本文件中，命名為任務(wù)字典。

內(nèi)容：

2.7.2 網(wǎng)絡(luò)

建立任務(wù)網(wǎng)絡(luò)：

生成的文件：net.slf

命令：Hparse -A -D -T 1 def/gram.txt def/net.slf

運(yùn)行結(jié)果：

2.8 識別

2.8.1 準(zhǔn)備測試數(shù)據(jù)

需要準(zhǔn)備的文件：

(1) hmmlist.txt

創(chuàng)建的目錄：test/

說明：列出了要使用的模型的名字(brightness, channel,color,silb,sile) ，每個(gè)一行，最后要加一個(gè)空行。

內(nèi)容：

(2) targetlist_test.txt

創(chuàng)建的目錄：test/

內(nèi)容：

命令：

運(yùn)行結(jié)果：

2.8.2 識別

基本方法：

需要?jiǎng)?chuàng)建的文件：

(1) result文件夾

(2) reco.mlf

創(chuàng)建的目錄：result/

初始內(nèi)容：

(3) hmmsdef.mmf

創(chuàng)建的目錄：test

命令等同于：-H model/hmm3/hmm_brightness -H model/hmm3/hmm_channel -H model/hmm3/hmm_color -H model/hmm_silb -H model/hmm3/hmm_sile

內(nèi)容：hmm3中的所有文件的內(nèi)容一起粘貼。

注意：只保留一個(gè)”~O”

命令：

運(yùn)行結(jié)果：

結(jié)果會(huì)在reco.mlf中顯示：

交互方式：

需要?jiǎng)?chuàng)建的文件：

directin.conf

創(chuàng)建的目錄：test

說明：是Hvite的配置文件，允許使用直接音頻輸入，為了允許從輸入信號中直接提取聲學(xué)系數(shù)，這個(gè)文件必須包含前面訓(xùn)練數(shù)據(jù)使用的聲學(xué)分析配置參數(shù)。

內(nèi)容：

指令：

運(yùn)行結(jié)果：

備注：該結(jié)果中出現(xiàn)錯(cuò)誤，是由于麥克風(fēng)沒有聲音。

2.9 性能測試

2.9.1 主標(biāo)簽文件

在性能評測之前，我們需要?jiǎng)?chuàng)建兩個(gè)文件，命名為主標(biāo)簽文件，擴(kuò)展名是.mlf：

第一個(gè)文件包含整個(gè)訓(xùn)練集的正確副本，即是通過手工標(biāo)注的副本。把ref.mlf記作參考副本。

第二個(gè)文件包含整個(gè)測試集的識別副本，即識別器產(chǎn)生的假設(shè)副本。把reco.mlf記為識別副本。

通過比較每項(xiàng)數(shù)據(jù)的參考副本和識別假設(shè)，進(jìn)行性能評測。

內(nèi)容：

ref.mlf：

需要?jiǎng)?chuàng)建的文件：testlist.txt

說明：測試路徑

內(nèi)容：

命令：

運(yùn)行結(jié)果：

運(yùn)行之后會(huì)看到reco.mlf中：

9.2 錯(cuò)誤率

需要?jiǎng)?chuàng)建的文件：

labellist.txt

說明：出現(xiàn)在副本文件中的標(biāo)簽列表

創(chuàng)建的目錄：result

內(nèi)容：

results.txt

創(chuàng)建的目錄：result

說明：存放錯(cuò)誤率結(jié)果

命令：

最后顯示結(jié)果為：

備注： 第一行（SENT）給出句子的識別率（%Correct=100.00），第二行（WORD）給出的是單詞的識別率（%Corr=100.00）。上圖中，這兩個(gè)比率是相同的，這是因?yàn)槲覀兊娜蝿?wù)語法僅使用一個(gè)單詞（除了停頓之外）作為句子。這是孤立詞識別任務(wù)。這里只要考慮第一行（SENT）就夠了。H=9 給出的是測試數(shù)據(jù)被正確識別的數(shù)量，S=0，表示識別相反的數(shù)量。N=0表示測試數(shù)據(jù)總數(shù)。

最后，附工作文件夾下載地址： http://download.csdn.net/detail/everything_at_once/9755627