BlogJava-我爱我的家园!-文章分类-音频开发

在C#中使用微软AGENT之TTS[1]

死神 — Thu, 04 Sep 2008 08:42:00 GMT

微软AGENT简介

微软Agent API能够提供卡通角色的显示，另外，它还可以支持语音识别，因此应用软件可以对语音命令作出反应，而卡通角色可以通过合成的语音、录制好的音频信号或文字对命令作出反应。

使用微软AGENT的要求

要使用该技术，我们必须有下面的组件：

·微软Agent核心组件

·微软Agent中的卡通角色━━Genie、Merlin、Robby和Peedy

·微软Speech API 4.0a运行时间库

·微软语音识别引擎

·Lernout和Hauspie文字-语音引擎

上面的所有这些组件都可以从http://microsoft.com/products/msagent/downloads.htm下载。

语音技术简介

文字-语音转换指的是计算机将文字信息转换为合成语音进行输出，语音识别是指计算机能够识别出说话者所说的话，接受说话者的命令和输入的数据。

语音识别和文字-语音转换都需要用到相关的引擎，几乎所有的语音识别引擎都是将输入的语音数据转换为与特定引擎相关的音素，然后这些音素被转换为应用程序能够使用的文字。

文本-语音转换的二种方式：

1、合成文本-语音转换

2、连续文本-语音转换

合成文本-语音转换方式：

在合成的发音方式中，引擎处理每个单词，并产生该单词的发音音素，然后这些音素被转入一个复杂的算法中，模仿人类的发声方式，生成语音。

连续文本-语音转换方式：

在连续文本-语音转换方式中，引擎对文本信息进行处理，从一个预先录制好的语音库中找出句子、单词和短语，在这种方式中，生成的语音是连续的。

语音应用程序的编程接口

微软语音应用程序编程接口在Win32（Windows 95、Windows NT）下使用了OLE组件对象模式（COM）架构，微软的Agent架构在合成语音输出中使用了微软语音应用程序编程接口（SAPI），还使用SAPI支持语音输入（语音识别SR或文本-语音转换TTS）。微软的Agent定义了让应用程序访问其服务的接口，使得应用程序能够控制角色动画、支持用户输入事件，指定输出方式。

角色窗口

在微软Agent应用程序中，卡通角色是在它们各自的窗口中被显示的，这些窗口总是出现在Z轴顺序的最顶端。用户可以通过鼠标左键拖动角色移动角色所在的窗口，角色的图像随着指针而移动。

说话汽球圈

除了语音输出外，动画角色还支持以卡通类型说话汽球圈形式的文字字幕，角色说话时，所说的文字就出现在汽球圈儿中，当说完时，汽球圈也就不见了。

在互联网网页中使用微软AGENT

要在互联网网页中使用微软Agent服务，可以在网页中的或元素中使用HTML标记，指定控制的CLSID（类标识符），另外，还需要使用CODEBASE参数指定微软Agent的安装文件的位置和版本号。

我们可以使用Vbscript、Javascript和Jscript在互联网网页中使用微软Agent。

498)this.style.width=498;" border="0" />

图1

在.NET架构中使用微软AGENT

微软Agent不是以ActiveX控制DLL的形式提供的。要在.NET中使用它，可以使用由.NET框架SDK提供的AxImp.exe工具：

AxImp -->> ActiveX控制-Win窗体组合体生成器　

　 Syntax: AxImp [/? | [[/source] OCXName]]

Aximp agentctl.dll

上面的命令生成二个文件：AxAgentObjects.dll和AgentObjects.dll。通过使用这二个文件，我们就可以在.NET中使用Agent了。

C#中的微软Agent：

要在C#中使用微软Agent，我们必须在程序中添加二个DLL文件：AxAgentObjects.dll和AgentObjects.dll。加载动画角色的代码是相当简单的：

======================================================================================================================

AxAgent.Characters.Load("Genie",(object)"C:/Windows/Msagent/chars/GENIE.acs");

Character = AxAgent.Characters["Genie"];

file://将语言设置为美国英语

Character.LanguageID = 0x409;

file://该行代码显示角色

Character.Show(null);

让角色说话的代码如下所示：

　 Character.Speak ("Welcome you sir VISIT www.onlinecsharpteach.netfirms.com ",null);

下面我们来看一个例子：

The Example:

using System;

using System.Drawing;

using System.WinForms;

using AgentObjects;

public class Hello: Form

{

private System.ComponentModel.Container components;

private System.WinForms.Button button2;

private System.WinForms.Button button1;

private System.WinForms.TextBox textBox1;

private AxAgentObjects.AxAgent AxAgent;

private IAgentCtlCharacterEx Character;

public Hello()

{

InitializeComponent();

}

public static void Main(string[] args)

{

Application.Run(new Hello());

}

private void InitializeComponent()

{

this.components = new System.ComponentModel.Container();

this.button1 = new System.WinForms.Button();

this.button2 = new System.WinForms.Button();

this.textBox1 = new System.WinForms.TextBox();

this.AxAgent = new AxAgentObjects.AxAgent();

AxAgent.BeginInit();

button2.Click += new System.EventHandler(button2_Click);

button1.Location = new System.Drawing.Point(88, 208);

button1.BackColor =

(System.Drawing.Color)System.Drawing.Color.FromARGB((byte)255, (byte)128, (byte)128);

button1.Size = new System.Drawing.Size(152, 32);

button1.TabIndex = 1;

button1.Text = "Load character";

button2.Location = new System.Drawing.Point(120, 240);

button2.BackColor =

(System.Drawing.Color)System.Drawing.Color.FromARGB((byte)255, (byte)128, (byte)128);

button2.Size = new System.Drawing.Size(96, 24);

button2.TabIndex = 2;

button2.Text = "SPEAK";

textBox1.Location = new System.Drawing.Point(48, 8);

textBox1.Text = " ";

textBox1.Multiline = true;

textBox1.TabIndex = 0;

textBox1.Size = new System.Drawing.Size(248, 200);

textBox1.BackColor =

(System.Drawing.Color)System.Drawing.Color.FromARGB((byte)255, (byte)128, (byte)128);

this.Text = "MSAGENT DEMO";

this.AutoScaleBaseSize = new System.Drawing.Size(5, 13);

this.WindowState = System.WinForms.FormWindowState.Maximized;

this.BackColor =

(System.Drawing.Color)System.Drawing.Color.FromARGB((byte)255, (byte)192, (byte)192);

this.ClientSize = new System.Drawing.Size(344, 301);

this.Controls.Add(button2);

this.Controls.Add(button1);

this.Controls.Add(textBox1);

this.Controls.Add(AxAgent);

button1.Click += new System.EventHandler(button1_Click);

AxAgent.EndInit();

}

protected void button2_Click(object sender, System.EventArgs e)

{

if(textBox1.Text.Length == 0)

return;

Character.Speak(textBox1.Text, null);

}

protected void button1_Click(object sender, System.EventArgs e)

{

OpenFileDialog openFileDialog = new OpenFileDialog();

openFileDialog.AddExtension = true;

openFileDialog.Filter = "Microsoft Agent Characters (*.acs)|*.acs";

openFileDialog.FilterIndex = 1 ;

openFileDialog.RestoreDirectory = true ;

if(openFileDialog.ShowDialog() != DialogResult.OK)

return;

try { AxAgent.Characters.Unload("CharacterID"); }

catch { }

AxAgent.Characters.Load("CharacterID", (object)openFileDialog.FileName);

Character = AxAgent.Characters["CharacterID"];

Character.LanguageID = 0x409;

Character.Show(null);

Character.Play ("announce");

Character.Speak ("welcome you sir",null);

} }

输出：

498)this.style.width=498;" border="0" />

图2

498)this.style.width=498;" border="0" />

图3

结束语：

微软的Agent API提供了支持动画角色显示的服务，被配置为OLE Automation（COM）服务器时，它能够使多个被称为客户或客户端应用软件的应用程序同时托管或使用其动画、输入、输出服务。

死神 2008-09-04 16:42 发表评论

语音合成与识别技术在C#中的应用[1]

死神 — Thu, 04 Sep 2008 07:08:00 GMT

我们要想实现中文发音或中文语音识别，必需先安装微软的Speech Application SDK（SASDK），它的最新版本是 SAPI 5.1 他能够识别中、日、英三种语言，你可以在这里下载：http://www.microsoft.com/speech/download/sdk51/,需要安装这两个文件Speech SDK 5.1和5.1 Language Pack，其中5.1 Language Pack可以选择安装支持的语言。安装好以后，我们就可以开始进行语音程序的开发了。

下面我们设计一个能够朗读中英文混合语言的类：

我们将用单例模式实现该类，类的代码如下，我们将详细解释：

public class Speach

{

　 private static Speach _Instance = null ;

　 private SpeechLib.SpVoiceClass voice =null;

　 private Speach()

　 {

BuildSpeach() ;

　 }

public static Speach instance()

{

　 if (_Instance == null)

_Instance = new Speach() ;

return _Instance ;

}

private void SetChinaVoice()

{

　 voice.Voice = voice.GetVoices(string.Empty,string.Empty).Item(0) ; 中国3S吧 3s8.cn

}

private void SetEnglishVoice()

{

　 voice.Voice = voice.GetVoices(string.Empty,string.Empty).Item(1) ;

}

private void SpeakChina(string strSpeak)

{

　 SetChinaVoice() ;

　 Speak(strSpeak) ;

}

private void SpeakEnglishi(string strSpeak)

{

　 SetEnglishVoice() ;

　 Speak(strSpeak) ;

}

public void AnalyseSpeak(string strSpeak)

{

　 int iCbeg = 0 ;

　 int iEbeg = 0 ;

　 bool IsChina = true ;

　 for(int i=0;i
　 {

char chr = strSpeak[i] ;

if (IsChina)

{

　 if (chr<=122&&chr>=65)

　 {

int iLen = i - iCbeg ;

string strValue = strSpeak.Substring(iCbeg,iLen) ;

SpeakChina(strValue) ;

iEbeg = i ;

IsChina = false ; 中国3S吧 3s8.cn

　 }

}

else

{

　 if (chr>122||chr<65)

　 {

int iLen = i - iEbeg ;

string strValue = strSpeak.Substring(iEbeg,iLen) ;

this.SpeakEnglishi(strValue) ;

iCbeg = i ;

IsChina = true ;

　 }

}

　 }//end for

　 if (IsChina)

　 {

int iLen = strSpeak.Length - iCbeg ;

string strValue = strSpeak.Substring(iCbeg,iLen) ;

SpeakChina(strValue) ;

　 }

　 else

　 {

int iLen = strSpeak.Length - iEbeg ;

string strValue = strSpeak.Substring(iEbeg,iLen) ;

SpeakEnglishi(strValue) ;

　 }

}

private void BuildSpeach()

{

　 if (voice == null)

voice = new SpVoiceClass() ;

}

public int Volume

{

　 get

　 {

中国3S吧 3s8.cn

return voice.Volume ;

　 }

　 set

　 {

voice.SetVolume((ushort)(value)) ;

　 }

}

public int Rate

{

　 get

　 {

return voice.Rate ;

　 }

　 set

　 {

voice.SetRate(value) ;

　 }

}

private void Speak(string strSpeack)

{

　 try

　 {

voice.Speak(strSpeack,SpeechVoiceSpeakFlags.SVSFlagsAsync) ;

　 }

　 catch(Exception err)

　 {

throw(new Exception("发生一个错误："+err.Message)) ;

　 }

}

public void Stop()

{

　 voice.Speak(string.Empty,SpeechLib.SpeechVoiceSpeakFlags.SVSFPurgeBeforeSpeak) ;

}

public void Pause()

{

　 voice.Pause() ;

}

public void Continue()

{ 专业的3S站 3s8.cn

　 voice.Resume() ;

}

}//end class

=========================================================================

在 private SpeechLib.SpVoiceClass voice =null;这里，我们定义个一个用来发音的类，并且在第一次调用该类时，对它用BuildSpeach方法进行了初始化。

我们还定义了两个属性Volume和Rate，能够设置音量和语速。

我们知道，SpVoiceClass 有一个Speak方法，我们发音主要就是给他传递一个字符串，它负责读出该字符串，如下所示。

private void Speak(string strSpeack)

{

　 try

　 {

voice.Speak(strSpeack,SpeechVoiceSpeakFlags.SVSFlagsAsync) ;

　 }

　 catch(Exception err)

　 {

throw(new Exception("发生一个错误："+err.Message)) ;

　 }

}

其中SpeechVoiceSpeakFlags.SVSFlagsAsync表示异步发音。

498)this.style.width=498;" border="0" /> 但是，这个方法本身并不知道你给的字符串是什么语言，所以需要我们它这个字符串用什么语言读出。SpVoiceClass 类的Voice 属性就是用来设置语种的，我们可以通过SpVoiceClass 的GetVoices方法得到所有的语种列表，然后在根据参数选择相应的语种，比如设置语种为汉语如下所示：

中国3S吧 3s8.cn

private void SetChinaVoice()

{

　 voice.Voice = voice.GetVoices(string.Empty,string.Empty).Item(0) ;

}

0表示是汉用，1234都表示英语，就是口音不同。

这样，我们就设置了语种，如果结合发音方法，我们就可以设计出一个只发汉语语音的方法

private void SpeakChina(string strSpeak)

{

　 SetChinaVoice() ;

　 Speak(strSpeak) ;

}

只发英语语音的方法也是类似的，上面程序里有。

对于一段中英文混合的语言，我们让程序读出混合语音的方法就是：编程把这段语言的中英文分开，对于中文调用SpeakChina方法，英文调用SpeakEnglishi方法；至于怎样判断一个字符是英文还是中文，我采用的是判断asc码的方法，具体的类方法是通过AnalyseSpeak实现的。

这样，对于一段中英文混合文字，我们只需把它作为参数传递给AnalyseSpeak就可以了，他能够完成中英文的混合发音。

============================================================================================================

当然，对于发音的暂定、继续、停止等操作，上面也给出了简单的方法调用，很容易明白。

下面简单介绍一下中文语音识别的方法：

先把该语音识别的类源代码贴在下面，然后再做说明：

public class SpRecognition

{

　 private static SpRecognition _Instance = null ;

　 private SpeechLib.ISpeechRecoGrammar isrg ;

　 private SpeechLib.SpSharedRecoContextClass ssrContex =null;

　 private System.Windows.Forms.Control cDisplay ;

　 private SpRecognition()

　 {

ssrContex = new SpSharedRecoContextClass() ;

isrg = ssrContex.CreateGrammar(1) ;

SpeechLib._ISpeechRecoContextEvents_RecognitionEventHandler recHandle = new _ISpeechRecoContextEvents_RecognitionEventHandler(ContexRecognition) ;

ssrContex.Recognition += recHandle ;

　 }

　 public void BeginRec(Control tbResult)

　 { 中国3S吧 3s8.cn

isrg.DictationSetState(SpeechRuleState.SGDSActive) ;

cDisplay = tbResult ;

　 }

　 public static SpRecognition instance()

　 {

if (_Instance == null)

　 _Instance = new SpRecognition() ;

　 return _Instance ;

　 }

　 public void CloseRec()

　 {

isrg.DictationSetState(SpeechRuleState.SGDSInactive) ;

　 }

　 private void ContexRecognition(int iIndex,object obj,SpeechLib.SpeechRecognitionType type,SpeechLib.ISpeechRecoResult result)

　 {

cDisplay.Text += result.PhraseInfo.GetText(0,-1,true) ;

　 }

}

我们定义了ssrContex 和isrg为语音识别的上下文和语法，通过设置isrg的DictationSetState方法，我们可以开始或结束识别，在上面的程序中是BeginRec和CloseRec方法。cDisplay 是我们用来输出识别结果的地方，为了能够在大部分控件上都可以显示结果，我用了一个Control 类来定义它。当然，每次语音识别后都会触发ISpeechRecoContextEvents_RecognitionEventHandler 事件，我们定义了一个这样的方法ContexRecognition来响应事件，并且在这个方法里输出识别结果。

死神 2008-09-04 15:08 发表评论

用C#实现语音技术

死神 — Thu, 04 Sep 2008 07:02:00 GMT

“电脑朗读”（英文）一个很好的触发点，通过它可以实现电子小说阅读、英文听力测试、英文单词学习...

下面的Speech已对MSTTS作了简单封装。

1.安装好MSTTS（如果你有装金山词霸，系统就已经安装了）,可以在winnt\speech中打到vtxtauto.tlb文件；

2.用.Net SDK自带的tlbimp工具把vtxtauto.tlb转换成.dll格式:

tlbimp vtxtauto.tlb /silent /namespace:mstts /out:mstts.dll

这时的mstts.dll已成为.net framework运行库的一个类。

3.编写一个封装vtxtauto的简单类:Speech .

//========================Speech.cs======================

using System；

using mstts； //MSTTS名称空间

namespace Bedlang{ //定义名称空间

public class Speech{

private VTxtAuto VTxtAutoEx；

public Speech（）{

VTxtAutoEx = new VTxtAuto（）；

VTxtAutoEx.Register（" "," "）； //注册COM组件

}

public void Speak（String text）{

VTxtAutoEx.Speak（text, 0）； //发音

专业的3S站 3s8.cn

}

}

}

//========================Speech.cs======================

4.编译Bedlang.Speech

csc /target:library /out:Bedlang.dll speech.cs /r:mstts.dll

如果用vs.net开发，可直接生成项目就可以了。

5.发音实现

//========================demo.cs======================

分别加入Label,TextBox,Button控件各一个到windows Form中，修改它们的属性，源代码如下：

using System；

using System.Drawing；

using System.Collections；

using System.ComponentModel；

using System.Windows.Forms；

using System.Data；

namespace Bedlang

{

///

/// Form1 的摘要说明。

///

public class demo : System.Windows.Forms.Form

{

private System.Windows.Forms.Label label1；

private System.Windows.Forms.TextBox textBox1；

private System.Windows.Forms.Button button1；

专业的3S站 3s8.cn

///

/// 必需的设计器变量。

///

private System.ComponentModel.Container components = null；

public demo（）

{

//

// Windows 窗体设计器支持所必需的

//

InitializeComponent（）；

//

// TODO: 在 InitializeComponent 调用后添加任何构造函数代码

//

}

///

/// 清理所有正在使用的资源。

///

protected override void Dispose（ bool disposing ）

{

if（ disposing ）

{

if （components != null）

{

components.Dispose（）；

}

}

base.Dispose（ disposing ）；

}

死神 2008-09-04 15:02 发表评论

C#获取WAVE文件文件头信息

死神 — Thu, 04 Sep 2008 07:00:00 GMT

using System;

using System.IO;

using System.Text;

namespace WAV

{

///

/// Summary description for Wav.

///

public class Wav

{public Wav()

{ //

// TODO: Add constructor logic here

//

}

[STAThread]

static void Main(string[] args)

{

//

// TODO: Add code to start application here

//

string strpath=@"C:\Documents and Settings\Administrator\桌面\trojan\怀念战友.wav";//=@"F:\Music";

if(args.Length>0)

{ strpath=args[0].Trim();

}

if(File.Exists(strpath))

{ GetWavInfo(strpath);

Console.WriteLine("GetWavInfo Successfully!");

//Console.WriteLine("");

}

else

{ Console.Write("Please Enter the write filepath!\n");

专业的3S站 3s8.cn

Console.Write("用法: WAV [Full Path Of Your WAV filepath]");

}

}

public struct WavInfo

{ public string groupid;

public string rifftype;

public long filesize;

public string chunkid;

public long chunksize;

public short wformattag; //记录着此声音的格式代号，例如WAVE_FORMAT_PCM，WAVE_F0RAM_ADPCM等等。

public ushort wchannels; //记录声音的频道数。

public ulong dwsamplespersec;//记录每秒取样数。

public ulong dwavgbytespersec;//记录每秒的数据量。

public ushort wblockalign;//记录区块的对齐单位。

public ushort wbitspersample;//记录每个取样所需的位元数。

public string datachunkid;

public long datasize;

}

public static void GetWavInfo(string strpath)

{

WavInfo wavInfo = new WavInfo();

FileInfo fi = new FileInfo(strpath);

System.IO.FileStream fs=fi.OpenRead(); 中国3S吧 3s8.cn

if(fs.Length>=44)

{

byte[] bInfo=new byte[44];

fs.Read(bInfo,0,44);

System.Text.Encoding.Default.GetString(bInfo,0,4);

if(System.Text.Encoding.Default.GetString(bInfo,0,4)=="RIFF"&&System.Text.Encoding.Default.GetString(bInfo,8,4)=="WAVE"&&System.Text.Encoding.Default.GetString(bInfo,12,4)=="fmt ")

{

wavInfo.groupid = System.Text.Encoding.Default.GetString(bInfo,0,4);

System.BitConverter.ToInt32(bInfo,4);

wavInfo.filesize = System.BitConverter.ToInt32(bInfo,4);

//wavInfo.filesize = Convert.ToInt64(System.Text.Encoding.Default.GetString(bInfo,4,4));

wavInfo.rifftype = System.Text.Encoding.Default.GetString(bInfo,8,4);

wavInfo.chunkid = System.Text.Encoding.Default.GetString(bInfo,12,4);

wavInfo.chunksize = System.BitConverter.ToInt32(bInfo,16);

wavInfo.wformattag = System.BitConverter.ToInt16(bInfo,20);

专业的3S站 3s8.cn

wavInfo.wchannels = System.BitConverter.ToUInt16(bInfo,22);

wavInfo.dwsamplespersec = System.BitConverter.ToUInt32(bInfo,24);

wavInfo.dwavgbytespersec = System.BitConverter.ToUInt32(bInfo,28);

wavInfo.wblockalign = System.BitConverter.ToUInt16(bInfo,32);

wavInfo.wbitspersample = System.BitConverter.ToUInt16(bInfo,34);

wavInfo.datachunkid = System.Text.Encoding.Default.GetString(bInfo,36,4);

wavInfo.datasize = System.BitConverter.ToInt32(bInfo,40);

System.Console.WriteLine("groupid:"+wavInfo.groupid);

System.Console.WriteLine("filesize:"+wavInfo.filesize);

System.Console.WriteLine("rifftype:"+wavInfo.rifftype);

System.Console.WriteLine("chunkid:"+wavInfo.chunkid);

System.Console.WriteLine("chunksize:"+wavInfo.chunksize);

System.Console.WriteLine("wformattag:"+wavInfo.wformattag);

System.Console.WriteLine("wchannels:"+wavInfo.wchannels);

中国3S吧 3s8.cn

System.Console.WriteLine("dwsamplespersec:"+wavInfo.dwsamplespersec);

System.Console.WriteLine("dwavgbytespersec:"+wavInfo.dwavgbytespersec);

System.Console.WriteLine("wblockalign:"+wavInfo.wblockalign);

System.Console.WriteLine("wbitspersample:"+wavInfo.wbitspersample);

System.Console.WriteLine("datachunkid:"+wavInfo.datachunkid);

System.Console.WriteLine("datasize:"+wavInfo.datasize);

}

}

}

}

}

死神 2008-09-04 15:00 发表评论