基于Kinect的声源定位时延获取及算法性能研究

声源定位已广泛地应用于视频会议和语音控制系统中,针对传统的声源定位系统中采集电路采集到的声音信号易受噪音和混响的影响,提出采用运动传感输入设备Kinect中集成的小型线性麦克风阵列采集音频信号,通过Kinect采集四通道音频信号,并应用互相关(CC)、相位变换(PHAT)、最大似然估计(ML)和平均平方差函数(ASDF)等四种时延算法对采集的音频信号进行处理分析,从而获取时延实现声源的定位。另外,从信号-噪音比(SNR)、峰值锐化两个方面分别利用MATLAB仿真和实测实验比较了四种算法的性能。实验结果表明,利用Kinect线性麦克风阵列采集定位能更有效地去除噪声,提高信噪比,并且四种算法中相位变换法拥有尖锐的峰值和较低的信噪比门限,从而能够适用于声源定位中获取精确时延。

Unity3D中的Kinect声源定位与人机交互技术

Kinect是与Xbox360游戏机配套使用的一款外设,内置四元线性非对称麦克风阵列,可以根据各麦克风接收到声音信号的时延差,计算出声源方位与角度。Unity3D是一个可以创建三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合型游戏引擎,其本身缺少高级人机声音交互功能。为此,研究开发了基于Kinect的Unity3D人机声音交互接口。采用C++/C#混合编程技术,将Kinect API for Windows中关于声音的相关功能封装为非托管的C++动态链接库(DLL),利用该DLL把Unity3D引擎、Kinect体感设备和Visual Studio平台衔接起来;在Unity3D平台上对由Kinect获取到的声源位置进行识别定位,得到的实时数据可用于高级人机交互应用。