基于内容的音频与音乐分析综述

机器听觉包括三大研究领域:语音信号处理与识别、一般音频信号分析、基于内容的音乐信号分析.其中,语音信号处理与识别早已成为一个传统的研究热点.随着信息科学与技术的迅速发展,基于内容的音频与音乐信号分析也逐渐成为一个新的研究热点,近几年来取得了大量研究成果.文章将对1990年以后该领域上所取得的研究成果进行综述,包括基于内容的音频或音乐信号自动分类、分割、检索以及音乐作品自动分析等内容.

一种新的基于分类的音频流分割方法

很多传统的音频流分割方法都是基于小尺度音频分类的,它们普遍存在虚假分割点过多的缺点,严重影响了实际应用的效果.我们的研究表明,大尺度音频片段的分类正确率明显高于小尺度音频片段的分类正确率.基于这个事实和减少虚假分割点的目的,我们提出了一种新的基于分类的音频流分割方法.首先,采用基于大尺度分类的分割方法对音频流进行粗分割,然后采用基于小尺度分类的细分割步骤在边界区域中进一步精确定位分割点.理论分析和实验结果均表明,当处理类别变换频率较低的音频流时,这种分割方法在保持真实分割点检测率的同时能够大幅降低虚假分割率.

一种基于内容的音频流二级分割方法

基于内容的音频流分割是多媒体数据分析领域中的一个十分重要和困难的问题.目前大多数传统的音频流分割方法是基于小尺度音频分类的,但是这类分割方法普遍存在虚假分割点过多的缺点,严重影响了实际应用的效果.作者的研究表明,大尺度音频片段的分类正确率要明显高于小尺度音频片段的分类正确率,并且这个趋势与分类器选择无关.基于这个事实和减少虚假分割点的目的,作者提出了一种新的音频流分割方法.首先,采用基于大尺度音频分类的分割方法对音频流进行粗分割,以减少虚假分割点;然后定义了分割点评价函数,并利用它在边界区域中进一步精确定位分割点.实验结果表明这种音频流分割方法可以比较精确地获取分割点位置,同时将虚假分割点减少到传统方法的四分之一.

基于样本的流行歌曲关键段分割方法

流行歌曲的关键段为歌曲中最能打动人、给人印象最深刻的一个完整片段.将它分割出来可用于音乐试听和基于内容的音乐分类、检索、管理.通过对人工截取的样本进行分析,本文提出了一种流行歌曲关键段自动分割方法.实验结果表明,此方法可以比较准确和有效地分割出流行歌曲中的关键段.

基于内容的戏曲分类与分析

中国传统戏曲是世界艺术园地中的一支奇葩。该文使用音频分析技术和模式识别技术相结合的方法对8种典型的中国传统戏曲(京剧、昆剧、评剧、豫剧、越剧、河北梆子、黄梅戏和晋剧)进行了自动分类和相似性分析研究。实验结果表明,在一个包含了680个唱段的测试数据库上,该方法可以达到82.4%的平均分类正确率。研究结果还表明在这8种传统戏曲中,昆剧和评剧最为相似,豫剧和越剧之间差别最大。

一种基于B样条曲面的深度图像重抽样方法

针对深度图像处理中由于等角测距造成的几何失真 ,根据非等网格深度数据的数值特点 ,文中提出了一种基于 B样条曲面的深度图像重抽样方法 ,并且与其它一些三维插值方法进行了精度比较 .该文利用真实深度图像进行了重抽样实验 ,结果表明 ,基于 B样条曲面的重抽样方法有效地克服了原始图像数据中存在的几何失真以及测量噪声 ,为后续的三维表面处理提供了更为精确的三维网格深度数据 .

京剧中典型唱腔和伴奏的自动分类研究

论文使用音频分析技术和模式识别技术相结合的方法对传统京剧中的3种典型角色(生、旦、净)的唱腔和2种典型的纯伴奏形式(文场和武场)进行了基于内容的自动分类研究。实验测试数据包括266个片段,来自于许多著名京剧演员如梅兰芳、袁世海、于魁智等人的演出。实验结果表明,对于5类分类问题可以达到88.7%的平均分类正确率,对于有伴奏下的唱腔和纯伴奏之间的2类分类问题可以取得高达96.6%的平均分类正确率。这一结果对京剧的进一步研究有着重要意义。

基于快速对称小波变换的高效模糊指纹图象压缩方法

自动指纹识别系统ＡＦＩＳ（ａｕｔｏｍａｔｅｄｆｉｎｇｅｒｐｒｅｎｔｉｄｅｎｔｉｆｉｃａｔｉｏｎｓｙｓｔｅｍ）要求对支持该系统的数据库中的指纹图象数据进行压缩，以提高系统实用性，其恢复图象要求有很高的保真度，以避免丢失细节．同时，在实用系统中，还需要有较快的图象恢复时间．本文总结一种基于对称小波变换的高效模糊指纹图象压缩方法，通过对称快速小波变换，选择适当的分解方式，采用自适应标量量化，加上改进的摘编码，实现高速、高保真的要求．同时，设计一种码率控制策略，有效地控制压缩量．实验结果表明：本文的压缩方法能表现出很好的性能．

二维Gabor滤波器的快速实现

研究表明2D-Gabor滤波器能有效地应用于边缘检测、纹理分析、图象编码及增强等场合.通常在实际应用中,为了取得良好的效果,2D-Gabor滤波器所构成的模板必须选得足够大:我们根据2D-Gabor函数的特点设计了实现2D-Gabor滤波的两种方法.一是利用它的分离性将2D-Gabor卷积分解成四个一维卷积;二是建立2D-Gabor卷积与高斯卷积之间的关系,然后利用有限均匀递推滤波器的级联近似合成2D-Gabor滤波.文中详细讨论了这两种算法的运算量及其特点.

一类新的知识型指纹图像非线性滤波方法

给出了基于小波变换的多尺度边缘表示方法及其对一般的图像信号表示的完备性和相应重建算法的稳定性，然后在小波变换的多尺度极大值表示方法的基础上，提出在尺度空间中基于多种知识的指纹图像非线性滤波方法．实验表明，这类滤波方法具有很强的自适应性，能取得令人满意的效果．

基于K-L变换的人脸自动识别方法

研究了利用计算机实现的人脸自动识别方法。在传统的“特征脸”方法基础上，提出了一种改进的人脸自动识别方法。该方法对于经过预处理的标准人脸图像，以类间散布矩阵为产生矩阵，通过Ｋ－Ｌ变换降维并提取人脸图像的代数特征。同时，利用遗传算法进行特征选择，以构成有利于分类的自适应子空间。在此子空间内，将图像进行正交分解，然后分别对各类训练样本进行二次Ｋ－Ｌ变换，进一步构成其旋转子空间，从而最终实现了一个分层次的最小距离分类器。实验表明，本方法识别率较高，且对于人脸的姿态、表情及光照条件均具有一定的不敏感性。

利用掌纹进行身份自动鉴别方法的研究

利用掌纹进行身份鉴别是一项开拓性的工作，是对基于指纹和掌型的身份鉴别技术的重要补充。在分析掌纹特点的基础上，提出了利用掌纹进行身份自动鉴别的方法：基于掌纹几何和结构特征的身份验证方法和基于掌纹细节特征的身份识别方法。通过实验，论证了上述方法的可行性和有效性，从而为基于掌纹的身份自动鉴别技术的研究积累了有益的经验。

基于方向投影的自动掌纹基准点检测

利用掌纹进行自动身份鉴别是对基于生物统计的身份鉴别技术的重要补充，掌纹的定位则是身份自动鉴别中一项重要的基础性工作。作为初步的研究，尝试对掌纹的基准点进行定义并提出了一种自动检测掌纹基准点的方法。利用这种快速简单的基于方向投影的方法对大量的掌纹图进行测试，其中９５％的基准点能被精确检测。

基于K-L变换的掌纹自动识别

掌纹自动识别是对基于生物统计学的身份鉴别的重要补充。论文尝试了对掌纹图像代数特征的提取 ,并设计了基于 K- L变换的掌纹自动识别方法。实验表明 ,这种方法能够取得很好的识别效果 ,即使对于低分辨率下的图像也有较高的识别率。在此基础上结合子空间法模式识别理论 ,提出了双子空间掌纹自动识别方法。并用双子空间对各类样本的空间分布进行了更加精细的刻画。然后采用分层最小距离分类器实现掌纹识别 ,使识别率和鲁棒性得到了进一步提高。

一种基于表面法向矢量的深度图像分割方法

针对深度图像中存在的各种噪声干扰,本文提出了一种基于表面法向矢量的多面体分割方法。通过对深度图像中表面法向矢量及其直方图的分析,利用一个四邻域生长算法实现任意形状区域的聚合,并通过融合处理消除噪声对深度图像分割结果的影响。利用这种分割方法在真实深度图像上取得了较好的实验结果,该方法具有实现简单,抗噪性能好的特点。

基于小波变换的级间相关并行矢量量化方法

矢量量化方法在图像压缩中能取得较高的图像压缩比,但在恢复图像中会产生方块效应。本文提出一种基于小波变换的级间相关并行矢量量化方法(ISCPVQ)(Inter-Scale Correlated ParallelVQ),能有效地去除方块效应,并且能同时考虑级间对应区域的量化误差,使矢量量化自适应于图像内容。实验表明这种矢量量化方法能取得很好的图像压缩效果。

由手写体图象恢复笔划的一种方法

本文提出一种由手写体图象复恢笔划是的跟踪算法。该算法突破了象素级链码跟踪的传统方法，在考虑了周围笔划的走向基础上进行笔划跟踪。首先，灰度图象经过二值化和细化产生手写体的原始骨架；其次由手写体的宽度信息进一步得到两类骨架：基本骨架与参考骨架；再通过基本骨架的跟踪连接得到笔划段。实验表明该方法对手写体笔划段。最后讨论了跟踪后处理，其目的是为了得到和人书写结果类似的笔划。实验表明该方法对手写体笔划跟踪有很好的效果。

小波变换域的尺度自适应矢量量化方法

图像的小波变换能同时提供空—频域的局部信息,而矢量量化方法则能取得较高的图像压缩比。在小波变换域实现矢量量化,可望在取得高压缩比的同时,利用小波变换所提供的信息,尽量保证能有较好的恢复图像质量。本文通过在小波变换域适当选择一组交换系数作为矢量,考虑小波变换的频率局部化特性,使用加权均方误差准则,实现一种尺度自适应矢量量化方法。实验结果表明,这种量化方法能取得较明显的效果。

用于离线英文签字识别的特征点匹配

本文提出一种用于英文签字识别的特征点匹配算法。该算法通过比较各特征点的局部特性及特征点之间的相对关系，计算各特征点间的相似性从而得到特征点匹配关系。特征点集通过沿笔划骨架的变尺度量测获得。本文提出的算法采用逐级匹配的策略，加快了匹配的速度，提高了匹配准确度。实验结果表明这种算法具有很好的适应性。这种方法也可用于其他文字识别中。