CCMusic:用于MIR研究的中国音乐数据库建设

本文提出了1个新的音乐数据库——CCMusic.该数据库对录音环境、录音设备以及录音人员、流程等方面进行专业的限定.数据库将歌声与伴奏分离,对音乐信息检索的研究有重要的意义.本数据库搜集流行音乐、民族音乐及数百种民族乐器的音响素材,并进行全面的标注,构成1个供MIR领域研究者使用的多用途的音乐数据库.数据库由音乐学院专业学生录制,版权清晰,并方便大规模扩展.

音乐自动标注分类方法研究综述

音乐是目前最受欢迎的艺术和娱乐形式之一,是表达或寄托人们感情的艺术语言,然而随着数字音乐急剧增加,通过浅层的信息管理与筛选音乐十分困难。音乐自动标注作为一种组织海量音乐与丰富音乐信息的有效手段,可克服音乐信息检索语义鸿沟,健全音乐信息,使音乐具有更直观的表达,并推动音乐分类、音乐推荐、乐器识别等音乐信息检索任务的深入研究。当前音乐自动标注主要聚焦于解决特征提取、模型选择两类问题,结合目前研究重点,阐述了音乐自动标注的相关知识;系统地梳理了音乐自动标注领域的各类音频特征表示及特征提取方法,并对每类提取方法进行了定量分析与定性分析;归纳了该领域相关研究成果,从机器学习与深度学习两个角度着重分析了不同模型方法的差异性;介绍了常用数据集与性能评价指标,总结了不同数据集特点,并对评价指标进行了归类分析;最后指出了音乐自动标注领域研究面临的难点与挑战,并对未来研究方向进行了展望。

结合深度乐谱特征融合的钢琴指法生成方法

指法是钢琴演奏的关键技术,但是除了初学者的教科书外,大多数乐谱都没有指法注释。目前用于钢琴指法自动生成的隐马尔可夫模型(hidden Markov model,HMM)和长短时记忆网络(long short-term memory,LSTM)模型,仅针对乐谱的音高建立模型,忽略同样影响指法的速度信息,存在对乐谱综合特征提取能力不足、生成的指法正确率低等问题。针对这些问题,设计一种可以同时利用乐谱的音高信息与速度信息的特征提取方法,并引入Word2Vec-CBOW(continuous bag-of-words)模型得到融合特征向量,根据人体左右手镜像对称的特点对原始数据进行左右手序列的数据增强与联合训练,最后结合双向长短时记忆网络-条件随机场(bidirectional LSTM conditional random field,BiLSTM-CRF)模型实现指法的生成。实验结果显示,本文提出的算法相比常用的统计学习方法和深度学习方法均有明显提高,验证了其合理性和有效性。

试论中国古代乐器文物主题词表的需求与构建方法

古代乐器文物是我国历史和文化传承的重要载体,是我国古代音乐文明发展的实物见证。文章回顾了乐器研究和文物领域的传统乐器分类方式,检视国内外博物馆当前的乐器文物检索结果与呈现;进一步分析盖蒂研究所艺术与建筑叙词表中乐器分类方式的参考性,讨论基于乐器文物工具书和相关权威文献构建我国古代乐器文物主题词表的思路与方法,以利乐器文物信息的发现、检索与利用。

基于动态分割和加权综合匹配的音乐检索算法

在模式识别领域中,音乐检索算法由于其易行和高效的特性而得到越来越多的重视。但是音符分割不精确和匹配模版不统一等问题直接影响MIR算法精确度。为解决上述问题,提出基于动态阈值分割和加权综合匹配算法。动态设定幅差步长,根据变化阈值分割音符,以提高音符分割的准确性。采用标准乐谱频率,转换音高模板实现输入归一化,以增强匹配的精确性。融合直接匹配和DTW匹配,以加强算法适应性和鲁棒性。最后由实验证明该方法的有效性。

复调音乐主旋律提取方法综述

主旋律提取在音乐检索、乐谱抄录、翻唱识别等领域具有广泛应用.复调音乐频谱结构复杂多样,音高变化范围广,因此复调音乐的主旋律提取较为困难.本文综述了复调音乐主旋律提取研究进展,对复调音乐主旋律提取方法进行分类,阐述了典型方法,介绍了主旋律提取的评价指标,给出了最新MIREX主旋律提取评测结果,说明了主旋律提取面临的主要挑战,并对主旋律提取技术发展方向进行了展望.

音乐情感自动分析研究

音乐情感自动分析在音乐检索和音乐推荐等方面具有广泛的应用。对3种音乐情感模型进行了对比分析,介绍了音乐情感分类方法,并指出已有研究存在的不足。音乐分割与摘要是高效音乐浏览与推荐的基础,在对音乐分割与摘要方法进行分析的基础上,指出了定长分割策略的不足;借助音乐相似性与情感可视化实现音乐推荐,对音乐相似性度量与可视化方法进行了概述。最后,展望了对音乐情感自动分析的研究方向。

流行音乐主旋律提取技术综述

旋律是最重要的音乐要素之一,多应用于音乐内容分析、音乐创作、音乐教育、抄袭检测等方面。主旋律提取旨在从一段音乐中自动估计对应于主旋律单音音符序列的音高或基频。流行音乐一般属于复杂的多音音乐,因此主旋律提取面临着许多挑战。综述了主旋律提取的研究背景,将主旋律提取的典型方法分别从基于音高显著度、基于声源分离以及其他方法3个类别进行了阐述,最后介绍了主旋律提取的评价指标以及研究进展。

基于多模态融合和时空上下文语义的跨媒体检索模型的研究

如何跨越低层特征描述到高层语义知识的"语义鸿沟"已成为跨媒体检索(CMR)问题的关键,提出一个基于多模态融合描述和时空上下文语义的跨媒体检索模型,对多模态融合的特征采用主成分分析(PCA)和独立成分分析(ICA)相结合的降维算法、采用基于支持向量机(SVM)和隐马尔可夫模型(HMM)的混合分类器进行语义映射,同时给出了时空模糊聚类分析方法和基于相关反馈的跨媒体检索算法。并在此基础上开发出基于该模型的原型系统,成功验证了该模型的可行性和正确性,可为相关系统的设计者提供思路。

中国民歌地域风格分类中的特征选择

歌曲风格的自动分类技术研究,是音乐信息检索领域中一个重要课题.本文主要讨论了对中国民歌地域风格自动分类中不同特征选择方法对于分类性能的影响.论文选用10个不同地域的1392首原生态中国民歌,进行了地域风格的分类实验.实验结果表明:在多种分类器的试验中,SVM分类器的分类准确率最高;在多种特征选择实验中使用SVM与Active Feature Selection的特征选择方法的分类准确率最高,为83%,且选择出的有效特征参数从74维降为35维,更便于进行参数分析.

基于差分全相位MFCC的音符起点自动检测

针对现有的音符起点自动检测方法难以适用于多类音乐信号,计算复杂度较高等问题,提出一种基于差分全相位MFCC的检测算法。通过全相位预处理减小频谱泄露引起的频谱模糊,差分Mel频率倒谱考虑人耳对音乐不同频率响应的非线性特性和音乐信号的动态音乐特征。实验结果表明,与公认综合检测效果好的HFC和ICA等方法相比,该方法计算复杂度小,适用音乐信号类型广,具有更优的综合检测性能。

基于改进投票机制的音乐流派分类方法研究

在音乐流派分类过程中,音乐流派局部特征与整体特征不一致时,通常采用的局部特征投票取最大的方法(MaxVote)在音频片段流派分类精度不高,而流派特征分布比较均衡时分类结果不合理。针对以上问题,该文提出基于音乐片段流派分布特征的神经网络投票机制(NNVote)和结合高层音乐节奏特征的RhythmNNVote投票方法。实验结果表明,NNVote方法在7个流派上的分类总精度达到68.9%,较MaxVote提高将近10%。

结合改进欧几里得算法和动态规划的音乐主旋律提取

主旋律提取是音乐信息检索领域一项基础而重要的研究课题,由于音乐信号固有的复杂性,使该项研究仍具有较大的挑战。为了更精确地描述旋律显著度并防止同一音符持续时间范围内旋律轮廓出现跳变,本文提出了基于改进欧几里得算法和动态规划的主旋律提取方法。该方法先用改进的欧几里得算法估计每帧的候选音高。然后,在动态规划框架下建模旋律音高的显著性和时序连续性,并跟踪得到最终的主旋律音高序列。在三个主旋律提取评价数据库上测试了该方法的性能,实验结果表明,本文方法取得了较好的旋律提取结果,且在三个测试数据库上的原始音高准确率均高于其他参考方法。

理解数字音乐——音乐信息检索技术综述

近20年来,音频压缩技术的成熟及互联网的普及使得音乐迅速从磁带和激光唱盘(CD)转变为互联网上以MP3为代表的数字音乐.海量数字音乐带来分类组织、查询检索、内容理解与分析等一系列问题,促使产生了一个新兴的交叉学科,即基于内容的音乐信息检索(Content-based Music Information Retrieval,MIR).本文阐述了MIR与音乐科技、声音与音乐计算、计算机听觉、语音信息处理、音乐声学等各个相关领域概念的区别与联系,将MIR技术的数十个研究领域按照与音乐要素的密切程度划分为核心层与应用层.分类总结了各领域的概念、原理、应用、基本技术框架及典型文献,同时介绍了研究中常用的音乐领域知识并明确了中英文术语.最后总结MIR领域存在的各方面问题,并展望其未来发展趋势.

基于TLDA和SVSM的音乐信息检索模型

随着协同标注功能的普及,用户可以通过标注自己感兴趣的音乐实现个性化的分类管理,因此音乐共享系统中的社会化标签已成为互联网的重要资源。为了提高音乐检索系统的效率,综合考虑了社会化标签的特性及其对音乐检索模型的影响,利用了TLDA方法来进行标签聚类以获取更多的语义相关的标签,综合考虑了用户检索行为、歌词、音乐标签和音乐流行度来提高音乐信息检索系统的性能。实验表明,基于TLDA和SVSM的音乐检索模型相比于基于属性数据的音乐检索模型以及k-means标签聚类的模型,尤其是在音乐标签稀疏和非正规的情况下,能够在一定程度上提高音乐检索的性能。

基于金字塔匹配核的音乐信息检索

分析基于内容的音乐信息检索(music information retrieval,MIR),其关键在于特征提取.传统的单特征向量表示方法存在局限性:难以选定用于提取特征的片段或时间窗;只选取音乐片段会丢失一些重要的信息.为了消除局限性,引入多特征向量的特征表示方法,在获取音乐的多个声学特征向量的同时,也可以完整地表示该音乐曲目.为了更加准确地计算由多特征向量表示的2个音乐曲目之间的相似度,引入金字塔匹配核技术(pyramid match kernel,PMK)计算不同长度的多特征向量之间的相似度.实验结果表明,PMK技术的引入可以提高MIR的性能.

HIT-DML的设计与实现

设计并实现了H IT-DML数字音乐图书馆.H IT-DML采用一种新的框架结构,以数据库系统为核心,一方面将音乐数据结构化存储在数据库中,另一方面在数据库系统内部实现了音频计算,从而将数据库技术和多媒体技术有机结合起来.H IT-DML还使用了一种新的特征匹配算法以及n-gram倒排索引结构,能够基于内容检索音乐信息,并且可以针对不同乐器进行查询.

旋律提取技术研究综述

对国内外旋律提取技术的已有研究工作进行了分类介绍,分别总结归纳了针对符号表示的音乐文件与针对波形表示的音乐文件的旋律提取算法,分析了各种算法的特点,阐明了该方向的未来发展趋势。

音乐信息检索技术:音乐与人工智能的融合

音乐科技是一个典型的交叉学科领域,分为艺术部分和科技部分。近年来兴起的音乐信息检索技术(MIR)是音乐科技领域的重要组成部分。MIR领域包含数十个研究课题,可按照与各音乐要素的密切程度分为核心层和应用层。当前的MIR技术发展仍然面临诸多困难,但随着艺术与科技的不断融合,必将迎来其发展的辉煌时期。

音乐信号处理的特征分析综述

特征提取是音乐信号分析中的重要步骤,本文全面总结了音乐信号分析中的音频特征,分为传统音频特征、音乐相关特征和面向深度学习的音频特征三个部分进行介绍,重点梳理了各类主流音频特征的含义、计算方法及音乐信号特征在传统机器学习方法和深度学习方法下的应用现状,并总结了特征提取常用的主流开源工具及其特点。最后,文章对音乐特征领域未来的发展方向进行了展望。