媒介音视频教育部重点实验室3D电影摄录编播系统

介绍了中国传媒大学媒介音视频教育部重点实验室从前期3D摄录机、后期3D非线性编辑软件到播放设备一整套摄录编播系统。该系统是一套3D业界较为高端的系统,目前已经投入使用,制作出了很多3D微电影和专题片,同时也为实验室的科研发挥了巨大的作用。

中国弹拨乐器共振特性分析

中国民族乐器的共振特性很大程度上反映了其独特的音色,但一直缺乏较系统的相关研究.本文录制了4种中国弹拨乐器的常用单音作为分析的声音样本,利用基频与迭代的倒谱分析方法,提出了一种估计乐器共振频段的算法,并在西方弹拨乐器上验证了其有效性.该算法采用改进的倒谱法估计单音共振峰,然后针对估计结果,设计了共振谱法和频带法进行后处理,从而得到乐器的有效共振频段.文中估计了录制的4种中国弹拨乐器的共振频段,并对其描述的乐器共振模式进行分析,为中国弹拨乐器尖锐的合奏听感提供了一种客观依据.

中国国画艺术美感特征分析与分类

图像艺术美感自动分类是近年的热门研究领域,国画作为中国传统艺术文化的重要体现,其美感也极具研究价值。在5类美感标注的国画数据库基础上,进行了国画艺术美感自动分类研究和相关特征分析。经过特征提取和筛选,得到适用于美感分类的33个图像特征,并基于特征重要性建立了物理特征与艺术美感、美术技法之间的映射关系。同时使用该特征集在多种分类器上进行艺术美感自动识别,验证了国画艺术美感自动分类的可行性。结果表明,国画艺术美感分类的主要相关美术元素按重要性排序为:颜色、笔触、亮度和线条。

三维声双耳渲染算法的客观评测与分析

本文对5种双耳渲染算法进行了客观评测。首先对双耳信号提取双耳特征和单耳特征,并进行特征选择和降维,最终选择岭回归建立了总体评价和其二级维度,即音质、定位和空间感的客观评测模型,并探究了主观感知和客观参数之间的关系。实验结果表明,将实验信号时频域特征的双耳差值用于客观评测模型可以获得理想的拟合效果;对于音质的感知,与频域能量相关的特征是最为重要的影响因素;变化丰富的双耳线索和双耳间频谱信息的变化差异性对于定位和空间的感知有较为显著的影响。

体育赛事传播中VR直播与5G技术的应用

随着技术的发展,5G+VR的应用,大大提升了VR用户的沉浸式体验感。本文以VR直播技术在马拉松比赛中的应用为例,详细介绍了技术方案实现的整个过程,对后疫情时期5G技术对马拉松比赛的影响进行了探讨,最后分析了5G+VR应用于体育赛事传播中的发展方向。

京津冀协同发展的新支点:雄安新区分析

雄安新区作为京津冀协同发展的新支点,有其特殊的功能和作用,它补齐了"京三角"的顶角,是"京三角"的关键支撑,代表着京津冀协同发展的新动力、新机制,也标志着京津冀协同发展的新阶段,它将为中国经济发展培育出下一个健康、快速增长的核心区域。文章从雄安新区设立与京津冀协同发展的理论分析入手,借鉴国外新都设立经验,提出了雄安新区的发展路径,最后,对新支点——雄安新区进行了价值分析。

DMS动声录音与效果制作技术的研究

多通道动声系统(DMS)是基于声场优化原则与惠更斯原理的新型多通道拾音还音系统。该系统录音部分采用近场与远场结合的相控麦克风阵列拾音方法,重放部分根据声道特点有效的分配直达声和混响声。本文基于心理声学原理采用对比实验,通过语义细分法,研究DMS系统与立体声系统的听感区别。通过本研究,证明了DMS产生的相干声场可以有效地改善听音效果,为声场的综合技术与多声道系统的未来发展方向从听觉心理学的角度提供了理论基础。

情智信息的建模与应用

目前对人类自我认知以及辅助人类智能发展与智力表现的相关研究,已成为国际上先进国家研究的重点。人类实现自我认知所面临的主要科学问题之一为信息、情感与智力发展的关系与机理问题,这里将其定义为“情智信息”问题。本文围绕情智模型的提出、情智信息的建模、情智模型的应用三个层面,首先提出了六觉(听觉、视觉、味觉、嗅觉、触觉和意境知觉)交叉感知模型,然后在情感联觉模型的基础上构建了情智模型,最后在情智模型理论的指导下提出并实现了脑电图(Electroencephalogram,EEG)信号驱动的情感音乐生成系统。情智模型的研究突破了以往人工智能单纯研究机器智能的局限,在激发情感影响智能方向上独树一帜,使机器智能与情智模型相结合,有助于真正实现类人智能、类脑智能。

基于注意力机制的单视角三维重建

三维重建是计算机图形学中一个经典问题,其中基于单视角图像的三维重建尤为困难。随着深度学习的发展,深度学习在三维重建领域也得到了及其重要的发展。我们在研究过程中,发现了现有三维重建的网络模型重建结果往往缺乏细节信息。而这些信息往往在输入图像中有源可溯。因此我们尝试将注意力机制引入到三维重建中。最后的结果也说明了注意力机制的有效性。

基于KR积的稀疏重构近场源定位

针对声源数多于阵元数的近场信源定位问题,该文提出一种基于Khatri-Rao(KR)积的稀疏重构近场源定位方法.该方法首先假设信号是准平稳的,然后通过KR积得到虚拟阵列结构,增加了阵列的自由度;接着在虚拟阵列结构下对虚拟信号进行稀疏表示,最后通过l1范数约束得到声源的空间谱估计.仿真表明,此稀疏重构定位方法可以实现信源定位的欠定估计,且性能优于基于KR积的子空间方法.

基于AD-CESUS联和测度的立体匹配算法

双目图像深度估计是许多现代立体视觉技术的重要基础。由于受到光线、纹理结构变化,前后遮挡,图像噪声等因素的影响,基于单特征的匹配算法缺乏鲁棒性。本文将基于像素点的AD测度函数与基于区域的Census测度函数,依据匹配置信程度实现自适应加权融合,形成联和测度函数。该联和测度函数可以将AD的单调性与Census的区域性有效结合,提升立体匹配算法的鲁棒性。通过实验测试,证明采用该联测度函数可以有效提高局部和全局匹配算法的匹配准确度,尤其是局部匹配算法。

一种FIR频率平面滤波器及其在光场滤波中的应用

本文提出了一种FIR频率平面滤波器,它具有近似4D平面的通带形状。该滤波器的设计基于窗函数法,设计简单,且具有线性相位特性,因此非常适合用于光场处理。理论分析和实验表明,由无遮挡朗伯表面构成的光场可以使用该滤波器实现深度滤波。

基于脑电的多媒体情绪诱发对智力发挥影响研究

多媒体能够对情绪产生影响,而情绪与智力发挥息息相关。通过多媒体诱发情绪来探究情绪对智力发挥的影响,对移动传媒、教育教学等领域具有十分重要的意义。本文基于脑电信号探究多媒体诱发情绪对智力发挥的影响。为此,本文构建了新的情绪诱发视频数据集,设计了基于情绪视频的情绪与智力发挥脑电实验,并创新性地提出机器学习情绪识别方法对智力发挥阶段的真实情绪进行识别,从而探究情绪对智力发挥的影响。结果表明,积极情绪相对于中性情绪在被试的数学计算正确率上有积极影响,但在答题反应时上存在抑制作用,而消极情绪则相反。不同难度的数学计算中,积极情绪在解决中高等难度问题时表现更佳,而消极情绪在解决高难度问题时更有利于智力发挥。结果暗示,积极情绪和消极情绪在解决问题时,可能会针对不同的问题调用不同的影响策略,从而导致在不同难度问题上,情绪对智力发挥的影响也不同。

一种基于自适应轮廓波变换的图像编码方法

为实现图像更加高效的稀疏表示,本文提出一种基于自适应轮廓波变换的图像编码方法。该方法基于熵准则,能够根据图像的频率分布,自适应地划分子带,从而实现图像的高效稀疏表示,提高编码质量。将本文所提算法用于多种标准测试图像的编码,分别与基于脊波、曲线波、轮廓波等变换的编码方法相比,实验结果表明,本文所提方法均优于上述方法,同等码率下峰值信噪比提升约0.5-2dB,且主观重构效果明显提高,证明了本文所提方法是有效可行的。

基于还音转换规则的胶片音频生成方法

还音作为一种将电影音轨胶片记录的声波信号图转换为音频的过程,是老电影重映中的重要环节.为解决当前还音方法中音频生成失真的问题,提出了一种基于还音转换规则的胶片音频生成方法,可实现音轨胶片图像到音频信号的高精度自动化生成.该方法包含2部分:一是在基于光电转换规则的包络线修正中,基于光度积分的包络线提取,并基于光学规则进行局部与全局校正,解决了光电转换过程中的信号误差问题;二是在基于频率调制规则的音频生成中,设计直流偏量调节方法,并基于电影音频录制还音标准进行信号频域调制,提升了合成音频质量.通过对MovieAD数据集中6类不同类别胶片进行音频生成并测试主观及客观音频评价,结果显示,相比目前较新的还音方法,文中方法生成的音频质量平均提高8.00%以上,且音频采样率可提高到行业标准的162.08%.

基于MFCC的混响效果识别研究

直达声/混响声能量比(Direct-to-Reverberant Ratio,DRR)和混响时间(Reverberation Time,RT)是判断混响效果的两个重要参数。针对合成有声语音及元音EH,在给定的混响时间下,提取不同直达声/混响声能量比的混响语音信号的MFCC(Me-Frequency Cepstral Coefficients)特征,分别对其进行混响效果识别的10折交叉验证。利用高斯混合模型对训练集进行聚类分析,得到其概率分布函数,通过马氏距离(Mahalanobis Distance,MD)计算测试集的每个样本的混响效果概率,进而判断其混响效果等级。实验结果证明,合成有声语音基于MFCC的混响效果识别准确率可以达到90%以上,元音EH可以达到80%以上。

一种基于运动基识别的人体关节运动跟踪粒子滤波估计方法

人体关节运动跟踪是非线性、非高斯系统的运动状态估计问题,粒子滤波器是实现人体运动跟踪的有效手段。粒子状态的预测与更新是影响粒子滤波器性能的关键,预测模型反映人体运动规律的程度是决定使用粒子滤波器能否进行关节运动准确跟踪的主要因素之一。本文提出一种基于人体运动模式识别的关节运动跟踪粒子滤波器架构,在将运动模式定义为运动基的基础上,利用R(2+1)D网络进行运动基类型识别。同时,根据识别所得到的运动基概率密度分布,分配每个运动基对应预测模型的粒子个数并进行关节运动状态的先验概率密度分布计算。在粒子状态更新阶段,选取颜色直方图特征计算粒子适应度,在对粒子状态进行重采样更新的基础上修正运动基的概率密度分布,从而达到了基于粒子滤波器的人体运动模式识别与状态跟踪联合实现的目的。实现结果表明,本文提出的新型粒子滤波器架构在关节跟踪准确性上远优于传统粒子滤波器方案,与基于深度学习的点对点人体关节运动跟踪方法也具有一定的可比性。

基于矢量量化生成对抗网络的老电影音频增强算法研究

电影经历了百余年的历史,一些记录老电影音频的感光胶片由于受到时间侵蚀和人为损坏,产生了霉斑、划痕等痕迹,导致还音时出现了背景噪声,影响听感。目前国内外针对老电影的音频修复主要依靠人工,工作量大、修复周期长。深度学习的发展使机器在音频修复方面代替人工成为可能。本文将基于生成对抗网络的语音增强模型SEGAN应用于老电影音频修复当中,并结合老电影音频的噪声特点对模型进行改进。在判别器中加入矢量量化层以匹配生成器性能,在生成器中加入频域损失,使降噪后的音频在频域上与干净音频更加相似。实验结果表明,本文提出的方法能够进一步提高老电影音频的降噪效果,各客观评价指标均有所提升。

基于大数据平台的IPTV用户行为分析

IPTV业务的不断发展积累了大量的用户和数据,这些宝贵的数据资源如果能充分挖掘和利用,将会为业务设计、营销决策等提供坚实的数据基础。本文采用大数据技术对IPTV用户的收视和行为数据进行科学的分析,通过IPTV用户画像和收视路径分析,准确发现用户的收视和行为特点,优化用户的个性化收视体验,为IPTV业务运营带来更好的决策依据。

中国国画情感—美感数据库

目的有关艺术作品审美感受的量化或计算,在心理学上已有许多研究。近年来,人工智能的研究成为热点,而对人类感知的定量分析也随之受到极大关注,例如基于图片或者音乐内容的情感计算等。美感作为一种艺术化的审美情感,与之相关的定量研究有较大潜力。为便于进行中国文化背景下的审美研究,同时为丰富图像情感与审美计算相关研究的数据基础,需建立一个国画美感和情感分析所用的图像数据库。方法从多种渠道收集筛选511幅国画素材及350个国画美感形容词,通过词汇筛选和因子分析获得国画美感主要因子;采用离散词汇和PAD(pleasure-arousal-dominance)情感连续维度空间这两种描述方式对国画的审美感受进行标注;对数据库进行情感和美感的模式分类,从而验证其实用性。结果获得5个国画美感主要语义标签:气势、清幽、生机、雅致和萧瑟;标注数据结果满足有效性验证;不同美感的PAD情感分布呈现一定极化;经测试,情感分类精度平均可达0.68,美感分类精度最高可达0.77。结论本文得到的5个国画美感评价范畴,可基本概括国画的审美感受;所建立的数据库,能为视觉美感及情感的定量研究或者计算机视觉、实验美学等领域的研究提供有效数据基础;PAD分布对美感有较好区分性。下一步将进一步扩充数据库,以解决数据分布不均问题,同时进一步挖掘PAD分布与美感分布之间的关联。