基于多模态相似融合的新闻视频故事分割算法

新闻视频数量的不断增加,为准确分割用户感兴趣的新闻视频,本文提出了一种基于多模态相似融合的新闻视频故事分割算法。首先,通过选定视频切割点获取候选新闻故事单元边界,将视频分成音频流和视频流;其次,选择静音区间为音频候选切分点,主持人镜头帧和主题字幕帧作为视频候选切分点,根据候选切分点获得新闻故事基本单元,利用语义相似性分析各单元内容进行合并或独立分离,得到最终新闻故事;最后,采用人脸识别、YOLOv5来进行主题字幕检测、语义相似性合并或独立新闻故事基本单元,使得新闻故事边界划分更为准确。该新闻视频故事分割算法在《新闻联播》视频中查全率和查准率分别达到了97.17%和98.19%,为新闻视频导航、检索等应用提供辅助准备。

一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合,生成一幅高空间分辨率的多光谱图像.伴随卷积神经网络的发展,涌现出很多基于CNN的全色锐化方法.这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响.并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估,易导致锐化结果过于平滑,空间细节缺失.为了解决上述问题,本文提出一种嵌入注意力机制,并辅以空间结构信息对抗损失的生成对抗网络模型.该网络模型由2个部分组成:一个生成器网络模型和一个判别器网络模型.嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像.判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验,以确保锐化结果的空间细节信息.最后,在3种典型数据集上的对比实验验证了所提出方法的有效性.

基于特征解耦表征学习的无监督混合失真图像复原方法

针对真实场景下多种混合失真组合的多任务图像复原,结合生成对抗网络与编码器提出了一种基于无监督对偶学习的图像复原方法.该方法引入特征解耦模块,通过修正基于增益控制的归一化,将不同退化机制的特征表示分配到不同的特征通道中,使得不同退化特征表达相互独立,实现了通道上的特征解耦.同时,为了进一步过滤掉退化机制的特征表示并保持原图像内容信息的细节,利用通道注意力机制实现特征解耦后自适应地选择有用的特征表示,使其适用于真实场景下混合失真组合的图像复原任务.实验结果表明,所提算法在单一退化类型GoPro数据集上对比基于尺度循环网络的算法(scale-recurrent network,SRN),峰值信噪比和结构相似性2项指标值分别提高了0.499 dB和0.044;在混合退化类型DIV2K数据集上对比基于操作选择注意力网络的算法(operation-wise attention network,OWAN),峰值信噪比和结构相似性2项指标值分别提高了0.163 dB和0.015,在实现复原图像的同时,保留了图像的纹理和细节信息.

基于蓝牙和LoRa的广区域无线电目标监测系统

随着万物互联时代的到来,物联网技术得到了普遍的推广和应用。蓝牙是一种优秀的低功耗技术,LoRa是一种性能优异的远距离通信技术,二者在其各自的领域都得到了广泛的研究和应用,然而却鲜有兼顾二者特点的结合研究。针对野外高原鼠兔监测这一广区域目标监测场景,本文基于蓝牙和LoRa提出了一种广区域无线电目标监测系统,突破了续航和通信距离方面的瓶颈,具有低成本、低功耗等特点。

一种时序边界注意力循环暴力行为检测神经网络

暴力行为检测是行为识别的一个重要研究方向,在网络信息审查和智能安全领域具有广阔的应用前景.针对目前的时序模型在复杂背景下不能有效提取人体运动特征和常规循环神经网络无法联系输入上下文的问题,本文提出一种时序边界注意力循环神经网络TEAR-Net.首先,以本文提出的一种全新的运动特征提取模块MOE为基础,在保留输入视频段序列背景信息的前提下加强运动边界区域.运动边界对于动作识别的作用要远大于图像其他区域,因此运动边界加强能够有效提高动作特征的提取效率,从而提升后续网络的识别精度.其次,引入了一种全新的结合上下文语境和注意力机制的循环卷积门单元(CSA-ConvGRU),提取连续帧之间的流特征以及不同帧的独立特征,并关注关键帧,能够极大提升动作识别的效率,以少量参数和较低计算量的代价掌握视频流的全局信息,从而有效提高识别准确率.本文提出的模型在目前最新的公开数据集RWF-2000和RLVS上进行了多种实验.实验结果表明,本文提出的网络在模型规模和检测精度上均优于目前主流的暴力行为识别算法.

基于高斯混合变分自编码器的协同过滤

基于变分自编码器的协同推荐算法可以帮助解决推荐算法中的稀疏性问题,但是由于变分自编码器模型先验是单一的高斯分布,使得表达趋向简单和平均,存在拟合不足的问题.高斯混合变分自编码器模型拥有更加复杂的先验,相对于原本的变分自编码器模型,它对于非线性的任务有着更强的适应性和效果,已被广泛应用于无监督聚类和半监督学习.受此启发,本文研究基于高斯混合变分自编码器模型的协同过滤算法.本文基于Cornac推荐系统比较框架设计实验,将高斯混合变分自编码器改进后用于协同推荐任务中,利用生成模型重新生成的用户-物品矩阵进行推荐.在推理模型和生成模型中分别用一层隐藏层提取深层特征增加模型鲁棒性,并且使用提前停止的训练策略以减少过拟合.本文在多组公开数据集上进行实验,与其他推荐算法在NDCG和召回率指标上进行对比.实验证明,改进的基于高斯混合变分自编码器模型的协同过滤算法在推荐任务中表现优异.

关于构建大专业平台人才培养模式的思考与实践

普通高等学校对人才培养模式进行了大量的实践探索,积累了一定的经验,但仍存在许多问题。创新人才培养模式,是普通高等学校持续、健康发展的关键所在。"大专业平台"人才培养模式的探索是以"三个整合"为核心,构建"四位一体"的高效机制,打造有鲜明特色的人才培养品牌,提高人才培养质量的一种新型的人才培养模式,有利于解决现存普通高等学校人才培养的一些问题,取得一定的社会回报,是一种值得探索的培养模式。

基于先验模板的人脸面部特征提取的研究

提出了一种全新的人脸脸部轮廓提取算法 ,即运用先验模板及交替补偿机制的方法提取脸部轮廓 .实验证明 ,文中提出的特征提取算法高效且鲁棒性能好 .

一种基于新型遗传算法的图像自适应增强算法的研究

该文提出了一种新的遗传算法 ,该方法不仅能加快普通遗传算法的收敛速度 ,而且能有效地保证种群的多样性 .然后 ,该文将这种新算法应用于灰度图像的自适应增强 。

人脸识别理论研究进展

综述了人脸识别理论的概念和研究现状，讨论了其中的关键技术和难点以及应用和发展前景。

基于统计估计的图像边缘检测

针对传统的基于微分边缘检测算法的噪声鲁棒性较差这一问题,分析了图像边缘形成机理,依据统计估计评价准则,提出一种基于统计估计的边缘检测算法.该算法将像素点的圆形邻域沿θ方向分割成2个半圆,分别计算出2个半圆内像素样本的均值和方差,分析2个半圆内样本统计估计的有效性,进而排除噪声和纹理对边缘检测的影响.根据边缘两侧像素样本的统计估计偏度呈屋脊形分布的特点,对边缘进行细化和连接,以无噪声Canny算子检测得到的边缘作为先验知识,运用条件概率建立边缘检测评价函数.实验结果表明,基于统计估计的图像边缘检测方法具有较好的检测精度和噪声鲁棒性.

一种可寻得全局最优解的改进变异算子

文献 [1]分析了典型遗传算法不成熟收敛的起因 ,据此提出了一种改进的遗传变异算子 ,计算机仿真实验证明改进后的遗传算法能有效地克服不成熟收敛 ,进而搜索到全局最优解 .

晶界重建与晶粒度自动评级系统的研究

本文介绍利用一系列新颖的图像处理技术,实现了定量金相分析中的晶界重建和晶粒度自动评级。其评级的正确率≥95%,实验表明,该系统具有较高的可靠性和有效性。

一种新型遗传算法及其在暴雨强度公式参数优化中的应用研究

提出了一种新的遗传算法 ,该方法不仅能加快普通遗传算法的收敛速度 ,而且能有效保证种群的多样性 .将这种算法应用于暴雨强度公式参数的优化 ,实例计算表明 。

基于活动轮廓模型的人脸特征提取方法的研究

人脸面部特征提取是自动视觉翻译和人脸识别中的最关键的技术之一 .本文对活动轮廓模型理论的基本原理、方法和技术等作了有益的探索和尝试 ,并在此基础上 ,提出了提取人脸面部特征的系列算法 ,特征是精确的轮廓描述而非简单的数字表达 .实验中 ,我们用动态模板方法提取眼睛轮廓 ,用活动轮廓方法提取眉毛形状 ,结果证明 ,该方法具有较强的鲁棒性和自适应性 .

Grid技术的研究与应用进展

在网格的基础构架和应用方面,首先介绍的是网格的五层沙漏模型,该模型由构造层、连接层、资源层、汇聚层和应用层五层组成。网格问题可以定义为在虚拟组织之间实现灵活、安全的协作资源共享。虚拟组织是由个人、机构以及各种资源(包括计算机、网络和仪器设备等)组成的一个动态集合。该环境下的身份认证、授权、资源访问、资源发现以及其它许多问题,只有通过网格技术才能得到有效的解决。其次,讨论了开放网格服务结构(OpenGridServiceArchitecture)。该结构基于Grid和Webservices的概念构建,定义了一个统一的开放服务语义—网格服务(Gridservice),以及创建、命名和发现临时网格服务实例的标准机制;提供了对服务实例的透明定位和多协议绑定;支持对不同的本地运行平台的集成。最后,通过一些典型的实例讨论了网格技术的应用,包括分布式超级计算、分布式仪器系统和数据密集型计算网格。

一种可变阶次模拟分抗电路的实现方案

在分数阶微积分的工程应用中,一个最重要的步骤是模拟分抗电路的实现,为此采用跨导运算放大器设计了可变阶次分抗电路,并利用有限数量的二端口网络级连,能够在电路设计形式固定的情况下,通过调节跨导运算放大器的控制电流,在一定的范围内改变分抗的运算阶数。模拟结果与理论分析结果相一致,证明该设计方案对于分数阶微积分的实际应用有着一定的工程意义。

一种遗传算法及其在水稻洪灾易损性分析建模中的应用

提出了一种新的遗传算法 ,该方法不仅能加快普通遗传算法的收敛速度 ,而且能有效的保证种群的多样性。并将这种新算法和神经网络相结合而应用于洪灾的易损性分析建模中 ,实验结果表明了该算法的有效性和可行性。

人脸正面模式自动识别方法研究

采用一系列新的图像处理和模式识别技术,提出了一种改进的稳定视点特征抽取方法,并实现了其相应的离散化算法,由此研究了人脸正面模式自动识别方法,取得了较好的实验结果。