融合知识图谱的影视视频标签分类算法研究

鉴于视频感知方式的多样性,视频标签层级分类算法均从视觉和文本模态入手,训练联合模型共同推断视频内容。但现有研究通常只适用于粗粒度的分类,针对影视剧名的分类,则需要更加细粒度的识别。提出了一个融合知识图谱的影视视频标签分类算法。首先,使用了基于大规模通用数据训练的多模态预训练模型提取了视觉和文本的特征,训练了一个多任务的视频标签预测模型,得到视频的类型、题材和实体三级标签;通过在多任务学习网络中引入相似性任务提高分类模型训练的难度,使得同类样本特征更加紧密,且更好地表达样本差异。其次,对于最细粒度的实体标签,提出了一个局部注意力头扩展的实体纠错模型,引入外部知识图谱的共现信息对前置模型的预测结果做修正,得到更准确的实体标签预测结果。采集豆瓣的半结构化数据构建了影视知识图谱并对影视视频标签分类模型进行了实证研究。视频标签分类的实验结果表明,首先,基于多任务网络结构,在训练分类任务时加入交叉熵损失函数和相似性损失函数对模型进行共同约束优化了特征表达,在类型、题材、实体标签的Top-1分类准确率上分别提升了3.70%、3.35%和16.57%;其次,针对前置模型的困难样本提出的全局-局部注意力机制模型,在引入了知识图谱信息之后,实体标签的Top-1分类准确率从38.7%提升到45.6%。该研究是使用图片-文本对数据在多模态视频标签分类问题上新的尝试,为少量数据样本情况下的短视频标签分类提供了新的研究思路。

视频标签检测与识别

提出一种视频标签的检测与识别方法。根据视频长度,采用不同的策略获得抽样帧;对每个抽样帧计算候选标签;然后对所有候选标签进行一次中值滤波,确定标签边界;最后利用一种基于多帧联合分析的方法实现视频标签的二值化。对获得的二值化标签,在缩放到标准大小后,采用基于全图像匹配的方法进行识别。实验结果表明本文的方法能够很好的检测与提取视频标签,基于图像匹配的方法在对标签的识别上大大优于传统的OCR文字识别方法。

基于视频二维码标签的“互联网+儿童病人教育”新模式的应用研究

目的探讨基于“互联网+儿童病人教育”新模式的可行性,向病儿家长定向提供基于二维码标签的集成化教育短视频,以提高门诊儿童病人教育的覆盖率和教育质量,保障儿童居家用药安全有效。方法选择常州市第一人民医院2021年儿科门诊使用量排名前10且用药错误问题点最多的3种药品作为代表药品,分别制作每个代表药品的病人教育短视频组合,转换成二维码标签,贴于药品包装盒上发放,计算病人教育覆盖率,并通过电话回访比较新型病人教育模式应用前后家长满意度和病儿居家医疗安全KAP(知识-态度-行为)评分进行评价。结果新型病人教育模式下,3种代表药品糠酸莫米松鼻喷剂、奥司他韦颗粒和孟鲁司特钠颗粒的病人教育覆盖率分别为72.4%、67.8%和52.2%。电话回访新型病人教育模式应用前后各120位病儿家长,试验组家长对病人教育形式、内容、可及性和便利度四方面的满意度[76.7%(92/28)、68.3%(82/38)、85.8%(103/17)、82.5%(99/21)]显著高于对照组[61.7%(74/46)、42.5%(51/69)、31.7%(38/82)、36.7%(44/76)](P<0.05),病儿居家医疗安全KAP评分明显升高(P<0.05)。结论基于视频二维码标签的“互联网+儿童病人教育”新模式可为家长提供不受时空限制、多维度、高效率、低成本的线上病人教育,显著提高病人教育覆盖率、满意度和教育质量。该方法可行性强,可推广至更多门诊病人,亦可作为“一站式互联网诊疗”病人的主要教育方式。

基于细粒度标签的在线视频广告投放机制研究

随着互联网的发展,对精彩视频点进行标注、评论和分享成为趋势.这类群体智慧信息的有效利用将有助于提升视频广告的投放效果.首先将用户提供的细粒度视频标签收集起来,通过视频时间轴加权计算生成视频热点,进而利用视频热点描述信息基于分类匹配的思想来选取广告,最后找出视频热点内用户对视频关注度下降幅度最大的时间点投放广告.实验证明,在数量为百万级的视频集合中,该方法选取的广告与视频的相关性达到85%左右.用户在广告播放过程中关闭广告的概率小于10%.与目前广泛应用的广告投放方式相比,广告的平均播放时间能提升21.5%,广告点击率能从0.65%提高至0.73%.

视频语义上下文标签树及其结构化分析

视频内容具有非常强的时间关联和逻辑结构,镜头语义是视频内容理解的基本单元。从符合人类认识理解视频内容的角度来看,镜头语义之间隐含着时间上、语义上、结构上的多种上下文关联信息。合理地描述这种上下文信息至关重要。为此,首先采用一棵带有上下文标签的标签树作为镜头语义上下文层次结构的表征模型,以序列化的镜头语义序列为底层叶节点,以内节点的上下文标签表征镜头语义间的上下文关联,其树形结构与视频内容层次化表征形式一致,能为视频内容理解提供显著的信息增益。然后,着眼于解决镜头语义从其序列结构向标签树的层次结构转化,采用结构化支持向量机的分析方法,根据镜头语义序列和视频语义上下文标签树的联合特性构造了语义上下文结构化函数和损失函数,实现了镜头语义的结构化分析。实验结果表明,视频语义上下文标签树在时序性、层次性、领域性、逻辑性等方面具有良好的表征能力,而基于结构化支持向量机的结构化分析方法在镜头语义上下文分析的准确率、召回率及F1值表现良好。

视觉标签的语义三元组检测模型

本文提出了一种基于视频标签的语音三元组检测模型,目的是从人类语音中识别语义内容三元组,并传递给机器人进行操作.具体来说,本文设计了一个包含语音模块和视频模块的网络框架.在视频模块中,首先利用I3D和Mask R-CNN分别提取动作和物体.随后,两个XGBoost分类器被用于根据动作的类型识别主体物体和受体物体.在提取获得三元组之后,该三元组将被作为软标签用于训练语音模块.在语音模块中,本文引入了多头自注意力模型用于建模语音上下文的相互联系.为了验证方法的有效性,本文将所提出的方法在MPII Cooking 2数据集进行实验,实验结果表明模型能够使用视觉标签作为语音模块的训练标签,并且与其它语音方法相比取得了更优异的性能.最后,该模型被部署到了UR10e机器人上进行进一步执行验证.

大型客站视频融合平台研究

传统铁路客站视频监控存在数据量大、监控画面相互割裂、缺乏与三维空间位置信息的联动等问题,用户面对碎片化二维监控图像建立三维空间认知有较大的理解负担,且很难对大场景整体态势进行全局掌控。针对这些问题,提出大型客站视频融合平台的设计方案,建立站房统一的三维可视化虚拟地理环境模型,并根据车站不同监控区域监控的不同特点,分别采用视频标签索引和投影纹理映射的方法将监控视频与三维场景进行融合显示,增强了车站视频监控的观感效果和可交互性,弥补了传统视频监控的缺陷,为铁路客站视频监控提供了新的智慧化解决方案。

基于用户画像和视频兴趣标签的个性化推荐

【目的/意义】用户画像深刻地描述了视频用户的个体和群体行为特征,为视频的个性化推荐服务提供参考。【方法/过程】通过文本挖掘对爬取的视频、用户及其观影数据分析,构建单个用户画像,并通过K-Means和LDA模型对用户聚类并提取主题,挖掘群体用户特征。基于用户画像和时间指数衰减的视频兴趣标签,并结合视频喜爱度和协同过滤,进行视频推荐。【结果/结论】考虑时间指数衰减的个性化推荐,提高了系统对用户兴趣的感知。结合视频喜爱度和协同过滤,推荐视频评分达0.87,有助于提高用户对网站的忠诚度和活跃度。【创新/局限】基于用户生成内容的文本挖掘结果,进行单个和群体用户画像,并创新性采用时间指数衰减构建用户视频兴趣标签,以捕获用户兴趣的变化。由于网络爬虫的限制,实验数据量有一定的局限性,且特征提取兴趣范围有限。