改进的跨模态关联歧义学习的虚假信息检测方法研究

近年来,随着互联网及多媒体技术的迅猛发展,人们获取信息更加方便快捷,然而虚假信息在网络上的传播也日益严重,负面影响不断扩大。为了增强信息的可信度和欺骗性,虚假信息呈现多模态发展趋势,使得检测工作面临更大挑战。现有的多模态虚假信息检测方法大多关注多模态特征的形成,对于跨模态歧义和不同模态特征在检测中的贡献率的研究尚不完善,忽略了不同模态特征间固有差异性对虚假信息检测的影响。为解决该问题,提出了构建改进的跨模态关联歧义学习的虚假信息检测模型,通过对文本和图像特征进行跨模态歧义学习,利用歧义得分更新单模态与融合特征的权重,自适应地拼接单模态与融合特征;同时采用网格搜索动态分配文本、图像特征权重,提高检测准确率。在Twitter数据集上对该模型的有效性进行验证,其相比基线模型准确率提高了6%,相比未进行动态权重分配的检测方法性能提升了1.6%。

基于预训练和多模态融合的假新闻检测

现有的多模态检测模型通常对每个模态的特征进行简单拼接,不能对模态之间的相关性进行有效建模,而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量,合并图像原始向量作为图像引导向量,设计早期融合、中期融合、后期融合3种不同的多模态融合方式。在早期融合阶段,通过图像引导向量初始化文本特征提取器,获取文本原始向量,合并文本原始向量作为文本引导向量。在中期融合阶段,使用模态的原始向量集合与其他模态的引导向量构造模态的特征表示。在后期融合阶段,融合不同模态的特征表示,构造新闻的特征表示。为提高模型的泛化能力,在标签丰富的数据上对PMFD进行预训练,然后再在标签稀少的数据上对PMFD进行微调。在公开数据集上的实验结果表明,PMFD能有效检测假新闻结果,相对传统模型CNN、LSTM、BERT等有10%以上的提升,相对EANN、M_model多模态假新闻检测模型有2%~3%的提升。

我国人工智能政策新词发现与演化研究——一个多特征融合的算法

[目的/意义]作为中文分词的基础研究,新词发现是研究政策创新和扩散的重要技术方法。本文通过改进新词发现算法优化了政策文本分词不准确的问题,并构建词库以支持人工智能政策的演化研究。[方法/过程]提出多特征融合新词发现算法MFF,实现了对人工智能政策新词的挖掘,从新词角度对人工智能政策的创新、延续和扩散进行演化分析。[结果/结论]实验结果证明,本文提出的多特征融合新词发现算法MFF能够有效提升分词效果,丰富领域词库;人工智能政策新词出现的时序变化反映了不同阶段政策关注的重点发展领域,揭示了中央和地方政府在政策创新、延续、扩散和演化方面的特点。

基于交叉特征感知融合的多领域虚假新闻检测

各领域虚假新闻的传播对社会造成了严重的影响,不同领域间新闻的领域偏移问题和跨域关联问题也对模型的预测能力造成了极大的挑战.针对上述问题,本文提出了一种基于交叉特征感知融合的多领域虚假新闻检测方法.该方法可以捕捉不同领域间新闻的多种特征差异,并挖掘新闻之间的关联关系,从多个维度控制模型在不同领域的特征融合策略.此外,本文还提出了一种联合训练框架.本方法的模型使用本框架进行训练,在中英文数据集上的预测F1分数分别达到了92.84%和85.49%,相较于最先进的模型,预测效果分别提升了1.16%和1.07%.

多源异构数据渐进式融合的虚假新闻检测

社交媒体平台上充斥着大量未经验证的信息,这些信息大多为不同来源的异构数据,其传播范围之广、速度之快,对个人和社会造成了严重危害。因此,有效检测和防范虚假新闻至关重要。针对当前虚假新闻检测模型局限于从单一数据来源获取新闻文本及视觉信息,导致新闻报道主观性较强、数据覆盖不全面的问题,提出了一种多源异构数据渐进式融合的虚假新闻检测模型。首先,进行多源异构数据的收集、筛选和清洗,由此构建了一个多源多模态数据集,其中包含关于每个事件的多个不同角度的报道;接着,通过将文本特征提取器和视觉特征提取器获取的特征输入多源融合模块,实现了不同来源特征之间的渐进式融合;同时,引入文本的情感特征和图像的频域特征,以实现多层次的特征提取;最后,采用软注意力机制进行特征集成。实验结果和分析表明,与已有的流行方法相比,所提模型有较好的检测效果,为大数据时代的虚假新闻检测提供了一种有效的解决方案。

多模态特征自适应融合的虚假新闻检测

为解决社交媒体新闻中多模态新闻检测难以充分利用图文信息问题以及探索高效的多模态信息交互方法,提出了一种多模态特征自适应融合的虚假新闻检测模型。分别对新闻文本语义特征、文本情感特征和图文语义差异特征进行提取和表示;通过添加自适应权重参数的方式对多种特征进行加权拼接融合,以减少模型拼接时引入的冗余信息;将融合特征送入分类器中进行新闻的真假分类。实验结果表明,所提出的模型在F1值等评价指标上都优于当前先进的模型。有效提升了虚假新闻检测性能,为社交媒体中虚假新闻的检测提供了有力支持。

基于多文本图像的虚假新闻多模态检测模型研究

针对互联网环境下虚假新闻泛滥的问题,提取虚假新闻中的文本和图像特征,搭建基于多文本图像的虚假新闻多模态融合检测模型。结果表明:所提模型检测准确率较高,为0.839;微博数据集中att-RNN模型真实新闻的召回率和虚假新闻的精确率最高,分别为0.887和0.855;CCF竞赛数据集中MVAE模型虚假新闻的召回率最高,为0.737,所提模型其余指标均最高;所提模型相较于MVAE和att-RNN模型具有明显的改善(p<0.05),相较于MVAE模型聚集性和可判别性更强。综上所述,所提模型能够较准确地检测虚假新闻。

基于多特征融合的TextRank新闻自动摘要模型

随着互联网的发展,如何快速地从海量新闻中获取核心信息,减少浏览负担,是信息部门目前急需解决的问题.现有的TextRank及其改进算法在新闻摘要抽取任务中,考虑文本特征不全面.在摘要句选择时,只考虑到摘要的冗余度,忽略了摘要的多样性及可读性.针对上述问题,本文提出了融合多特征的文本自动摘要方法MF-Text Rank(multi-feature TextRank).根据新闻的结构、句子和单词总结了更全面的文本特征信息用于改进TextRank算法的权重转移矩阵,使句子权重计算更准确.采用MMR算法更新句子权重,通过集束搜索得到候选摘要集,在MMR得分的基础上选择内聚性最高的候选摘要集作为最终的摘要输出.实验结果表明,MF-TextRank算法在摘要抽取任务中摘要Rouge得分优于现有改进的TexRank算法,有效提高了摘要抽取的准确性.

基于Swin Transformer的YOLOv5安全帽佩戴检测方法

针对目前施工现场的安全帽检测方法存在遮挡目标检测难度大、误检漏检率高的问题,提出一种改进YOLOv5的安全帽检测方法;首先,使用K-means++聚类算法重新设计匹配安全帽数据集的先验锚框尺寸;其次,使用Swin Transformer作为YOLOv5的骨干网络来提取特征,基于可移位窗口的Multi-head自注意力机制能建模不同空间位置特征之间的依赖关系,有效地捕获全局上下文信息,具有更好的特征提取能力;再次,提出C3-Ghost模块,基于Ghost Bottleneck对YOLOv5的C3模块进行改进,旨在通过低成本的操作生成更多有价值的冗余特征图,有效减少模型参数和计算复杂度;最后,基于双向特征金字塔网络跨尺度特征融合的结构优势提出新型跨尺度特征融合模块,更好地适应不同尺度的目标检测任务;实验结果表明,与原始YOLOv5相比,改进的YOLOv5在安全帽检测任务上的mAP@.5:.95指标提升了2.3%,检测速度达到每秒35.2帧,满足复杂施工场景下安全帽佩戴检测的准确率和实时性要求。

多模态混合注意力机制的虚假新闻检测研究

探索高效的模态表示和多模态信息交互方法一直是多模态虚假新闻检测领域的热门话题,提出了一项新的虚假新闻检测技术(MAM)。MAM方法使用结合位置编码的自注意力机制和预训练的卷积神经网络分别提取文本和图像特征;引入混合注意力机制模块进行文本与图像特征交互,该模块使用了层级特征处理方法来减少多模态交互时产生的冗余信息,又使用了双向的特征融合手段保证训练信息的完整性;加权融合多模态特征并将其输入全连接网络中进行真假新闻分类。对比实验结果表明:相比现有的多模态基准模型,该方法几乎在各个分类指标上都提高3个百分点左右,此外,可视化实验发现混合注意力机制获得的多模态特征具有更强的泛化能力。

融合多模态特征的新闻短视频分类模型

视频分类是理解、归纳和检索视频数据的一个重要环节。新闻短视频具有音频信息比图像信息更能完整地描述新闻事件的特点,但传统视频分类模型常常只考虑图像信息或融合了音频和图像的多模态信息,并没有考虑模态信息之间的主辅关系。针对上述问题,采用以音频模态为主,图像模态为辅的融合机制,提出了融合多模态特征的新闻短视频分类模型。为进一步利用音频为主的特点,采用两阶段训练方式,使用音频模态单独训练,音频和图像模态联合训练,利用图像信息修正分类结果,提升新闻短视频分类的准确率。为训练和评价模型,采集了10304个新闻联播短视频作为实验数据集,总时长约为240 h。实验结果表明,所提模型的分类效果优于传统的新闻短视频分类模型。

基于多模态深度学习的虚假类新闻检测

针对目前网络中有些新闻存在虚假性,缺乏真实性等问题,根据假新闻所包含的数据特征进行分析,选取不同的特征提取方法来针对不同模态数据进行特征提取,并进行特征融合,提出了基于多模态特征融合的检测算法MMDM。首先基于外部信息的文本模态特征提取,然后融合图片物理及语义信息进行特征提取,最后对两个模块特征融合。实验结果表明,多模态特征融合算法检测性能优于其他方法。

基于改进YOLOv5s算法的行人检测方法

针对目前行人检测方法存在小目标检测难度大、漏检率高的问题,本文提出了一种改进YOLOv5s算法的行人检测方法。首先,增加一个小目标检测头,来增强模型对小目标的检测能力,根据自建数据集通过K-means聚类算法得到新的先验锚框尺寸;其次,将CA嵌入到YOLOv5s颈部网络的浅层位置和引入新型跨尺度特征融合模块加权特征融合来增强特征提取能力;最后,基于Ghost Bottleneck对YOLOv5s的C3模块进行改进,旨在通过低成本操作生成更多有价值冗余特征图,有效减少模型参数。实验结果表明,与原始YOLOv5s相比,改进的YOLOv5s算法在行人检测任务上的准确率P提高了3.3%,召回率R提高了2.9%,mAP_0.5:0.95提高了2.6%,且减少了12.7%参数量,整体性能有显著提升。

突发公共卫生事件背景下融合多粒度信息的虚假新闻检测研究

[目的/意义]解决现有突发公共卫生事件中虚假新闻检测存在的检测时效性弱、文本语义特征提取不全面问题。[方法/过程]从多粒度视角出发,通过预训练语言模型BERT抽取句子向量特征和字符向量特征,引入腾讯AI Lab开源词向量获取词语向量特征,再通过特征融合技术构建起富含多粒度信息的文本特征表示模型,最后利用卷积神经网络实现对融合特征的识别分类,以此构建起融合多粒度信息的虚假新闻检测模型MG-CNN。[结果/结论]本文提出模型的准确率、查全率和召回率分别为97.829%、97.592%和96.986%,其中F1值达到97.283%,较基线模型最大提升7.305%,较次优模型提升0.774%。融合多粒度信息特征的MG-CNN模型能够高效精准地检测出突发公共卫生事件中的虚假新闻。

基于标签路径特征融合的在线Web新闻内容抽取

精准地抽取新闻网页的内容,是提高Web新闻分析等应用系统工作质量的关键技术之一.由于缺少Web新闻出版的标准,存在大量不同的出版格式,并且Web本身是一种具有高度异构性的大数据载体,导致Web新闻内容抽取成为一个开放性问题.经大量实例分析发现,新闻网页内容与其上的标签路径存在潜在的关联性.因此,设计了标签路径特征系,以从不同视角区分网页内容和噪音.在特征相似性分析的基础上,提出了一种基于组合特征选择的特征融合策略,并设计了基于融合特征的Web新闻内容抽取方法 CEPF.CEPF是一种快速的通用、无需训练的在线Web新闻内容抽取算法,可抽取多种来源、多种风格、多种语言的Web新闻网页.在Clean Eval等测试数据集上的实验结果表明,CEPF方法优于CETR等抽取方法.

多特征融合文本聚类的新闻话题发现模型

融合新闻命名实体、新闻标题、新闻重要段落、文本语义等多特征影响,提出基于多特征融合文本聚类的新闻话题发现模型。模型根据新闻的多特征影响,提出一种多特征融合文本聚类方法。该方法针对新闻标题、新闻重要段落等特征因素构建向量空间模型及相似度算法,基于潜在狄利克雷分配模型构建主题空间模型及相似度算法,针对命名实体构建命名实体模型及相似度算法,并将三种相似度算法形成最优融合。基于多特征融合文本聚类方法,模型改进了用于新闻话题发现的Single-Pass算法。实验是在真实新闻数据集上开展的,实验结果表明:该模型有效地提高了新闻话题发现的准确率、召回率和综合评价指标,并具有一定的自适应能力。

融合NNDVI和纹理提取航空影像林地信息

针对如何有效利用高空间分辨率航空影像提取林地信息的问题,根据航空影像的特点,提出了基于影像新归一化植被指数(光谱特征)和形态学梯度(纹理特征)的融合模型。通过实验测试并验证了特征融合模型利用航空影像提取林地信息的效果;分析了航空影像的光谱特征和纹理特征对林地信息提取精度的影响.。结果表明:融合方法能够有效的利用航空影像提取林地信息,其最大加权单类分类成功指数达到97.36%,提取林地信息精度优于非融合方法。

融合多特征的新闻故事探测

探测出新闻故事的边界,将对新闻视频的结构化分析以及新闻视频的语义理解产生积极的作用.通过对新闻视频的结构进行分析,提出了一种融合镜头、播音员、标题字幕、静音等多种特征的新闻故事探测方法.该方法避免了依赖单特征探测新闻故事边界的不足,实验证明,该方法可以获得平均96%的故事边界探准率,能够较好地完成新闻故事边界探测的任务.

多特征融合的新闻视频单元高效分割方法研究

为了提高新闻视频单元分割的准确性和稳定性,提出了多特征融合的新闻视频单元高效分割技术。首先,通过基于重要性区域分析的局部直方图比较方法,实现新闻镜头的准确检测,并提取出每个镜头的关键帧。然后,检测出关键帧中的人脸信息,并针对局部直方图和人脸特征实现关键帧聚类,从而确定口播镜头的位置。最后,通过解析串联单进一步优化新闻单元分割的结果。在省、市、县播出的多个新闻视频上进行实验,结果表明该方法具有较高的可靠性和稳定性,能够准确高效地实现新闻单元的自动分割。

融合颜色信息与特征点的镜头边界检测算法

针对新闻视频镜头检测算法在高效和准确两个方面的要求很难平衡的问题,提出了一种融合全局特征与局部特征的融合算法。首先介绍了镜头边界检测的相关理论知识。接着,分别对基于H-S颜色直方图这一全局特征,以及尺度不变特征变换(SURF)特征点这一局部特征的镜头边界识别算法进行分析,并应用于新闻视频中进行相应的步骤设定;在此基础上,将两类典型的算法融合形成一种新的镜头边界检测算法。通过构建视频镜头检测软件平台,对其有效性进行验证。实验结果表明:融合算法能够充分发挥两类算法各自的优势,使新闻视频镜头的查准率和查全率指标得到平衡,同时大幅降低程序的运行时间,提高算法的效率和准确性。最后,对该算法进一步优化的方向作了展望。