A Contrastive Study of English and Chinese Taboos in Cross-cultural Communication

A commonly cultural phenomenon in the human history is taboo, which is a strong social prohibition related to any area of human society. Different social and cultural backgrounds will produce different taboos. Lacking the knowledge of social customs may cause conflicts in crosscultural communication. So it is necessary to know more about taboos. This paper analyzes the the cultural similarities and difference between Chinese and English taboos in a contrastive way in cross-cultural communication and stresses the importance of?understanding and mastering taboos, so that they can reduce the inter-communicative barriers and mistakes and improve their communicative ability.

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

对比特征增强的高架库小目标检测方法

针对高架库区场景下安全帽检测中目标特征信息少、分类精度低等问题,提出小目标对比特征增强网络。首先提出快速空间金字塔池化跨层融合模块,减少空间维度上的目标信息丢失。然后提出小目标对比特征增强模块,使用双路并行空洞卷积获取不同感受野,利用通道注意力获取特征图在通道维度上更为精准的特征信息,采用浅层特征图减去深层特征图的方法削弱浅层特征图中大目标信息,以增强小目标特征信息表达。加入高效通道注意力解耦检测头,通过将检测头解耦为分类和回归分支,分别学习目标的语义信息和位置信息。实验结果表明,在TT100K数据集上,所提方法的mAP@0.5比基准网络YOLOv5提高了6.4个百分点,比YOLOv7提高了1.9个百分点。在自建高架库数据集上,所提方法的mAP@0.5相比基准网络提高了4.9个百分点,其中安全帽的mAP@0.5相比基准网络提高了6.9个百分点。

基于对比图学习的跨文档虚假信息检测

当前,网络上充斥着大量虚假信息,严重阻碍了社会各行业的正常运转,如何精准检测虚假信息成为了亟待解决的问题。现有研究主要从账户特征、文本内容和多模态3个角度开展工作,但大多忽视了虚假信息赖以传播的关键特征(即内容新奇性),仅是孤立地分析判别目标信息的真实性,未能把握舆论环境的特征。因此,提出了一种基于对比图学习的跨文档虚假信息检测方法(Contrastive Graph Learning,CAL),聚焦于内容新奇性,主要包含两个关键模块:对比学习模块和异构图模块。前者致力于扩大客观事实与虚假信息在向量空间中的表示差异性;后者包含实体、事件、事件集、句子和文档5种类型实体,尽可能向实体表示中注入舆论环境的语义特征。最后,在IED,TL17和Crisis这3个数据集上,在文档级和事件级这两个层次上开展了相关实验,CAL在所有测试中均取得了最优的结果,验证了所提方法的有效性。

基于对比学习的跨语言代码克隆检测方法

代码克隆检测是提高软件开发效率、软件质量和可靠性的重要手段。基于抽象语法树(abstract syntax tree,AST)的单语言克隆检测已经取得了较为显著的效果,但跨语言代码的AST节点存在同义词、近义词且手工标注数据集成本高等问题,限制了现有克隆检测方法的有效性和实用性。针对上述问题,提出一种基于对比学习的树卷积神经网络(contrastive tree convolutional neuraln etwork,CTCNN)的跨语言代码克隆检测方法。该方法首先将不同编程语言的代码解析为AST,并对AST的节点类型和节点值作同义词转换处理,以降低不同编程语言AST之间的差异;同时,采用对比学习扩充负样本并对模型进行训练,使得在小样本数据集下能够最小化克隆对之间的距离,最大化非克隆对之间的距离。最后在公开数据集上进行了评测,精确度达到95.26%、召回率为99.98%、F_(1)为97.56%。结果表明,相较于现有的最好的CLCDSA和C4方法,该模型的检测精度分别提高了432%和3.73%,其F_(1)值分别提升了29.84%和6.29%,证明了所提模型是一种有效的跨语言代码克隆检测方法。

基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型

本文针对具有挑战性的多语言文本-视频跨模态检索问题进行研究.传统文本-视频跨模态检索模型通常针对单一语言进行设计,比如英语,模型仅支持某一特定语言的文本查询.如果有不同语言检索需求,则需另收集目标语言的训练数据并重新训练构建新的检索模型,这使得模型很难快速有效地适用于其他语言的检索任务.近年来,针对多语言问题的研究逐渐深入,这为多语言跨模态检索的实现打下了良好的基石.为了解决多语言跨模态检索问题,本文提出了一种简单有效的基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型,将不同语言与视觉信息映射到同一公共空间.该空间以视频向量为锚点,分别与不同的语言向量进行对齐,以此实现多语言跨模态的学习,由此建立了统一的多语言学习框架,使用一个模型满足了多语言的检索需求并探究了不平行语料库、平行语料库、伪平行语料库三种训练场景下的模型性能.同时,在多语言建模中有效地利用了不同语言之间的互通性和互补性,弥补了单语言文本特征表达的不足;并在文本端与视频端引入了基于对比学习的抗噪音鲁棒性学习方法,进一步提升了不同模态特征的表示能力.在VATEX、MSR-VTT多语言数据集上实验的数据证明,本文模型不仅能够简单快速地适用于多种语言检索任务,模型性能也较为突出,在较为常见的伪平行场景下和最先进的方法相比,中文VATEX和MSR-VTT在总召回率上分别提升了约5.97%和1.37%.

CMHICL:基于跨模态分层交互网络和对比学习的多模态讽刺检测

多模态讽刺检测的关键在于有效地对齐和融合不同模态的特征。然而,现有融合方法通常忽略多模态间组成结构的关系,并且在识别讽刺时也经常忽略多模态数据中与讽刺情感相关的共同特征的重要性。因此,提出一种基于跨模态分层交互网络和对比学习的模型。首先,跨模态分层交互网络采用了基于交叉注意力机制的最小单元对齐模块和基于图注意力网络的组成结构融合模块,从不同层面上识别文本和图像之间的不一致性,将低一致性的样本判定为含讽刺意味的样本。其次,该模型通过数据增强和类别增强两个对比学习任务,帮助学习讽刺相关的共同特征。实验结果表明,所提模型与基线模型相比,准确率提升了0.81%,F_(1)值提升了1.6%,验证了提出的分层交互网络和对比学习方法在多模态讽刺检测中的关键作用。

面向跨模态检索的查询感知双重对比学习网络

近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,提出一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络(QACLN),该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,提出一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.

虚拟对抗训练的跨域块对比半监督细胞核分割

针对目前细胞核的半监督对比学习语义分割质量高度依赖于平滑、正确伪标签的预测等问题,提出了虚拟对抗训练的跨域块对比学习半监督细胞核语义分割方法。该方法将虚拟对抗训练(VAT)方法融入到跨域块对比学习半监督细胞核语义分割模型中用以提升网络预测伪标签的平滑度与准确度,并使用像素自加权的一致性正则化损失替换原有的人工设置高置信度阈值的一致性正则化损失,对图像中各像素的损失自加权,正确地对网络预测的伪标签进行有效利用。实验结果表明,在有标签图片比例为1/32,1/16和1/8下,该方法在MoNuSeg数据集上的医学图像分割评估指标Dice系数和Jaccard系数分别较CDCL模型提升了0.96百分点和1.11百分点,0.74百分点和0.85百分点,1.40百分点和2.00百分点,在DSB数据集上的Dice系数和Jaccard系数分别较CDCL模型提升了1.69百分点和2.27百分点,1.47百分点和2.19百分点,1.24百分点和1.77百分点。

跨视图时序对比学习的自监督视频表征算法

现有的自监督表征算法主要关注视频帧之间的短期运动特性,但是帧间动作序列的变化幅度较小,而且单视图数据因语义受限影响深度特征表达能力,视频动作中丰富的多视图信息未被充分利用。为此提出基于跨视图语义一致性的时序对比学习算法,自监督学习RGB帧和光流场两种数据中蕴含的动作时序变化特性,主要思路为:设计局部时序对比学习方法,采用不同正负样本划分策略,挖掘同一实例不重叠片段之间的时序相关性和判别可分性,增强细粒度特征表达能力;研究全局对比学习方法,通过跨视图语义协同训练来增加正样本,学习多实例不同视图的语义一致性,提高模型的泛化能力。通过两个下游任务对模型效果进行评估,在UCF101和HMDB51数据集的实验结果表明,所提方法在动作识别和视频检索任务上,较前沿主流方法平均提升了2~3.5个百分点。

基于跨模态交互与特征融合网络的假新闻检测方法

近年来,假新闻的激增对人们的决策过程产生了不利影响。现有的假新闻检测方法大多强调对多模态信息(如文本和图像)的探索和利用。然而,如何为检测任务生成有鉴别性的特征并有效地聚合不同模态的特征以进行假新闻检测,仍然是一个开放性问题。文中提出了一种新颖的假新闻检测模型,即跨模态交互与特征融合网络(Cross-modal Interaction and Feature Fusion Network,CMIFFN)。为了生成有鉴别性的特征,所提方法设计了一个基于监督对比学习的特征学习模块,通过同时进行模态内和模态间的监督对比学习,来确保异类特征相似度更小,同类特征相似度更大。此外,为了挖掘更多有用的多模态信息,所提方法设计了多阶段跨模态交互模块,通过多阶段的跨模态交互,学习带有图结构信息的跨模态交互特征。所提方法引入基于一致性评估的注意力机制,通过学习多模态一致性权重,来有效聚合模态特定特征和跨模态交互特征。在两个基准数据集Weibo和Twitter上的实验表明,CMIFFN明显优于现有的多模态假新闻检测方法。

基于对齐性和均匀性约束的图神经网络会话推荐方法

会话推荐(session-based recommendation,SBR)旨在匿名状态下通过用户的短期历史行为序列来预测下一个待点击的项目。为解决现有基于图神经网络(graph neural networks,GNNs)的会话推荐方法忽略会话中不同位置相同项目之间差异的问题,在图卷积获得项目表示后,进一步考虑该项目与相邻项目之间的相关性,生成邻域相关的项目表示。此外,鉴于对齐性和均匀性在对比学习中的起到的重要作用,还提出了一种适用于会话推荐的对齐性和均匀性损失方法,以约束生成的会话表示和项目表示。在3个公开数据集上的实验表明,文中提出的模型TAU-GNN的推荐性能优于对比的主流会话推荐模型。

面向汉越跨语言事件检索的事件预训练方法

汉越跨语言事件检索是用汉语查询检索越南语事件新闻的任务。由于越南语属于典型的低资源语言,汉越跨语言事件检索缺乏大规模的标注数据,并且现有的跨语言预训练模型无法很好地表征文本中丰富的汉越对齐事件知识,不适用于该任务。因此,为了将汉越双语对齐的事件知识融入到多语言预训练语言模型中,该文提出了两个预训练方法,即事件要素掩码预训练以及跨语言事件对比预训练。在该文构造的汉越跨语言事件检索数据集和公开跨语言问答数据集上进行了实验,比基线提升1%~3%MAP值,2%~4%NDCG值,证明了该文方法的有效性。

用于小样本跨语言文本分类的元对比学习框架

众多的安全风控问题均为文本分类问题,国际场景下的舆情分析等风控问题涉及多种语言,是一大难点。先前的研究表明,通过跨语言语义知识迁移可以显著提高小样本文本分类任务的性能。然而,跨语言文本分类的发展仍面临着一系列挑战。获得语义无关的文本表征是一项困难的任务。不同语言之间的语法结构和句法规则引起文本表征的差异,因此提取通用的语义信息较为困难。此外,跨语言文本分类的标签数据十分稀缺。在很多现实场景中,只能获得少量的标记数据,这严重降低了许多方法的性能。因此需要有效的方式能够在小样本情况下准确地迁移知识,提高分类模型的泛化能力。为应对这些挑战,提出了集成对比学习和元学习的框架,该框架集成了对比学习和元学习的优势,利用对比学习来提取与语言无关的通用语义信息,同时利用元学习快速泛化的优势来改善小样本场景中的知识迁移。此外,提出了基于任务的数据增强方法,以进一步提高所提框架在小样本跨语言文本分类中的性能。通过在两个广泛使用的多语言文本分类数据集上进行大量实验,证实了所提方法能够有效提升文本分类的准确性,可有效应用于风控安全领域。

结合视觉文本匹配和图嵌入的可见光-红外行人重识别

对于可见光-红外跨模态行人重识别(Re-ID),大多数方法采用基于模态转换的策略,通过对抗网络生成图像,以此建立不同模态间的相互联系。然而这些方法往往不能有效降低模态间的差距,导致重识别性能不佳。针对此问题,该文提出一种基于视觉文本匹配和图嵌入的双阶段跨模态行人重识别方法。该方法通过上下文优化方案构建可学习文本模板,生成行人描述作为模态间的关联信息。具体而言,在第1阶段基于图片-文本对的预训练(CLIP)模型实现同一行人不同模态间的统一文本描述作为先验信息辅助降低模态差异。同时在第2阶段引入基于图嵌入的跨模态约束框架,设计模态间自适应损失函数,提升行人识别准确率。为了验证所提方法的有效性,在SYSU-MM01和Reg DB数据集上进行了大量实验,其中SYSU-MM01数据集上的首次命中(Rank-1)和平均精度均值(m AP)分别达到64.2%,60.2%。实验结果表明,该文所提方法能够提升可见光-红外跨模态行人重识别的准确率。

基于特征过滤与特征解耦的域泛化模型

针对跨场景情况下图像亮度不一致导致的深度缺陷检测模型泛化性能差的问题,提出基于特征过滤与特征解耦的域泛化(FF-FDDG)模型.模型包含设计的亮度过滤-残差模块(LFR),该模块通过实例归一化过滤亮度变化特征,并从被过滤的特征中提取缺陷高相关性且亮度低关联性的特征,并将这些特征与实例级归一化后的特征进行融合,以增强模型在跨场景图像亮度变换情况下的泛化能力.提出对比白化损失(CWL)函数,该函数通过解耦特征中亮度变换特征和缺陷纹理特征,引导模型学习缺陷纹理特征,以提升模型泛化能力.在从光伏电池制造环境中收集的跨场景光伏电池表面缺陷数据上进行实验,结果表明,相较于现阶段最先进的域泛化模型,所提出的FF-FDDG在跨场景情况下的平均检测精度(mAP)均值提升5.01%.

融合图像信息的越汉跨语言新闻文本摘要方法

[目的]为了有效剔除冗余文本信息,提高摘要简洁性同时充分利用图像信息提高摘要准确性,对融合图像信息的越汉跨语言新闻文本摘要方法进行研究.[方法]首先利用文本编码器和图像编码器对越南语新闻文本和图像进行表征,其次利用图文对比损失增强图像和文本表征的一致性,迫使越南语的表征空间趋近于与语言无关的图像表征空间,然后利用图文融合器进行图像和文本的有效融合,增强新闻文本的关键信息提取能力,最后利用摘要解码器生成中文摘要.[结果]在本文构建的越汉多模态跨语言摘要数据集上,相较于对比方法,本方法生成的摘要具备更高的ROUGE分数、信息量、简洁度和流畅度.[结论]引入图像信息有利于生成高质量的跨语言摘要;采用单任务直接学习两种语言的互动信息可以降低将跨语言摘要分解为多任务带来的误差累积.

基于对比学习和GIF标记的多模态对话回复检索

社交媒体网站上使用GIF(Graphics Interchange Format)作为消息的回复相当普遍。但目前大多方法针对问题“如何选择一个合适的GIF回复消息”,没有很好地利用社交媒体上的GIF附属标记信息。为此,提出基于对比学习和GIF标记的多模态对话回复检索(CoTa-MMD)方法,将标记信息整合到检索过程中。具体来说就是使用标记作为中间变量,文本→GIF的检索就被转换为文本→GIF标记→GIF的检索,采用对比学习算法学习模态表示,并利用全概率公式计算检索概率。与直接的文本图像检索相比,引入的过渡标记降低了不同模态的异质性导致的检索难度。实验结果表明,CoTa-MMD模型相较于深度监督的跨模态检索(DSCMR)模型,在PEPE-56多模态对话数据集和Taiwan多模态对话数据集上文本图像检索任务的召回率之和分别提升了0.33个百分点和4.21个百分点。

基于领域知识图谱和对比学习的汉越跨境民族文本检索方法

汉越跨境民族文本检索是一类面向领域的跨语言检索任务,旨在以一种语言作为问题查询,检索出另一种语言对应的民族、宗教、文化习俗等跨境民族文档.但在汉越跨境民族文本检索任务中存在大量不常见的领域实体,实体表达形式多样,且中文和越南语两种语言领域实体没有直接对应关系,导致跨语言领域词对齐和语义对齐困难,进而影响汉越跨境民族文本检索模型性能.基于此,提出一种基于领域知识图谱和对比学习的汉越跨境民族文本检索方法.首先,利用多头注意力机制将汉越跨境民族领域知识图谱融入查询和文档,丰富查询和文档中不常见的跨境民族领域实体信息;然后,引入对比学习来解决跨语言查询和文档的语义表征对齐困难问题;最后,将融入知识图谱的查询和文档表征之间的相似度计算作为相关性分数.实验表明,提出的方法和基线模型相比,性能提高了4.1%.

Contrastive Analysis of Chinese and Western Verbal Humor

Verbal humors are indispensable parts of culture. Researchers have analyzed the differences from cross-cultural perspective, few have considered their similarities. This thesis analyzes the similarities between Chinese and Western verbal humors from the fuzzy speech, fuzzy meaning, fuzzy sentence semantics and further compares differences regarding topics, objects, expressing styles and occasions. From these perspectives, this thesis explores the culture reasons from attitudes towards hierarchy and life philosophies. Thus, the similarities and differences between Chinese and Western verbal humors can promote the understanding of the other culture, as well as improve the cross-cultural awareness for effective communication.