随着社交网络平台的迅速发展,网络欺凌问题日益突出,文本与图片相结合的多样化网络表达形式提高了网络欺凌的检测和治理难度.构建了一个包含文本和图片的中文多模态网络欺凌数据集,将BERT(bidirectional encoder representations from t...随着社交网络平台的迅速发展,网络欺凌问题日益突出,文本与图片相结合的多样化网络表达形式提高了网络欺凌的检测和治理难度.构建了一个包含文本和图片的中文多模态网络欺凌数据集,将BERT(bidirectional encoder representations from transformers)模型与ResNet50模型相结合,分别提取文本和图片的单模态特征,并进行决策层融合,对融合后的特征进行检测,实现了对网络欺凌与非网络欺凌2个类别的文本和图片的准确识别.实验结果表明,提出的多模态网络欺凌检测模型能够有效识别出包含文本与图片的具有网络欺凌性质的社交网络帖子或者评论,提高了多模态形式网络欺凌检测的实用性、准确性和效率,为社交网络平台的网络欺凌检测和治理提供了一种新的思路和方法,有助于构建更加健康、文明的网络环境.展开更多
基于脑电信号(Electroencephalogram,EEG)和周围生理信号解码人类内部情绪状态是情感计算领域的关键,但使用脑电信号或周围生理信号模态的机器学习模型性能可能受到限制。文中基于单模态方法提出了一种多模态融合策略,对每个脑电信号片...基于脑电信号(Electroencephalogram,EEG)和周围生理信号解码人类内部情绪状态是情感计算领域的关键,但使用脑电信号或周围生理信号模态的机器学习模型性能可能受到限制。文中基于单模态方法提出了一种多模态融合策略,对每个脑电信号片段提取了微分熵特征、统计特征和复杂度特征,并对这些特征与周围生理信号特征进行了适当整合。文中方法融合了DEAP(Database for Emotion Analysis using Physiological Signals)数据集中记录的多个模态特征。在效价方面,单一脑电特征的实验精度为49.21%,两类特征融合分别取得了56.39%、55.24%和56.98%的分类精度,3类模态融合的实验精度为56.98%。在唤醒方面,单一脑电特征的实验精度为49.34%,两类特征融合分别取得了54.53%、54.53%和59.39%的分类精度,3类特征融合的实验精度为55.48%。实验结果表明,脑电信号特征和外周围生理信号特征融合后的多模态特征分类精度最高,相比于单一的脑电信号特征分类精度分别提升了7.77%和10.05%。展开更多
多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学...多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学习模态数据的映射关系,以红外-可见光-红外(IR-VIS-IR)和可见光-红外-可见光(VIS-IR-VIS)的双向反馈调节实现模态间噪声的交叉抑制;然后,构建跨模态特征交互(CMFI)模块,并引入残差结构将红外-可见光模态内以及模态间的低层特征和高层特征进行有效融合,从而减小模态间的差异并充分利用模态间的特征信息;最后,在自建红外-可见光多模态台风数据集及RGB-NIR多模态公开场景数据集上进行实验,以验证DAE模块和CMFI模块的有效性。实验结果表明,与简单级联融合方法相比,所提的基于DAINet的特征融合方法在自建台风数据集上的红外模态和可见光模态上的总体分类精度分别提高了6.61和3.93个百分点,G-mean值分别提高了6.24和2.48个百分点,表明所提方法在类别不均衡分类任务上的通用性;所提方法在RGB-NIR数据集上的2种测试模态下的总体分类精度分别提高了13.47和13.90个百分点。同时,所提方法在2个数据集上分别与IFCNN(general Image Fusion framework based on Convolutional Neural Network)和DenseFuse方法进行对比的实验结果表明,所提方法在自建台风数据集上的2种测试模态下的总体分类精度分别提高了9.82、6.02和17.38、1.68个百分点。展开更多
以Gunther Kress和Theo van Leeuwen的视觉语法理论为分析框架,通过对南京旅游英文官网的案例研究,分析旅游网站多模态话语的再现意义、互动意义和构图意义。研究发现,南京旅游英文网站使用大量图片视觉符号资源构建意义,图片符号与文...以Gunther Kress和Theo van Leeuwen的视觉语法理论为分析框架,通过对南京旅游英文官网的案例研究,分析旅游网站多模态话语的再现意义、互动意义和构图意义。研究发现,南京旅游英文网站使用大量图片视觉符号资源构建意义,图片符号与文字符号协同作用,对观看者产生视觉上的冲击,达到良好的宣传效果。不足之处在于,叙事再现图片占比较低,人物参与者缺乏与观看者的正面接触,图片设计者多采用中、远镜头,虽客观呈现景物特点,但与观看者保持较为疏远的关系。建议网站丰富再现意义的类型,增加叙事再现的使用,增加参与者与观看者的正面接触;适当采取前景化、分割线等手段,借用近距离镜头将观看者代入到图片情境中。展开更多
文摘随着社交网络平台的迅速发展,网络欺凌问题日益突出,文本与图片相结合的多样化网络表达形式提高了网络欺凌的检测和治理难度.构建了一个包含文本和图片的中文多模态网络欺凌数据集,将BERT(bidirectional encoder representations from transformers)模型与ResNet50模型相结合,分别提取文本和图片的单模态特征,并进行决策层融合,对融合后的特征进行检测,实现了对网络欺凌与非网络欺凌2个类别的文本和图片的准确识别.实验结果表明,提出的多模态网络欺凌检测模型能够有效识别出包含文本与图片的具有网络欺凌性质的社交网络帖子或者评论,提高了多模态形式网络欺凌检测的实用性、准确性和效率,为社交网络平台的网络欺凌检测和治理提供了一种新的思路和方法,有助于构建更加健康、文明的网络环境.
文摘基于脑电信号(Electroencephalogram,EEG)和周围生理信号解码人类内部情绪状态是情感计算领域的关键,但使用脑电信号或周围生理信号模态的机器学习模型性能可能受到限制。文中基于单模态方法提出了一种多模态融合策略,对每个脑电信号片段提取了微分熵特征、统计特征和复杂度特征,并对这些特征与周围生理信号特征进行了适当整合。文中方法融合了DEAP(Database for Emotion Analysis using Physiological Signals)数据集中记录的多个模态特征。在效价方面,单一脑电特征的实验精度为49.21%,两类特征融合分别取得了56.39%、55.24%和56.98%的分类精度,3类模态融合的实验精度为56.98%。在唤醒方面,单一脑电特征的实验精度为49.34%,两类特征融合分别取得了54.53%、54.53%和59.39%的分类精度,3类特征融合的实验精度为55.48%。实验结果表明,脑电信号特征和外周围生理信号特征融合后的多模态特征分类精度最高,相比于单一的脑电信号特征分类精度分别提升了7.77%和10.05%。
文摘多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学习模态数据的映射关系,以红外-可见光-红外(IR-VIS-IR)和可见光-红外-可见光(VIS-IR-VIS)的双向反馈调节实现模态间噪声的交叉抑制;然后,构建跨模态特征交互(CMFI)模块,并引入残差结构将红外-可见光模态内以及模态间的低层特征和高层特征进行有效融合,从而减小模态间的差异并充分利用模态间的特征信息;最后,在自建红外-可见光多模态台风数据集及RGB-NIR多模态公开场景数据集上进行实验,以验证DAE模块和CMFI模块的有效性。实验结果表明,与简单级联融合方法相比,所提的基于DAINet的特征融合方法在自建台风数据集上的红外模态和可见光模态上的总体分类精度分别提高了6.61和3.93个百分点,G-mean值分别提高了6.24和2.48个百分点,表明所提方法在类别不均衡分类任务上的通用性;所提方法在RGB-NIR数据集上的2种测试模态下的总体分类精度分别提高了13.47和13.90个百分点。同时,所提方法在2个数据集上分别与IFCNN(general Image Fusion framework based on Convolutional Neural Network)和DenseFuse方法进行对比的实验结果表明,所提方法在自建台风数据集上的2种测试模态下的总体分类精度分别提高了9.82、6.02和17.38、1.68个百分点。
文摘以Gunther Kress和Theo van Leeuwen的视觉语法理论为分析框架,通过对南京旅游英文官网的案例研究,分析旅游网站多模态话语的再现意义、互动意义和构图意义。研究发现,南京旅游英文网站使用大量图片视觉符号资源构建意义,图片符号与文字符号协同作用,对观看者产生视觉上的冲击,达到良好的宣传效果。不足之处在于,叙事再现图片占比较低,人物参与者缺乏与观看者的正面接触,图片设计者多采用中、远镜头,虽客观呈现景物特点,但与观看者保持较为疏远的关系。建议网站丰富再现意义的类型,增加叙事再现的使用,增加参与者与观看者的正面接触;适当采取前景化、分割线等手段,借用近距离镜头将观看者代入到图片情境中。
