基于多模态表征的移动应用GUI模糊测试框架

GUI模糊测试在提升移动应用可靠性和兼容性方面发挥着关键作用.然而,现有的GUI模糊测试方法大多效率较低,主要原因是这些工作过于粗粒度,仅基于单一模态的特征来整体理解GUI页面,应用状态的过度抽象使得许多细节信息被忽略,导致对GUI状态及小部件的理解不足.为了解决上述问题,提出了一种基于多模态表征的移动应用GUI模糊测试框架GUIFuzzer.该框架通过考虑多模态特征,如视觉特征、布局上下特征和细粒度的元属性特征,来联合推断GUI小部件的语义;然后,训练一个多层次奖励驱动的深度强化学习模型来优化GUI事件选择策略,提高模糊测试的效率.在大量的真实应用上对所提框架进行了评估.实验结果表明:与现有的竞争性基线相比,GUIFuzzer显著地提升了模糊测试的覆盖率.还对特定目标的定制化搜索即敏感API触发进行了案例研究,进一步验证了GUIFuzzer框架的实用性.

儿童情绪绘本中情绪隐喻的多模态表征认知研究

本文基于认知隐喻视角,选取25本获过权威奖项的儿童情绪绘本为语料,借助多媒体数据分析软件Nvivo12对所甄别的数据进行定性和定量分析,探讨儿童情绪绘本中情绪隐喻的多模态表征类型,并结合实例剖析其背后的认知意义,以期为儿童读者识解抽象的情绪概念提供合适的切入点,提高其情绪认知能力。

4～5岁汉语儿童否定行为的多模态表征特点

否定行为是一类常见的儿童交际行为。除了语言否定,儿童还会通过手势语、身势动作等非语言符号,以及语言与非语言符号的协同使用来实施否定。本研究深入考察两名4耀5岁汉语普通话儿童的多模态否定行为的类型及其表征,结果发现与更年幼的儿童相比,4耀5岁汉语儿童的多模态否定交际能力得到进一步发展,能够依据语境实施不同的多模态否定行为;该年龄段儿童具备使用语言否定、非语言否定、语言与非语言协同否定三种表征方式来实施否定行为的多模态交际能力,但以语言否定为主导,且模态互动关系有并列、互补和强化三种。在多模态交际日益普遍化的时代背景下,包括多模态否定在内的多模态交际能力已成为儿童今后必备的一项重要交际能力。家长与儿童教育工作者需要合理给予儿童借助多模态符号自由表征其否定行为的机会,并及时思考和发现个体儿童多模态否定行为表征特点背后可能反映出的儿童心理与多模态交际能力方面的问题,帮助儿童获得心理与多模态交际能力的同步健康发展,从而更好地适应未来普遍化的多模态交际环境。

电影中的“愤怒”隐喻多模态表征

有别于动画片,电影广泛使用面部表情符号、体势符号、行为/事件符号和环境、自然力量符号等四类多模态符号表征"愤怒"。相对于漫画、动画片较高频次地使用面部表情符号和体势符号表征"愤怒",电影使用行为/事件符号和环境、自然力量符号的频次较高。电影中多模态符号表征的隐喻概念与语言模态基本一致,认知模式突显"试图控制愤怒"和"失控"/"愤怒转移"两个阶段。

认知隐喻学视阈下吉祥图案模态表征及隐喻运作方式探析

基于认知隐喻学相关理论,对吉祥图案代表性语料中多种模态隐喻的界定以及各类隐喻运作方式的分析,发现吉祥图案中的隐喻可通过自然形纹样、吉祥语文字、文字图符、颜色、造型、几何纹样及语境等多种模态呈现;根据概念隐喻源域到目标域的映射关系,吉祥图案中的多模态隐喻运作方式可分为七类:“源域自然形纹样—目标域语境”“源域自然形纹样兼文字—目标域语境”“源域自然形纹样—目标域吉祥语文字”“源域自然形纹样兼文字图符—目标域吉祥语文字”“源域颜色—目标域语境”“源域造型—目标域语境”以及“源域几何纹样—目标域语境”。拓宽多模态隐喻研究范围,为吉祥图案文化隐喻的解读和应用提供新的启示和思路是文章的研究价值。

深度多模态表征学习概述

多模态表征学习旨在缩小不同模态数据之间的异质性差距。近年来,基于深度学习的多模态表征学习因其强大的多层次抽象表征能力而备受关注。文章提供了关于深度多模态表征学习的全面调查。文章将深度多模态表示学习方法分为三个框架:联合表示、协调表示和编解码器。此外,还回顾了该领域的一些典型模型,从传统模型到新开发的技术。重点介绍了新开发技术的关键问题,如编码器-解码器模型、生成性对抗网络等。最后,对今后的工作提出了一些重要的方向。

防疫科普话语的多模态表征研究——以世卫组织新冠肺炎疫情防控指南为例

后疫情时代,针对疫情科普话语的研究逐渐受到重视。以张德禄的多模态话语分析理论框架为基础,探究世界卫生组织所发布的防疫科普语料中的多模态话语表征方式及关系。研究发现,这些语料包含语言、图觉、感觉等多种模态类型,其中,语言模态占主导地位,图觉模态和感觉模态都是对语言模态的补充,起到突出和强化语言模态表达效果的作用。

基于多视图表征的虚假新闻检测

社交网络已经成为人们日常生活中获取和分享信息的主要渠道,同时也为虚假新闻的传播提供了捷径。如今,针对网络虚假新闻的检测问题受到学术界的广泛关注,但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方向不同的问题,有待改进。文章提出一种基于新闻内容、用户信息和新闻传播3种视角的多视图表征和检测的模型MVRFD(Multi-View Representations for Fake News Detection),为虚假新闻检测任务提供更全面的视角。首先,利用协同注意力机制表征新闻内容中的多模态信息,使用具有不同方向的图神经网络聚合新闻传播过程中的用户信息和观点信息;然后,利用双协同注意力机制实现多个视角间的信息交互;最后,将新闻内容特征和新闻上下文特征进行融合。在公开数据集上的实验结果表明,文章所提出的模型实现了96.7%的准确率和96.8%的F1值,优于主流的文本处理模型以及基于单视角的检测模型。

跨模态表征与生成技术

多媒体数据持续呈现爆发式增长并显现出异源异构的特性,因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余,从而获得更为有效的特征表示;跨模态生成则是基于模态之间的语义一致性,实现不同模态数据形式上的相互转换,有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展,包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中,传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征,多模态大模型表示学习探讨了基于Transformer的模型研究,图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展,跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性,对比了国内外研究方面的进展情况,梳理了发展脉络和学术研究的前沿动态。最后,根据上述分析展望了跨模态表征与生成的发展趋势和突破口。

奇幻电影《水形物语》中“愤怒”的多模态隐喻表征研究

先分析双域型网络被单独用于多模态隐喻分析的不足之处,然后根据Brandt提出的认知诗学整合模型以及赵秀凤提出的多模态隐喻概念整合模型,对多模态隐喻意义整合模型进行细微调整,并将这一概念整合模型与双域型网络相结合,建立新的多模态隐喻概念整合模型。以这一新的多模态隐喻概念整合模型为理论基础,从双域型网络的3个子网络:双边共享拓扑网络、不对称双边网络和双边非填充共享拓扑网络,分析“愤怒”这一基本情感的多模态隐喻表征模式,研究结果表明:一是多模态隐喻概念整合模型中的意义空间在隐喻映射过程中产生的隐喻意义,能够为影片中人物情感的多模态隐喻表征提供认知理据;二是研究中构建的多模态隐喻概念整合模型在隐喻意义整合过程中,充分考虑了动态文本中的多种模态和语境背景,因此更能突出多模态隐喻在分析文本的主题意义,证明这一模型能为多模态隐喻理论体系的建立提供参考。

多模态视觉语言表征学习研究综述

我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化,然后与文本特征通过一个强大的特征抽取器产生出表征,其中,Transformer作为主要的特征抽取器被应用表征学习的各类任务中.分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.

环保公益广告中的多模态隐喻表征类型研究——以保护水资源公益广告为例

结合国内外多模态隐喻表征研究的相关成果,在Forceville的多模态隐喻理论框架内,以中华环保基金会官网上收集的90篇保护水资源公益广告为语料来源,本文研究了该类公益广告中多模态隐喻的主要表征类型及其隐喻映射的语类特点。研究表明,保护水资源公益广告中存在六种多模态隐喻表征类型,图像、文字、文图是保护水资源公益广告多模态隐喻表征的三种主要模态,而图像-文字、图像-文图两类表征的出现频率最高。论文结合具体实例分析并阐释了多模态隐喻表征背后的认知理据,其研究结果在一定程度上丰富了公益广告的语类特点研究,同时也为公益广告设计者提供了一定的启发。

陶瓷涂层材料多模态数据表征学习

陶瓷涂层具有耐高温、耐腐蚀、耐磨损等特性,其热膨胀系数和热导率等参数与其性能息息相关.为解决陶瓷涂层性能实验成本高、测试困难等问题,提出了陶瓷涂层材料多模态数据表征学习的性能预测方法.首先利用高斯混合模型虚拟样本生成(G aussian mixture model virtual sample generation,GMMVSG)算法生成符合真实陶瓷涂层数据分布的样本来扩充数据集;其次利用卷积神经网络VGG16对陶瓷涂层的显微结构图像数据进行特征提取,利用TabNet对结构化数据进行特征提取,将提取到的图像数据特征与结构化数据特征融合;最终根据多模态数据表征建立基于K-最近邻(K-nearest neighbor,KNN)、支持向量机回归(support vector regression,SVR)和多层感知机(multi-layer perceptron,MLP)3种机器学习算法的预测模型,对陶瓷涂层的性能指标,即热膨胀系数和热导率进行了预测.实验结果表明:提出的多模态数据表征学习模型的预测结果要优于单模态数据表征学习模型,其中基于MLP算法训练的多模态数据表征学习模型对陶瓷涂层性能的预测效果最好;在测试集中,对陶瓷涂层热膨胀系数预测的平均绝对误差(mean absolute error,MAE)和均方误差(mean square error,MSE)分别为0.0266和0.0017,对热导率预测的MAE和MSE分别为0.0179和0.0007.所提出的陶瓷涂层材料多模态数据表征学习方法有效融合了结构化数据与非结构化数据,联合学习了各模态数据的潜在共享信息,成功提升了对陶瓷涂料层材料性能预测的准确度.

新时代我国征兵宣传片的多模态隐喻研究——以2015~2020征兵宣传片为例

文章选取我国2015~2020年17部征兵宣传片作为多模态语料,运用MIP多模态隐喻识别法,分析得出宣传片中多模态隐喻类别共计别34种,多模态表征类型共计13种。结合语料和习近平总书记提出的新时代“四有”军人的要求,进行军人形象的多模态隐喻分析,并构建宣传片的多模态隐喻表征模式,以完善征兵宣传片的宣传效果和教育劝说功能。

基于模态特异及模态共享特征信息的多模态细粒度检索

跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及细粒度样本特征差异小等难题。引入模态特异特征及模态共享特征的概念,提出一种多模态细粒度检索框架MS2Net。使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,将两种特征通过多模态特征融合模块进行充分融合,同时利用各个模态自身的特有信息及不同模态数据间的共性及联系,增加高维空间向量中包含的语义信息。针对多模态细粒度检索场景,在center loss函数的基础上提出multi-center loss函数,并引入类内中心来聚集同类别且同模态的样本,根据聚集类内中心来间接聚集同类别但模态不同的样本,同时消减样本间的异构鸿沟及语义鸿沟,增强模型对高维空间向量的聚类能力。在公开数据集FG-Xmedia上进行一对一与一对多的模态检索实验,结果表明,与FGCrossNet方法相比,MS2Net方法 mAP指标分别提升65%和48%。

基于深度学习的多模态新闻数据主题发现研究

【目的】基于多模态学习方法,对新闻中文本和图片相结合内容,构建多模态主题模型,自动挖掘新闻中的潜在主题。【方法】采用结合词嵌入的主题模型,从图片和文本两方面进行主题建模,并且使用多模态联合表征学习和协同表征学习的方法进行特征融合。最后,对发现的多模态新闻主题进行可视化分析,结合N15News数据集进行实证研究。【结果】实验结果表明,相对于仅使用文本特征的Label-ETM,多模态主题建模方法可以获得更好的主题的可解释性和多样性。这说明多模态主题建模方法具有一定的可行性与合理性。【局限】本文假设新闻中的图片和文字在语义和主题上是相关的,在弱相关和不相关领域多模态融合方法仍需要改善。【结论】多模态主题建模可以发现不同模态数据之间的联系,提高发现主题的多样性。

Characterizing and Analyzing the Airflow Field inside the Nozzle Block of Murata Vortex Spinning

A three-dimensional computational fluid dynamics model is developed by software Fluent 6.2, to simulate the flow field inside the nozzle block of the Murata vortex spinning. The flowing state and the distribution law of static pressure and velocity are characterized and analyzed. The relationship between the flowing state and the structure of the vortex spun yarn is also discussed. The research results can enhance the understanding of the yarn formation principle from viewpoint of the airflow field law inside the nozzle block of Murata vortex spinning.

Solving Laguerre-Gauss Mode Eigenvectors and Eigenfunctions in Entangled State Representation

We solve the Laguerre-Gauss mode eigenvectors and eigenfunctions in the entangled state representation by searching for common eigenvectors of the 2-dimensional harmonic oscillator＇s total energy operator and the angular momentum operator, We find that in the entangled state representation the eigen-solution satisfies the Hukuhara equation, and its solution is confluent hypergeometric function.

Wear Debris Identification Using Feature Extraction and Neural Network

A method and results of identification of wear debris using their morphological features are presented. The color images of wear debris were used as initial data. Each particle was characterized by a set of numerical parameters combined by its shape, color and surface texture features through a computer vision system. Those features were used as input vector of artificial neural network for wear debris identification. A radius basis function (RBF) network based model suitable for wear debris recognition was established, and its algorithm was presented in detail. Compared with traditional recognition methods, the RBF network model is faster in convergence, and higher in accuracy.