基于图文多模态融合推理的产品创新方案设计方法研究

目的针对当前产品创新设计领域中对基于图像-文本多模态知识支撑创新设计方法研究不足的问题,提出了一套基于图文多模态的产品创新方案设计方法。方法首先,对设计师的设计草图与文本要求进行预处理,然后引入产品设计知识图谱来促进设计思维的发散和创新;其次,通过微调的生成式预训练变换器模型和扩散模型生成产品方案及其概念图;最后,利用深度多模态设计评估模型对产品设计方案的可行性和市场潜力进行评估。结果通过产品设计知识图谱,及深度多模态设计评估模型的引入,该设计流程可以生成富有创新性且具备可行性的产品方案。结论基于图文多模态的产品创新方案设计流程结合了最新的深度学习技术,不仅提高了设计的效率,还为设计师提供了更广阔的创新视角和灵感来源。

基于图文多模态融合的文档片段语义相似度判定算法

为使网络主机的差异性赋值能力得到保障,实现对相似性文档片段语义信息的准确判别,提出基于图文多模态融合的文档片段语义相似度判定算法。在多模态融合条件的基础上,联合图像区域检测结果、文本区域检测结果,建立完整的词袋模型,实现基于图文多模态融合的文档片段标注。根据文本数据预处理条件,确定关键词权值指标,联合已知文档片段语义信息,求取相似性度量值的准确计算结果,完成文档片段语义相似度判定算法的设计。对比实验结果可知,在图文多模态融合技术的支持下,差异性赋值指标的平均值达到了1.0,对于网络主机而言,其在准确判别相似性文档片段语义信息方面的应用能力得到了保障。

军事英语教材图文关系的多模态分析

文字意义系统与视觉意义系统之间的多模态意义协商,是功能语言学视域下图像与文字的综合理解方式。Painteretal.在K&V视觉语法的基础上,结合Halliday&Matthiessen功能语法以及Martin&Rose对Halliday语言学意义系统的发展,提出了视觉意义系统的概念,并建立了视觉叙事语篇的系统网络。本文在Painteretal.视觉意义系统的基础上,结合Halliday&Matthiessen功能语法,对军事英语教材的图文关系进行了多模态语篇语义分析,在科学语类中对视觉意义系统进行完善与修订,明确了框架内"亲密性"的人际体现;各种图像"感染力"等级;"参与者"范围、过程与模态选择以及多模态下如何对"知识"进行建构,强调了多模态识读能力的重要性。并试图讨论当前军事英语教材编写过程中,在"有效运用图形"时的优点与不足,探索通过模态间的协商与融合构建知识的最佳途径。

多模态语篇分析视角下明镜周刊封面中欧元形象的图文建构

欧元危机现已渐淡出社会话语,但欧洲还没有真正走出危机,近期欧元又持续贬值,前景不容乐观。然而,欧元也还未如危机严重时媒体所渲染的那样走向集体破产和毁灭。回顾2010年到2012年危机最严重时期的间明镜周刊的封面,对于欧元危机报道时所采用的封面图片,以欧元为主题的报道多达十三期。这十三期封面中欧元形象的塑造和表现多种多样。本文采用多模态语篇分析方法,揭示这些封面图片中的欧元形象以及此欧元形象是如何通过图像和语言塑造而成的。