-
题名特征融合的装修案例跨模态检索方法
- 1
-
-
作者
亢洁
刘威
-
机构
陕西科技大学电气与控制工程学院
-
出处
《智能系统学报》
CSCD
北大核心
2024年第2期429-437,共9页
-
基金
陕西省重点研发计划项目(2021GY-022)。
-
文摘
目前家装客服系统中主要依靠人工方式进行装修案例检索,导致该系统不能满足用户对咨询服务快捷、及时的需求而且人力成本高,故提出一种基于特征融合的装修案例跨模态检索算法。针对多模态数据的语义信息挖掘不充分,模型检索精度低等问题,对现有的风格聚合模块进行改进,在原始模块中引入通道注意力机制,以此来为每组装修案例中不同图片的特征向量添加合适的权重,从而增强包含更多有用信息的重要特征并削弱其他不重要的特征。同时,为充分利用多模态信息,设计一种适用于检索场景下的多模态特征融合模块,该模块能够自适应地控制2种不同模态的特征向量进行一系列的融合操作,以实现跨模态数据间的知识流动与共享,从而生成语义更丰富、表达能力更强的特征向量,进一步提升模型的检索性能。在自建的装修案例多模态数据集上将该方法与其他方法进行比较,试验结果表明本文方法在装修案例检索上具有更优越的性能。
-
关键词
家装客服系统
装修案例检索
跨模态检索
风格聚合
多模态
特征融合
通道注意力机制
语义信息
-
Keywords
home decoration customer service system
decoration case retrieval
cross-modal retrieval
style aggregation
multimodal
feature fusion
channel attention mechanism
semantic information
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-