本文根据电商用户无法有效的检索出符合自身偏好商品的问题,设计出一种面向电商平台的多模态商品检索引擎模型(MCFR-Net)。该模型分别采用Transformer Transducer模型提取音频特征、Transformer模型提取文本特征、Twins-PCPVT模型提取...本文根据电商用户无法有效的检索出符合自身偏好商品的问题,设计出一种面向电商平台的多模态商品检索引擎模型(MCFR-Net)。该模型分别采用Transformer Transducer模型提取音频特征、Transformer模型提取文本特征、Twins-PCPVT模型提取图像特征;利用MCB特征融合技术,将多模态特征进行融合;对融合后的特征向量进行商品的相似度计算,根据相似度阀值来检索商品数据。实验在KDD Cup 2020多模态商品数据集上,将本文提出的模型与LSTM-DSSM和DELF进行对比实验。结果表明,本文提出的算法是一种有效的商品检索模型。展开更多
文摘本文根据电商用户无法有效的检索出符合自身偏好商品的问题,设计出一种面向电商平台的多模态商品检索引擎模型(MCFR-Net)。该模型分别采用Transformer Transducer模型提取音频特征、Transformer模型提取文本特征、Twins-PCPVT模型提取图像特征;利用MCB特征融合技术,将多模态特征进行融合;对融合后的特征向量进行商品的相似度计算,根据相似度阀值来检索商品数据。实验在KDD Cup 2020多模态商品数据集上,将本文提出的模型与LSTM-DSSM和DELF进行对比实验。结果表明,本文提出的算法是一种有效的商品检索模型。