基于输入空间转换的多模态情感分析

目的 处理多模态数据的异构性,有效地融合不同模态的数据进行情感分析。方法 提出了一种基于输入空间转换的多模态情感分析模型,将图片和文本进行模态的对齐。对于图片模态,通过输入空间转换模块,利用自回归的方式生成对应描述图片的文本。对于文本模态,将原文和生成的文本相结合,为语言模型提供丰富的文本量。利用BERT语言模型构造动态词向量,然后利用Bi-GRU获取上下文的重要语义特征,最后通过SoftMax进行情感的分类。结果 在两个多模态Twitter数据集上超过了基准模型的性能。结论 该模型能够有效地处理多模态数据。

人工神经网络作为打印机色空间转换工具的问题

通过分析大量实测的打印机输入(R,G,B)与输出(L ,a ,b )数据之间的对应关系,发现在一些颜色区域存在着RGB与L a b 之间的二对一甚至多对一的关系。另一方面,一个已知的事实是,当一个神经网络已经建立后,任一个(或一组)输入只能产生一个(或一组)输出。结合以上两个事实得出的结论是,在要求打印机的输出颜色能准确地复现指定颜色的情况下,神经网络不适合作为由指定颜色的L a b 值来寻求打印机的相应输入RGB的工具。