双模态Logistic Regression及其应用

传统的Logistic Regression能够解决单一模态数据的二分类问题,但在处理多源异构数据时不能很好地利用不同模态间的语义相关性,从而降低了分类性能。为了对双模态数据进行建模,提出同时包含模态内语义信息和模态间语义相关性的双模态Logistic Regression模型。设计一个包含模态内损耗与模态间损耗的目标函数,利用梯度下降法优化目标函数,在每次迭代过程中该模型能够根据一定策略交替地更新不同模态的参数。实验结果表明,双模态Logistic Regression能够获得较好的分类性能和跨模态检索效果。