图文相关性对不同认知方式大学生阅读影响的眼动研究

阅读是我们日常生活中的一项重要认知活动。利用插图来帮助人们提高阅读理解能力是一种常用的方法。本研究选取了40名大学生做被试,使用眼动仪考察了图文相关程度(高和低)对不同认知方式大学生(场依存型和场独立型)图文阅读的影响。结果发现:(1)图文相关性对不同认知方式读者影响不同,图文相关程度对场独立型读者的阅读成绩无显著影响,但对场依存型读者影响显著。场依存型读者对高相关材料的阅读理解成绩显著优于低相关材料。(2)场依存型读者在阅读不同相关图文时会主动调整加工对象。图文相关高时,场依存型读者更多注视插图;而图文相关低时,场依存型读者更多注视文字内容。此外,场依存型读者在图文之间的转换和对文字的注视点平均持续时间多于场独立型读者。本研究认为,高相关插图有助于提高场依存型读者的阅读成绩;场依存型读者在阅读不同相关程度图文时会主动调整加工对象。

灾害事件下社交媒体图文相关性研究

对灾害情境下的微博图片和文本内容进行分析,理解灾害情境下微博图片与文本的相关性。基于图像语义理解框架构建图文相关性分类模型,通过对图像和文本进行特征抽取,利用机器学习和深度学习方法提出图文相关性的多标签分类方法,针对台风“山竹”事件开展实验分析。灾害情境下大部分微博图文与事件涉及的对象和场景相关,在图文相关性分类任务上基于深度学习方法优于传统机器学习方法。实验数据包含的灾害类型比较单一,实验中为了确保数据的一致性没有有效利用所有标注数据。图文相关性分类模型有助于理解灾害情境下的微博图文内容,深度学习模型能够较好地识别微博图文之间的相关性。