基于对象关系网状转换器的图像描述模型

针对图像描述生成模型缺乏空间关系信息且图像特征利用不充分的问题,结合对象关系网状转换器,提出一种改进的图像描述模型。利用Faster R-CNN提取图像的外观和边界框特征,并将提取的特征输入到改进的转换器中经过编解码生成图像描述。通过将对象外观和边界框特征合并为关系特征的方式对编码器自我注意力层的注意力权值进行改进,以强化目标间的关联性。将编码器和解码器的连接设计为网状结构,从而充分利用图像特征。实验结果表明,与基于单一注意力的Top-down基线模型相比,该模型的BLUE@1和CIDEr评价指标值分别提高了7.6和3.7个百分点,显著提升了描述语句的准确性。

基于IndRNN与BN的深层图像描述模型

现有图像描述模型存在解码端层次不深、训练效率低下的问题,且生成的描述语句在语言连贯性和内容多样性方面效果欠佳,为此,提出一种基于独立循环神经网络的深层图像描述模型Deep-NIC。采用独立循环神经元与批标准化方法构建解码单元,通过解码单元的多层叠加建立深层解码端。使用谷歌inception V3作为编码端,构建深层图像描述模型。在数据集MS COCO2014上进行对比实验,结果表明,与基线模型相比,Deep-NIC模型的BLEU-4、METEOR、CIDER评分分别提升3.2%、10.3%、8.18%,其更容易训练且具有更好的拟合效果。

基于多级描述模型的渐进式图像内容理解

针对目前基于内容的图像检索技术中低级特征无法准确全面地描述高级语义的问题 ,本文提出了一种基于多级图像描述模型的渐进式图像内容理解 .该图像描述模型在不同层次上对图像内容进行分析和提取 ,实现了图像内容的全方位描述 ,从底层向高层的过渡是渐进式的图像理解过程 .特别是从视觉感知层到目标层 ,体现了图像低级特征与高级语义之间的过渡 .本文给出了一种基于先验知识的上下文驱动的目标理解算法 ,实现了图像语义的提取 .作为一个应用实例 。

融合多重视觉特征与语义信息的图像描述生成

针对图像描述模型中对语义信息考虑不足,循环神经网络收敛速度慢与精度低等问题,提出一种基于多注意力融合的深层图像描述模型。通过对图像中提取到的内容信息以及文本描述信息分配不同的权重,达到提升精度的效果,融合MOGRIFIER网络解决循环神经网络收敛速度缓慢的问题。使用改进模型与传统模型在数据集MSCOCO上进行对比实验,实验结果表明,该方法能够生成更加准确的描述,在BLEU与CIDEr等关键指标上有明显提升。

基于图像描述算法的离线盲人视觉辅助系统

针对现有盲人视觉辅助设备存在的不便,探讨了基于模型剪枝的图像描述模型在便携式移动设备上运行的方法。回顾了图像描述模型和剪枝模型技术,重点提出了一种针对图像描述模型的改进剪枝算法。结果表明,在保证准确性的前提下,剪枝后的图像描述模型可以大幅降低工作时的处理时间和消耗的电源容量,能够随时随地快速准确地对环境信息进行描述及语音播报。

基于目标语义特征的图像检索系统

为克服当前基于内容的图像检索技术中低级特征无法准确全面地描述高级语义的问题,该文设计和实现了一个基于目标高级语义特征的检索系统。该系统利用了一个多级图像描述模型将语义特征结合到图像检索技术中。该图像描述模型通过在不同层次上对图像内容进行分析和描述,实现了从低级特征到高级语义的过渡。在此模型的基础上还研究了相应的检索机制和反馈技术。该系统的检索机制定位于图像中目标的语义内容,与传统的图像检索系统相比更接近人对图像内容的理解,从而使检索过程更简便,检索效率也得到很大提高。基于目标描述的自适应相关反馈可针对不同用户的不同需求给出相应的检索方案,从而使检索结果得到优化。

基于改进DC元数据标准的图像编目研究

目的为了解决印刷企业中普遍存在的图像数量巨大、管理混乱以及利用率不高等问题,研究印刷图像的编目技术。方法首先分析DC元数据标准应用到印刷图像编目存在的优势与缺点,针对存在的问题,构建印刷图像的描述模型。在原DC元数据标准的基础上,根据印刷图像的特点增加印刷图像特有元数据项,修改原DC元数据内容描述项,引入语义层次模型对图像内容进行描述。对印刷图像的编目流程进行设计,并通过VS2012进行实现。结果以DC元数据标准为基础的图像编目框架,能够较为快速、准确地实现对图像的编目与检索。结论该描述模型与编目流程能够将图像与企业管理信息进行紧密关联,对图像内容的描述与表达更加全面,基本实现了对图像的规范化管理。

Reconstruction of Novel Viewpoint Image Using GRNN

A neural statistical approach to the reconstruction of novel viewpoint image us ing general regression neural networks(GRNN) is presented. Different color value will be obtained by watching the same surface point of an object from different viewpoints due to specular reflection, and the difference is related to the pos ition of viewpoint. The relationship between the position of viewpoint and the c olor of image is non linear, neural network is introduced to make curve fitting , where the inputs of neural network are only a few calibrated images with obvio us specular reflection. By training the neural network, network model is obtaine d. By inputing an arbitrary virtual viewpoint to the model, the image of the vir tual viewpoint can be computed. By using the method presented here, novel viewpo int image with photo realistic property can be obtained, especially images with obvious specular reflection can accurately be generated. The method is an image based rendering method, geometric model of the scene and position of lighting are not needed.