基于CRTNet的低照度图像增强方法

针对低照度环境下获取的图像与颜色失真问题,该文结合了通道注意力和空间注意力的机制,提出了一种基于颜色还原Transformer网络(color restoraration Transformer networks, CRTNet)的低照度图像增强方法。CRTNet由颜色注意力模块(color attention module, CAM)、颜色映射模块(color map module, CMM)和顺序增强结构组成。首先,CAM分为颜色通道注意力模块和颜色空间注意力模块两部分,利用Transformer的全局信息捕捉能力,颜色通道注意力模块关注有意义的颜色通道并赋予更高权重,生成通道注意力向量,颜色空间注意力模块使用三层卷积结构,关注高维空间中的空间细节信息,生成空间注意力权重图;其次,CMM通过线性拟合过程提取图像高维特征,对64D空间中的特征进行通道和空间两个维度的缩放和平移获得图像全局信息和细节信息,并与原始图像特征相结合,补充原始图像特征中颜色、亮度、对比度和细节等信息,实现颜色增强;最后,采用顺序增强结构,将CMM的输出作为输入重复进行3次CAM和CMM操作,以拟合更高阶的函数映射,实现低照度图像的有效增强。对公共数据集的实验和用户研究表明,所提方法在定量测量、细节与颜色复原方面取得了最好的结果。

一种基于双重语义协作网络的图像描述方法

CLIP(contrastive language-image pre-training)视觉编码器提取的网格特征作为一种更加靠近文本域的视觉特征,具有易转化为对应语义自然语言的特点,可以缓解语义鸿沟问题,因而未来可能成为图像描述任务中视觉特征的重要来源.但该方法中未考虑图像内容的划分,可能使一个完整的目标被划分到若干个网格中,目标被切割势必会导致特征提取结果中缺少对目标信息的完整表达,进而导致生成的描述语句中缺少对目标及目标间关系的准确表述.针对CLIP视觉编码器提取网格特征这一现象,提出一种基于双重语义协作网络(dual semantic collaborative network,DSC-Net)的图像描述方法.具体来说:首先提出双重语义协作自注意力(dual semantic collaborative self-attention,DSCS)模块增强CLIP网格特征对目标信息的表达能力;接着提出双重语义协作交叉注意力(dual semantic collaborative cross-attention,DSCC)模块,综合网格和目标2个层面的语义构造与文本相关的视觉特征,进行描述语句预测;最后提出双重语义融合(dual semantic fusion,DSF)模块,为上述的2个语义协作模块提供以区域为主导的融合特征,解决在语义协作过程中可能出现的相关性冲突问题.经过在COCO数据集上的大量实验,提出的模型在Karpathy等人划分的离线测试集上取得了138.5%的CIDEr分数,在官方在线测试中取得了137.6%的CIDEr分数,与目前主流的图像描述方法相比具有显著优势.

基于OpenArt与TC377的智能送药小车研究设计

本文采用以TC377为主控制器的芯片,实现智能送药小车系统。系统使用锂电池供电,通过OpenArt训练识别图像,使小车完成字模识别;通过干簧管和磁性器皿检测药品是否放下;通过OpenMV扫描标记线判断小车行驶位置和方向使小车沿线行驶、识别停车线;通过直流电机模块和万向轮控制小车行进和转变方向。结合PID实现速度的闭环控制,使系统能精确控制小车的运行。