融合注意力机制的多模态动漫风格迁移方法

由于没有与图像的内容结构相匹配,目前的一些方法在针对具有复杂语义信息和显著性特征的图像的动漫风格迁移时,生成图像存在风格色彩不丰富、伪影、部分内容细节信息丢失等现象,提出一种融合注意力机制的多模态动漫风格迁移方法MastGAN-CBAM,将动漫图像特征聚类成若干子特征分量,并利用GraphCut算法使得这些特征分量和各局部内容图像特征相匹配,再利用Gram矩阵计算这些特征的风格损失,从而构造了一种多模态风格损失函数,由于这种风格损失适应了图像的多模态特征,因此能更有效地对网络参数进行优化和调整,此外方法还引入了混合域注意力机制,提高了模型的效率和准确性,进一步提升了动漫风格迁移效果。实验结果表明,该方法的生成图像细节更完整,动漫风格更显著,且减少了伪影,动漫化效果有一定程度的提高,在《千与千寻》等三组动漫数据集实验中FID评价指标分别达到了164.89、162.02、199.37,在视频动漫风格迁移中也取得了较好的效果。

多模态图像匹配的FFT梯度相关算法

多模态图像匹配是各领域图像匹配研究中的一个热点和难点问题,特征的可重现探测和非线性优化搜索,分别是基于特征和基于区域的多模态图像匹配的瓶颈问题.将灰度图像转换为复数域的梯度图像,提出以复数平方图像实现的2倍梯度差角余弦作为相似性测度,提出FFT梯度相关算法,实现了多模态图像局部匹域的快速匹配,通过红外与可见光图像的匹配实验,验证了算法的有效性.

基于弱匹配典型相关性分析的阿尔茨海默病识别

目的为了增强阿尔茨海默病(AD)的识别能力。方法该文采用多模态异构生物标志物数据在统计意义上潜在的相关性,利用互补原理,最大化不同模态数据之间的相关性,并在典型相关性分析的基础上,引入流形正则化技术提出了弱匹配典型相关性分析算法。结果解决了弱匹配多模态数据相关性建模问题。结论多模态异构生物标志物数据融合方法的预测性能优于单模态,能对AD的发病和病理研究提供更准确的信息。

一种基于Kinect相机的腹部肝穿刺介入导航系统

为验证Kinect相机用于腹部肝穿刺介入导航的可行性,开发了一套基于第二代Kinect相机的被动光学定位导航系统。该系统实现了一种无标记术中注册方法,分别从术前腹部X-射线计算机断层图像和Kinect相机获取的彩色及深度图像中提出腹部表面点云数据做匹配,实现术中数据与术前数据融合。为验证系统的导航精度,分别在1个腹部体模和6只健康比格犬肝脏区域做了穿刺导航实验,穿刺结果分别统计了靶点配准误差、用户手动误差和靶点定位误差。体模实验显示,靶点配准误差、用户手动误差和靶点定位误差分别为(4.26±1.94)mm、(2.92±1.67)mm、(5.23±2.29)mm。同时比较了第一代和第二代Kinect相机应用于穿刺导航的性能,实验结果表明,第二代相机的导航精度明显高于第一代。动物实验中得到的靶点定位误差及其横向、径向误差分量为(6.40±2.72)mm、(4.30±2.51)mm、(3.80±3.11)mm。由实验结果可知,该研究成功验证了Kinect相机用于腹部肝穿刺介入手术导航的可行性。

MULTI-MODE NETWORK ANALYSIS FOR DISCONTINUITIES IN PARALLEL-PLATE WAVEGUIDES PARTIALLY FILLED WITH MULTI CHIRAL RODS

The reflection and transmission characteristics of the guided modes in parallel-plate waveguides partially filled with one or multi chiral rods have been investigated by a method, which combines the multi- mode network theory with a rigorous mode matching procedure. The formulas of the reflection and transmis- sion coefficient matrix are derived. The numerical results for different cases are presented and have indicated that the chirality parameters and the geometrical dimensions of the chiral rods have significant influence on the reflection and transmission characteristics of the guided modes.