基于卷积神经网络融合的彩色傅里叶叠层显微重建

针对彩色傅立叶叠层显微重建存在图像获取时间长、采集低分辨率图像数量多等问题,采用基于卷积神经网络的图像融合方法来实现彩色傅立叶叠层显微重建。该方法基于图像融合原理,将单通道低分辨率图像重建的灰度高分辨率图像与相同视场下的彩色低分辨率图像融合,成功地重建彩色FPM图像。在保证图像恢复质量的同时减少了2/3的采集时间。实验结果表明,所提算法可以获得色彩不失真的彩色FPM图像,定量评价指标方均根误差小于0.01,结构相似性参数大于0.89。

基于二元向量值有理插值的彩色图像重建

彩色图像比灰度图像含有更多的信息,描述彩色图像特征的比特数远大于灰度图像,因此数据压缩在彩色图像处理中就起到了重要的作用。传统的方法是将彩色图像分解成多通道的单色图像处理,但这样容易造成图像颜色信息的丢失。考虑到这一缺点,提出一种新的图像重建方法,即在RGB空间中通过对原图像进行采样,构造一种二元向量值有理插值函数,计算采样点之间数据点的像素值,并实现彩色图像的重建。实验结果表明只需原图的30%或更少的像素值即可重建原图像,且重建后的图像边缘清晰,细节保持较好,平均误差率较小。

基于邻域嵌入的彩色图像超分辨率重建

单幅彩色图像进行超分辨率重建,一般先对亮度分量Y进行超分辨率重建,再对色度分量U和V进行简单插值,重建图像色彩模糊。针对此问题,文中提出一种同时对亮度与色度分量进行基于邻域嵌入的彩色图像超分辨率重建算法,该算法有效利用了色度分量的先验信息。为提高算法效率,使用K均值聚类的方法对样本集进行分类,并使用二叉树搜索方法确定样本类别。实验结果表明,文中提出的算法不仅提高了彩色图像的重建质量,并有效降低了算法的运行时间。

废旧机械零部件三维彩色模型重建方法

为了提高废旧机械零部件再制造效率,并对废旧机械零部件的失效状态进行实时监测,提出了一种低成本、高效率的废旧机械零部件三维彩色模型重建方法。采用运动的深度相机获取深度数据流,经过数据预处理、位姿估计以及表面几何重建后,利用纹理映射算法对相机姿态以及图片质量进行联合优化,构建废旧机械零部件三维彩色模型,同时提出主客观两种评价体系以及综合评价参数方案。实验表明,重建方法误差较小、细节清晰,并可获得最佳参数设置方案,对于实际生产过程具有指导意义。

高图像配准精度的非相干数字全息彩色成像

菲涅耳非相干相关全息是一种能记录非相干物体全息图的新型技术,在生物医学成像和三维遥感领域具有重要应用前景。针对高光谱成像过程中图像融合配准困难的问题,文中利用空间光调制器的可编程特性,设计并制作了波长分别为492、562、672 nm的三组焦距恒定的双透镜相位掩模,依次调用三种波长的掩模并记录对应波长下物体的全息图。由于三色记录光经对应波长掩模调制后在CCD表面汇聚的光斑位置及尺寸均相同,因此,全息图重建后获得的重建图像具有相同的横向放大率,可提高图像融合时的配准精度,免去繁杂的光谱图像空间配准算法,真正实现了全息彩色成像的高精度配准和实时融合。采用该系统记录骰子的全息图,经数值重建及色彩融合后得到了颜色重建性较好的彩色三维像。

基于改进SGM的废旧机械零件彩色三维重建方法

为提高废旧机械零件再制造效率,对其表面失效状态进行全面检测,提出一种基于改进半全局匹配(SGM)的废旧机械零件彩色三维重建方法。针对机械零件结构复杂、实际环境下光照干扰大等因素导致的传统SGM算法生成的视差图效果不佳问题,提出一种多特征代价融合策略,通过融合颜色代价、Census变换及梯度信息,构建更为全面的相似性度量函数以提高初始代价的可靠性。在代价聚合过程中,增设梯度阈值判定条件划分弱纹理和边缘区域,并采用高斯函数对局部交叉域进行距离加权,提高算法在图像光照失真区域以及零件弱纹理区、边缘复杂结构处的匹配效果。最后,通过视差计算和多步骤视差优化处理得到最终的精细视差图,进而通过RGB图像纹理映射实现对废旧机械零件的彩色三维模型重建。实验结果表明,所提方法重建的三维彩色模型纹理清晰且尺寸误差较小,所提方法适用于实际产线中对废旧机械零件的表面失效信息在线分析。

基于深度学习的彩色全息图重建

针对较大尺寸物体彩色全息图重建操作复杂、色彩融合不准确、重建时受零级影响等问题,提出一种基于深度学习的彩色全息图重建方法。采用改进的U-Net模型作为网络结构,使用混合实际拍摄和模拟生成的彩色离轴菲涅耳全息图频谱作为训练样本,实现对彩色全息图的准确重建。对模拟全息图和实际拍摄的数字全息图进行重建实验,结果表明,所提方法相较于传统方法,能够在保持重建图像高分辨率和颜色准确性的同时,具有更好的重建效果。研究结果可应用于大尺寸检测场彩色全息图的重建,为彩色全息检测及深度学习在光学成像领域中的应用提供有益的参考。

多传感器彩色纹理色彩差异修正方法

针对三维彩色扫描仪多个传感器获得的彩色纹理图像存在色彩差异,导致重建的三维彩色模型表面出现色彩分块现象的问题,提出一种基于色彩迁移的纹理图像色彩修正方法。首先,利用综合质量图像评价函数(CAF)进行图像质量评价,从多个传感器获得的彩色纹理图像中选出一幅质量最佳的作为标准图像;然后,参照该图像调整其他纹理图像各个色彩通道的色彩均值、方差等统计量。将所提方法用于三维人体彩色扫描仪的纹理图像色彩修正,结果表明,色彩修正后纹理图像间的色彩差异减小,得到的三维人体彩色模型色彩分块现象得到明显改善,色彩更加均衡自然。与经典色彩变换方法、改进色彩变换方法、基于最小角度选择的融合方法相比,实验的主观效果和客观图像综合质量评价值都表明了该方法的优越性。

基于深度学习的单视图彩色三维重建

从单个图像中同时恢复3D形状及其表面颜色的任务极具挑战性,为此提出一个端到端的网络模型来解决这一难题,该模型采用编码器与解码器结构。以单张图像作为输入,首先通过编码器提取特征,再将其同时送入形状生成器和颜色生成器中,得到形状估计以及与其对应的表面颜色,最后通过可微渲染框架渲染生成最终的彩色三维模型。为了保证重构三维模型的细节,在网络的编码器中引入注意力机制以进一步提高重建效果。实验结果表明,与三维重建网络模型相比,所设计的模型在真实三维模型交并比上分别提高10%和3%;与开源项目相比,所设计的模型在结构相似性上提高了3%,在均方误差上降低了1.2%。

Algorithm for reconstructing compressed sensing color imaging using the quaternion total variation

A new method for reconstructing the compressed sensing color image by solving an optimization problem based on total variation in the quaternion field is proposed, which can effectively improve the reconstructing ability of the color image. First, the color image is converted from RGB （red, green, blue） space to CMYK （cyan, magenta, yellow, black） space, which is assigned to a quaternion matrix. Meanwhile, the quaternion matrix is converted into the information of the phase and amplitude by the Euler form of the quatemion. Secondly, the phase and amplitude of the quatemion matrix are used as the smoothness constraints for the compressed sensing （CS） problem to make the reconstructing results more accurate. Finally, an iterative method based on gradient is used to solve the CS problem. Experimental results show that by considering the information of the phase and amplitude, the proposed method can achieve better performance than the existing method that treats the three components of the color image as independent parts.

TIE和GS迭代算法用于生物细胞的相位恢复

提出了一种利用白光进行生物细胞图像高分辨率相位恢复方法,该方法结合了光强度传输方程(TIE)和Gerchberg-Saxton迭代(GS)算法。通过在显微镜的像平面附近连续采集3张生物细胞图像,并使用红色、蓝色和绿色通道分别对生物细胞图像的相位进行恢复,然后从3个通道的相位中提取该生物细胞的相位信息。实验结果表明,用该方法所得到的前后两次循环迭代的相位相对误差精度可以达到10^-7。

基于三维卷积神经网络的彩色傅里叶叠层显微术

包含多波长信息的低分辨(LR)灰度图难以被完全解复用,根据LR图像信息重建出的彩色高分辨(HR)图像容易出现通道串扰的现象。为重建不受通道串扰干扰的彩色HR图像,提出一种基于三维卷积神经网络(CNN)的彩色HR图像重建算法。采用主成分分析法提取单色HR图像和彩色LR图像的结构信息,然后基于结构信息训练CNN来建立单色HR图像和彩色LR图像之间的映射关系,最后生成彩色HR图像。实验结果表明,所提算法可以获得不受通道串扰影响、色彩不失真的彩色HR图像。定量评价指标方均根误差小于0.1,结构相似性参数大于0.9。

Colored 3D surface reconstruction using Kinect sensor

A colored 3D surface reconstruction method which effectively fuses the information of both depth and color image using Microsoft Kinect is proposed and demonstrated by experiment.Kinect depth images are processed with the improved joint-bilateral filter based on region segmentation which efficiently combines the depth and color data to improve its quality.The registered depth data are integrated to achieve a surface reconstruction through the colored truncated signed distance fields presented in this paper.Finally,the improved ray casting for rendering full colored surface is implemented to estimate color texture of the reconstruction object.Capturing the depth and color images of a toy car,the improved joint-bilateral filter based on region segmentation is used to improve the quality of depth images and the peak signal-to-noise ratio(PSNR)is approximately 4.57 d B,which is better than 1.16 d B of the joint-bilateral filter.The colored construction results of toy car demonstrate the suitability and ability of the proposed method.