基于轻型自限制注意力的结构光相位及深度估计混合网络

相位提取与深度估计是结构光三维测量中的重点环节,目前传统方法在结构光相位提取与深度估计方面存在效率不高、结果不够鲁棒等问题。为了提高深度学习结构光的重建效果,本文提出了一种基于轻型自限制注意力(Light Self-Limited-Attention,LSLA)的结构光相位及深度估计混合网络,即构建一种CNN-Transformer的混合模块,并将构建的混合模块放入U型架构中,实现CNN与Transformer的优势互补。将所提出的网络在结构光相位估计和结构光深度估计两个任务上进行实验,并和其他网络进行对比。实验结果表明:相比其他网络,本文所提出的网络在相位估计和深度估计的细节处理上更加精细,在结构光相位估计实验中,精度最高提升31%;在结构光深度估计实验中,精度最高提升26%。该方法提高了深度神经网络在结构光相位估计及深度估计的准确性。

早期胃癌黏膜下层浸润高危患者识别指标的筛选与优化探索

目的分析分化型早期胃癌临床、病理、内镜特征,探究并筛选早期胃癌黏膜下层浸润高危患者的识别指标。方法纳入2017年1月~2022年12月我院外科手术或内镜黏膜下剥离术治疗的172例分化型早期胃癌患者,依据术后病理分为黏膜层组(144例)与黏膜下层组(28例),比较2组临床、病理和白光内镜及联动成像特征,使用国际照明委员会(CIE)L^(∗)a^(∗)b^(∗)系统评估病变与周围黏膜色差,纳入具有显著差异的指标进行多因素logistic逐步回归分析(前进法)进行预测指标的识别和筛选。结果有饮酒史(P=0.037)、吸烟史(P=0.035)、CT示胃壁增厚(P=0.032)、肿瘤位于胃上1/3(P<0.001)或胃中1/3(P=0.009)、大体分型为凹陷型(P<0.001)、边缘隆起(P=0.003)、存在皱襞变化(P=0.006)、白光内镜色差≥12.3(P=0.003)及联动成像色差≥18.2(P=0.002)与黏膜下层浸润有关。多因素分析显示肿瘤位于胃上2/3部分(OR=5.463,95%CI:2.562~11.648,P<0.001),大体分型为凹陷型(OR=5.992,95%CI:1.624~22.100,P=0.007),边缘隆起(OR=4.338,95%CI:1.124~16.747,P=0.033),联动成像色差≥18.2(OR=4.675,95%CI:1.342~16.288,P=0.015)为病变黏膜下层浸润的独立危险因素。结论凹陷型、边缘隆起、位于胃上2/3部分、联动成像下与周围黏膜色差大的病变为黏膜下层浸润的高危病变,需要更积极地进行干预。

基于LightGBM的贵阳市气溶胶光学厚度反演

为充分挖掘国产高分四号卫星(GF-4)的环境监测能力,克服基于查找表方法反演气溶胶光学厚度(AOD)的复杂性和弥补贵阳市无气溶胶监测站点的缺陷,并提升MODISAOD产品的时空分辨率,利用贵阳市研究区的高程数据和GF-4多光谱成像仪(PMS)数据提取的地表反射率、太阳天顶角、卫星天顶角、相对方位角和归一化植被指数作为特征变量,以MODIS气溶胶产品为标签,基于LightGBM算法构建了贵阳市AOD反演模型。研究结果表明:该模型能够基于GF-4 PMS单时相遥感数据实现较高精度的AOD智能反演,极大简化了AOD反演步骤,且具有较高的建模精度(平均绝对误差E_(MA)、均方根误差E_(RMS)、决定系数R^(2)分别为0.042、0.057、0.751)和预测精度(城区:E_(MA)=0.077,E_(RMS)=0.086;非城区:E_(MA)=0.094,E_(RMS)=0.101),AOD预测值和MODIS AOD具有相似的变化趋势,皮尔逊相关系数为0.697。

基于校正遮挡感知的光场深度估计

光场图像能够同时记录空间中不同位置和方向的光线信息,为估计精确的深度图提供了丰富的信息。然而在遮挡和重复纹理等复杂场景下,提取图像特征不足会导致深度图的细节丢失。本文提出了一种基于校正卷积的光场深度估计网络,充分利用光场图像丰富的结构信息以改善遮挡等复杂区域的深度估计。利用初始视差图和子孔径图像生成遮挡掩膜,采用校正卷积判别和编码遮挡区域的空间信息以感知遮挡区域,结合多尺度特征以补充易丢失的边缘细节信息。通过空间注意力机制给予遮挡区域更大权重,消除冗余信息并全局优化亚像素代价体。实验结果表明,该方法在4D光场基准平台上的平均MSE和BadPix(ε=0.03)分别达到了0.951和4.261,在大部分场景下能实现最小误差的深度估计,对遮挡区域表现出较高的鲁棒性并优于其他算法。

融合场景深度估计和视觉传达的复杂光照图像虚拟重建

复杂光照图像虚拟中受到光照强度不均衡性影响导致重建效果不好,为了提高复杂光照图像虚拟重建效果,提出基于融合场景深度估计和视觉传达的复杂光照图像虚拟重建方法。针对不同场景深度混频光照的相互干扰采用相关匹配降噪方法实现图像降噪处理,以光照图像低亮度区域内亮度值中位数作为场景深度的参考值,采用全局特性和局部细节特征拟合的方法实现对复杂光照图像的场景深度检测和视觉跟踪拟合,采用HSV空间特征分解方法实现对不同场景中光照图片亮度通道融合处理,提取场景物体边缘、纹理等细节信息,根据场景深度检测和全局对比度融合下的视觉传达效果实现复杂光照图像虚拟重建。测试结果得知,采用该方法进行复杂光照图像虚拟重建的视觉表达能力较好,重建后的图像细节展示能力较强,能准确重建暗区域内隐藏的图像信息,两个数据集图像的峰值信噪比较高,均方根误差较低,分别为45.63 dB、53.21 dB和0.366、0.265,且重建时长短,仅为1.5 s,具有较强的重建性能。

用于紫外光辅助直书写3D打印的光敏硅橡胶墨水性能研究

基于巯烯点击化学反应,制备了一系列可用于紫外光辅助直书写3D打印的硅橡胶墨水,利用旋转流变仪、固体流变仪、紫外可见分光光度计等分析了交联剂巯基含量、白炭黑用量对光敏硅橡胶墨水流变性、透光性、光固化深度和力学性能的影响。结果表明,白炭黑用量和交联剂巯基含量的增加均能提高墨水的屈服应力,同时降低制品的透明性,从而降低固化深度;制品的力学性能受交联剂巯基含量、白炭黑补强效应、固化深度的综合影响。当交联剂巯基含量较低时,制品拉伸强度随白炭黑用量的增加而提高;但当交联剂巯基含量很高时,较高的白炭黑用量反而会降低制品的力学强度;可根据需求调节交联剂巯基含量和白炭黑用量,进而平衡墨水的各项性能,使墨水具有良好的可打印性。采用紫外光辅助直书写3D打印,可实现一般直写技术难以完成的无塌陷、大跨距结构的制备。

基于多级残差融合的复杂纹理光场图像深度估计

光场的深度信息可以通过深度学习的光场深度估计算法计算,在图像视差、光场图像边缘以及光场图像的复杂纹理区域,获取高精度深度值仍然具有一定局限性。本文提出了一种用于光场图像深度估计的多级残差融合网络,通过组合残差模块提取多层次的残差特征,在保持网络深度的同时提升了网络对特征的表征能力。利用多级残差融合模块对多层次的残差特征进行融合,以获得包含浅层纹理信息和深层语义信息的融合特征。利用本文方法对HCI4D光场数据集进行处理,图像深度估计的均方误差指标达到1.471,不良像素率指标达到4.208,该实验结果表明本文方法在处理具有复杂遮挡的光场图像区域方面具有良好的处理效果。

基于GPU的星载传感器光照反射三维可视化

为了能准确控制卫星在轨运行的姿态,避免太阳光及其反射光影响光学传感器工作,需要快速计算并绘制出不同时刻太阳光反射至传感器入瞳的光通量变化情况,设计并实现了一种基于图形处理器(GPU)的星载传感器光照反射分析算法,并对分析结果进行了实时三维可视化。首先以太阳为点光源,通过计算太阳位置矢量并利用深度图和渲染到纹理(RTT)技术,实时生成以太阳为视点的卫星表面受光区分析图;然后根据传感器反射镜面在卫星中的相对位置,计算出受光区范围内反射光线能够进入镜面的卫星部位,从而实现星载传感器反射区分析的三维可视化。实验结果表明,该算法具有较高的绘制效率和良好的视觉效果,对航天器光照环境的三维仿真具有一定的参考价值。

基于雾线和颜色衰减先验的图像去雾方法

针对现有图像去雾方法易产生的颜色过饱和、细节丢失、伪影等问题,提出了一种基于雾线和颜色衰减先验的去雾方法。首先,利用雾线先验和霍夫投票估计大气光。然后,根据颜色衰减先验建立关于场景深度的非线性模型,获取准确的透射率。最后,通过对大气散射模型进行反向求解去除图像中的雾霾干扰,获得细节丰富的去雾图像。在RESIDE公共数据集上进行了实验,并与多种现有方法进行了比较。实验结果表明,所提方法可有效去除图像中的雾霾干扰,获得清晰自然的去雾图像,且其时间和空间效率均优于其他方法。

基于辅助相机的景深拓展三维重建技术研究

针对面结构光三维重建中,由于重建景深的限制导致待测物在超出重建景深后出现重建错误的问题,提出了一种基于辅助相机的景深拓展三维重建技术,并借助相位阈值自适应地对重建景深内外物体进行重建。采用四步相移与互补格雷码结合的方法获取绝对相位,通过多项式拟合法对相机、投影仪进行标定。提出了借助辅助相机建立超出重建景深的相位-高度映射的方法。实验结果表明:该方法能提高重建景深范围50%左右,大大提升了面结构光的重建范围。

结合深度线索和几何结构的稀疏光场密集重建

光场一次成像可以同时获得空间和角度的四维信息。现有方法进行角度超分辨率重建时多用于小基线场景的光场图像,在处理大基线场景重建时存在模糊等现象,同时在光场重建过程中遮挡区域重建效果差、长距离的空间关系难以捕获。针对上述问题,提出一种结合深度线索和几何结构的稀疏光场密集重建方法。该方法采用空间金字塔池化提取多尺度特征,更好地保留了图像的纹理细节和高频信息;通过在深度估计模块的部分引入空洞卷积并进行密集连接,扩大了感受野,提高了大基线场景深度估计的精度;利用视图细化模块对图像进行优化处理,在保留视差结构的同时重建了遮挡区域。实验结果表明,本文方法较好地解决了大基线场景光场重建问题,在光场大基线场景数据集上超越了其他算法,PSNR提高了2 dB,SSIM提高了0.018,重建图像的质量均优于现有的算法。

基于辐射传输理论可见光隐蔽深度分析

根据辐射传输理论,研究了目标背景对比度的传输过程,分析了目标背景对比度在海水、海-气界面及大气中的传输特性,探索了可见光下目标的视觉检测条件,建立了可见光隐蔽深度模型。利用卫星资料反演的水体的光衰减系数、浊度和透明度等遥感产品,建立适用于大范围海区的光学隐蔽深度定量遥感模式。测量了透明度盘、模型在不同站点的光谱特性和可见深度,并对可见光隐蔽深度模型进行了实验验证。数据表明,实测数据与理论计算的相对误差小于20%,研究结果对水下可见光隐蔽深度方面军事应用和可见光隐蔽深度遥感获取可靠性研究具有重要意义。

基于深度学习和结构光法无人机集群检测定位

无人机集群检测与定位是实现对无人机集群进行精准打击的重要前提,提出基于深度学习和结构光法相结合的无人机集群检测定位方法,其中深度学习算法可以较高精度检测出无人机集群目标并给出其二维坐标,结构光法进行坐标转换可得到对应目标的三维坐标和定位误差。基于该方法利用YOLOv4算法和深度相机开展了无人机集群检测定位实验,结果证明,该方法对无人机集群目标的检测精度达到了91.78%,检测定位耗时约0.1s,平均定位误差为0.69%,达到精准实时的要求。

中华绒螯蟹栖息地因子适宜范围的研究进展

受人类活动影响,长江中华绒螯蟹(Eriocheir sinensis)的天然资源及其栖息地遭到严重破坏。为恢复其天然资源,目前已开展了大量资源增殖与栖息地修复工作,同时针对栖息地因子适宜范围也有较多研究进展。综述了中华绒螯蟹生活史的繁殖阶段和生长发育阶段对不同栖息地因子(包括温度、盐度、溶氧、pH、水深、水流、光照、透明度等)适宜范围的研究现状,综合分析了各栖息地因子对中华绒螯蟹繁殖和生长发育的影响,并对栖息地因子今后的研究方向进行了探讨和展望,以期为长江中华绒螯蟹栖息地修复、科学增殖放流、人工高效养殖等提供一定参考。

基于深度测量的行人体态特征提取与再识别方法

行人再识别是视觉监控系统的核心问题之一,然而传统基于彩色图像的特征提取方法难以用于极暗光照条件下的行人再识别。本文提出一种基于深度测量的行人体态特征提取方法,由于深度测量独立于光照条件,因此所提方法可以在极暗光照条件下对行人目标进行有效识别。由深度数据经过分割和滤波生成人体点云,将观测点云与初始人体模型进行配准,基于配准后的点云对人体模型的体态参数和姿态参数进行联合估计,计算体态特征向量的欧式距离实现行人再识别。在公开数据集和实验室自采数据集上进行验证,计算Rank-n、累计匹配曲线、平均精度均值等性能指标,其中在Single shot评估模式下BIWI数据集的Rank-1可达到70.71%、Rank-5可达到92.32%,结果表明本文所提算法可有效提高再识别精度。

洱海沉水植物的光合特性与分布水深的关系

为研究沉水植物光合特性与其分布水深的关系,选取黑藻(Hydrilla verticillata)、苦草(Vallisneria natans)、水蕴草(Egeria densa)、大茨藻(Najas marina)、微齿眼子菜(Potamogeton maackianus)、光叶眼子菜(Potamogeton lucens)和穿叶眼子菜(Potamogeton perfoliatus)等15种洱海常见沉水植物,测定其光合作用参数。结果表明:光合速率为2.8—18.1μmol O_(2)/(g DW·h)、暗呼吸速率为0.3—2.0μmol O_(2)/(g DW·h)、光补偿点为6.3—63.8μE/(m^(2)·s)、光饱和点为55.6—441.5μE/(m^(2)·s),不同沉水植物间光合作用参数存在显著差异。结合洱海全湖沉水植物分布水深调查结果,沉水植物的光补偿点和光饱和点与分布水深呈显著负相关;苦草与其他物种比较具有更低的光补偿点6.3μE/(m^(2)·s)、光饱和点55.6μE/(m^(2)·s),更适宜在深水或弱光条件下生长,可作为沉水植被修复的先锋物种。

复杂光场环境下多重聚焦深度图像三维重建

在复杂光场环境下图像采集和重建受到多重聚焦深度像素分布的随机性影响导致重建效果不好。提出基于亚像素特征偏移修正的复杂光场环境下多重聚焦深度图像三维重建方法。采用深度引导滤波方法实现对图像的边缘保持修正和滤波处理,根据多重聚焦深度图像在空间域偏移特征分布,采用融合空间信息的端元特征提取方法提取图像的谱特征点,结合亚像素特征偏移修正方法实现对复杂光场环境采样图像的像素偏移特征点修正,考虑像素空间差异和强度差异,根据光强纠正结果实现对图像的三维重建和特征配准。仿真测试结果表明,采用该方法进行复杂光场环境下多重聚焦深度图像三维重建有效解决了重建模糊的问题,得到较为精细的重建结果,光场偏移修正能力较好。

结合图像特征迁移的光场深度估计方法

光场相机可以通过单次曝光同时采集空间中光线的位置信息和角度信息,在深度估计领域具有独特优势。目前光场真实场景数据集的深度标签难以获取且准确度不高,因此现有的多数光场深度估计方法依赖光场合成场景数据集进行训练,但合成数据集与真实数据集在图像特征分布上的差异,导致网络在将子孔径图像与深度图之间的映射关系应用于真实数据集时容易出现偏差。提出一种新的光场深度估计方法,利用基于对抗学习的图像翻译网络,使合成场景子孔径图像逼近真实场景子孔径图像的特征分布。在图像翻译网络中实施多视图角度一致性约束,保证图像翻译前后不同视角子孔径图像之间的视差关系保持不变。设计一种多通道密集连接深度估计网络,利用多通道输入模块充分提取不同方向子孔径图像堆栈特征,并通过密集连接模块进行特征融合,提升网络特征提取和特征传递的效率。在光场合成数据集4D Light Field Benchmark和光场真实数据集Stanford Lytro Light Field上的实验结果表明:与Baseline网络相比,该网络的均方误差和坏像素率平均降低23.3%和8.6%;与EPINET、EPI_ORM、EPN+OS+GC等方法相比,基于该网络的估计方法有效提升了深度估计的准确度,具有良好的鲁棒性和泛化能力。

基于LED光源的低成本谱域OCT成像系统设计

光学相干层析成像(Optical Coherence Tomography,OCT)技术具有非侵入成像、成像速度快、灵敏度高等优点,在临床医疗诊断、材料学及生物学等众多领域被广泛应用。但目前的商业OCT系统成本高且结构庞大,仅能在大型眼科诊所、医院和研究实验室使用,在其他场所的实用性会受到很大限制。因此,开发一种具有一定分辨率和成像深度、高成像速度的低成本OCT系统是很有必要的。提出了一种基于LED光源的低成本OCT成像系统设计,阐述了系统成像原理及设计思路,进行了仿真模拟及实验验证。实验结果表明:该系统在提高成像速度的同时,降低了系统的综合成本,具有极高的应用价值。

基于动态门控特征融合的轻量深度补全算法

稠密深度图在自动驾驶和机器人等领域至关重要,但是现今的深度传感器只能产生稀疏的深度测量,所以有必要对其进行补全.在所有辅助模态中, RGB图像是常用且易得的信息.现今的许多方法都采用RGB和稀疏深度信息结合进行补全.然而它们绝大部分都是利用通道拼接或逐元素求和简单的对两种模态的信息进行融合,没有考虑到不用场景下不同模态特征的置信度.提出一种以输入深度稀疏分布为指导,结合双模态信息量的动态门控融合模块,通过动态产生融合权重的方式对两个模态特征进行更高效的结合.并且根据不同模态的数据特征设计了精简的网络结构.实验结果表明所提出模块和改进的有效性,提出的网络在两个有挑战性的公开数据集KITTI depth completion和NYU depth v2上,使用了很少的参数量达到了先进的结果,取得了性能和速度的优秀平衡.