一种自监督掩码图像建模的遮挡目标检测方法

为提升目标检测网络在更多遮挡场景下的适应性和检测效果,提出了一种自监督掩码图像建模方法,该方法将训练分为2个阶段:预训练阶段和微调阶段。在预训练阶段,采用局部掩码和重建的代理任务对无标签图像进行训练。在微调阶段,针对被遮挡目标尺度变化和不同大小目标的检测问题,提出了基于视觉Transformer(vision transformer,ViT)的金字塔结构。通过在CrowdHuman和CityPersons数据集上进行对比分析,自监督掩码图像建模方法在检测被遮挡目标方面优于其他方法。

Force CT高级建模迭代重建算法对门静脉图像质量的影响

目的:探讨Force CT高级建模迭代重建算法(ADMIRE)对门静脉图像质量影响。方法:回顾性分析2022年1—4月于中山大学附属第八医院行上腹部CT平扫及增强的40例患者影像资料,在syngo.via后处理工作站重建,采用门脉期原始数据重建出滤波反投影算法(FBP)、ADMIRE1、ADMIRE3、ADMIRE5 4组不同重建算法的图像,在4组不同算法图像上测量门静脉干中心位置、肝实质及同层竖脊肌的CT值和噪声值,计算门静脉和肝实质的信噪比(SNR)和对比噪声比(CNR)。此外,由两位具有5年以上诊断经验的医生对图像进行主观评分。结果:随着迭代等级的增高,图像的CNR、SNR呈现上升的趋势,图像的噪声值呈现下降的趋势,其中ADMIRE5组图像中门静脉和肝脏具有最高的CNR和SNR且具有最低的噪声值,以及最高的主观评分,采用ADMIRE5重建算法的门静脉与周围组织对比非常好,门静脉5级分支显示良好。结论:高级建模迭代重建ADMIRE算法相比于FBP重建算法,降噪效果更好,门静脉的显示更加锐利,能提升门静脉的图像质量。

面向三维建模的改进型GAN网络无人机倾斜摄影图像修复方法

为解决无人机采集倾斜影像时不可避免遇到人和车等移动物体,造成三维建模扭曲或错位从而降低模型质量的问题,提出了一种改进型GAN(generative adversarial network)网络图像修复方法。该方法在GAN网络的基础上,在生成器中引入U-Net网络结构并在连接层中融入CBAM(convolutional block attention module)双通道注意力机制,增强局部细节恢复能力;同时在判别器中引入VGG16模型并融入SE-Net通道注意力机制,提升修复后影像的真实度。最后利用Context Capture软件对影像分析、处理,实现自动化的三维立体建模。通过该方法可将分辨率高、影像范围广的倾斜影像中的人和车等移动物体提前剔除,减小对后续三维建模的影响,提高模型的精度。将本文算法与GAN网络和WGAN-GP网络对比,在峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structure similarity index measure,SSIM)指标上分别提升3.32996 dB、0.0979和2.28894 dB、0.0478;且通过三维立体模型对比,本文方法能有效减少模型几何变形、道路纹理映射错误,提高模型精细度。

三维图像配准技术构建膝关节及周围软组织曲面数字化模型

背景:随着现代工业、现代国防以及现代医疗康复产业的发展,仿生设计与制造技术蓬勃兴起,该技术常以各类生物体及其组织为研究对象,模仿其几何外形、力学性能等指标,进而得以逆向设计与制造各类人工合成产品,其中几何外形特别是曲面建模技术的有效仿生是其中的关键一环。目的:以人体膝关节为例探讨曲面建模实践应用技术,建立人体膝关节几何解剖数字化模型,为膝关节生物力学特性的研究提供支持,同时为仿生设计的复杂曲面建模提供了一种有效的教学与研究模式。方法:利用膝关节CT扫描图像和MRI图像,通过医学影像处理技术分别获取骨组织及软组织轮廓的点云数据及其逼近曲线,并分别重建骨组织及软组织的膝关节实体模型。最后基于三维图像配准技术,将各软组织组装配于骨组织实体模型上,形成整体膝关节三维模型。结果与结论:通过3D医学影像技术构建了同时包含各骨组织和韧带、半月板、肌腱等主要软组织在内的膝关节复杂几何曲面解剖数字化模型。

基于图像熵的冰川遥感数据程序化建模

【目的】提高使用冰川遥感数据进行程序化建模的模型精度,降低因遥感图像RGB色域较窄导致空间矩阵边缘干扰。【方法】提出基于图像熵算法构建90 m的DEM高精度三维模型法。首先,对遥感图像进行灰阶处理,将RGB信息转化为满足图像熵计算的灰度信息;其次,设定特定规格的判定网格,应用HALCON平台来计算各网格的熵值,匹配高程噪波;最后,采用视差融合进行程序化建模。在建模过程中应用高程噪波补偿点云来构建模型细节。【结果】由仿真结果可知,在10 m×10 m高程判断网格下,图像熵能正确反映出高程噪波。【结论】该方法能有效提升冰川遥感图像程序化建模的精度,但要注意的是网格边缘熵值容易突变,从而影响高程噪波的正确性。

基于知识图谱构建的面料图像多样化检索系统

为了提高纺织行业筛选面料的效率,满足用户多样化的检索需求,解决面料检索结果单一、耗时久、精度低等问题,通过知识建模将面料的文本信息结构化表示,构建面料图文数据集,导入图数据库中实现面料知识图谱可视化。基于知识图谱构建了面料图像多样化检索系统,该系统将用户提供的检索字段和知识图谱中的面料节点匹配,输出相应面料实体及其一阶近邻实体,实现了面料图像检索多样化。选取了50个文本关键词进行检索试验,结果表明:前8幅图像的查准率为80.7%,mAP值为0.852,平均多样性值为5.8,检索的平均响应时间仅为2.26 s,验证了该系统的有效性和可行性。

虚拟环境中单幅结构场景图像三维建模仿真

文章提出虚拟环境中单幅结构场景图像三维建模仿真。通过摄像机采集单幅结构场景图像,并提取图像中的待建模物体,将待建模物体分解为多个独立的语义部件,以相应的基元拟合各部件轮廓,实现虚拟环境中的三维建模仿真。实验结果表明,设计方法所构建天坛实景三维模型的平面精度在X方向的中误差为0.051m,在Y方向的中误差为0.038 m,在Z方向的中误差为0.042 m,满足Ⅰ级建模精度需求,证实了该方法性能良好。

基于改进ORB算法的数字化纸张产品建模及图像识别

文章将经过改进的ORB算法应用于数字化纸张产品建模及其图像识别,并基于Unigraphics NX软件和相关的数字化技术进行纸张数字化信息图像建模,通过Unigraphics NX所内置的仿真模块获取纸张图像,进而详细介绍了数字化纸张中信息识别的具体方法。

基于图像的建模和绘制技术综述

对基于图像的建模和绘制 (IBMR)技术进行综述性介绍 ,重点阐述了 IBMR研究的最新进展 .扼要地介绍和讨论了一些具有代表性的 IBMR方法 ,并对各种方法进行分析比较 ;最后介绍 IBMR的最新研究动态和某些应用前景 .

基于图像的建模和绘制技术综述

对基于图像的建模和绘制 ( IBMR)技术进行综述性介绍 ,着重阐述 IBMR研究的最新进展 .文中扼要地回顾了一些基本的 IBMR方法 ,并对这些方法的优点和局限性进行分析比较 .最后我们简单介绍 IBMR的一些最新研究趋势和可能的应用前景 .

基于多视角图像的人体三维重建技术

人体测量技术是三维人体建模技术的关键步骤,是时装设计、图案研究、服装生产的重要组成部分。当前人体三维重建技术通常采用3D激光扫描技术,成本较高且操作复杂。基于二维图像的非接触人体测量三维重建技术,提出了系统化的人体轮廓提取方案,通过定义关键点和基准线测量出肩宽、胸宽、腰厚、臀宽等数据,利用回归分析法对胸围、腰围、臀围进行曲线拟合,得到人体特征尺寸。根据已知尺寸信息,采用3DS Max软件对人体进行重构,生成一个接近真实人体的三维人体模型。该方案具有低成本、效率高、操作简便的特点,能解决服装电子商务中二维图像的体围尺寸测量问题。

图像和建模相结合的虚拟场景绘制技术研究

虚拟现实的基础和核心是虚拟场景的构造与交互操纵。有两种方法实现基于微机的虚拟场景:图像的方法(Image-BasedMethod:IBM)和建模的方法(Model-BasedMethod:MBM),这两种方法各有其优缺点。基于图像的方法虽然逼真性和实时性都很好,但只能实时浏览,而不能实时操纵;基于建模的方法虽然支持实时操纵,但其真实感较差。文中在分别研究基于图像、基于建模虚拟现实理论与实现方法的基础上,充分发挥基于图像方法和基于建模方法各自的优点,实现了图像与建模方法相结合的虚拟场景系统。文中介绍了系统的结构、功能、典型实例以及若干关键技术。

基于多视角图像的纱线三维建模及毛羽测量研究

毛羽是评价纱线外观质量的重要参数之一,但现有的二维测量方法无法描述毛羽空间形态,使得测量结果与实际情况存在一定差别。文章介绍了多视角纱线图像采集装置的构建,对采集的多视角图像进行处理并构建纱线三维模型,对毛羽三维点云进行去噪、细化处理,从而实现对毛羽长度的精确测量。实验结果表明,本方法能有效地获取毛羽的三维信息并准确地测量其长度,与USTER TESTER5条干测试仪、ZweigleHL400毛羽测试仪及FZ/T 01086—2020《纺织品纱线毛羽测定方法投影计数法》标准的测试数据进行比较,进一步验证了这一方法的准确性和实用性。

基于图像识别的原始地质编录矢量化三维建模方法

针对传统原始地质编录建模未考虑图件污染、矢量化效率低、模型精确度不高等问题,提出了一种基于图像识别的原始地质编录矢量化三维建模方法,该方法主要包括:①读取并裁剪原始地质编录图纸;②采用Rosenfeld算法降噪细化图形;③采用Douglas-Peucker算法提取并抽稀分离地质素描界线;④三维化地质编录界线;⑤采用Coons曲面精准构建三维地质体模型。该方法成功应用于个旧矿区高松矿田的三维地质建模中,数值模拟实验结果表明:相比于传统原始地质编录三维建模,使用该方法的建模结果更能真实反映矿体形态变化,建模速度从20 min缩短至30 s内,极大提高了地质编录建模效率,进而降低了井下生产勘探和采掘作业工作的风险。

基于3D结构和图像的复杂场景建模绘制

文章讨论了 IBR( image based rendering)的现状和发展 ,并在分析 IBR方法的基础上提出了一种改进的建模绘制方法——基于 3D结构和图像的复杂场景建模绘制。即结合 3D结构 ,整体应用三维实体 ,在某些结构复杂的细节处应用 IBR技术 。

一种基于图像模板的图像建模及识别框架研究

文章构建了一种灵活且易于扩展的智能图像识别算法管理及协作框架。首先设计了用于图像识别算法的统一调度管理模块,然后基于图像模板进行特征标注和识别算法策略建模,最后,基于图像模板及其建模信息和识别算法的统一调度实现对不同类型对象的图像识别。该框架不仅能够有效、灵活地利用不同算法策略对被识别对象中所包含的不同类型设备进行并发识别及异常检测,而且能根据逐步丰富的数据样本,简便快捷地完成识别算法的迭代维护。

基于二维图像的参数化人体建模

为解决现有基于二维图像的三维人体建模容易出现误差、模型参数估计不准确等问题,结合深度学习和优化后的人体建模算法,并利用深度学习算法提供的结果作为先验,缓解优化算法对参数初始值敏感的问题,以实现针对单帧RGB图像和多帧RGB图像的三维人体建模。同时基于HMR深度学习模型预测SMPL-X模型的初始参数,通过添加人体轮廓、二维关键点等对模型参数进一步优化求解,并利用视频序列的帧间连贯性对视频帧中人物的三维姿态进行约束。结果表明:添加人体分割轮廓约束可使重建模型更加贴合人体,能够提升模型拟合的精度;基于视频序列帧间连贯性重建的人体模型,可减少身体旋转、四肢弯曲等误差出现的可能性,与目标对象姿态更加相近。

无监督学习全局和局部特征建模的低光照图像增强

在EnlightenGAN的启发下,提出了一种新的基于无监督学习全局和局部特征建模的低光照图像增强网络(Low-light Image Enhancement Network Based on Unsupervised Learning Global and Local Feature Modeling Image Enhancement,GLFMIE)。该网络分为两个阶段:生成网络和判别网络。生成网络包括全局和局部特征建模网络,判别网络包括全局和局部判别网络。在全局特征建模中创新性地引入了Swin-Transformer Block,其移位窗口机制可以以较少的内存消耗对输入图像进行长距离的特征依赖建模,并很好地提取图像颜色、纹理和形状的特征,从而有效地抑制噪声和伪影。在局部特征建模中,设计了一种多尺度图像和特征聚合(Multi-Scale Image and Feature Aggregation,MSIFA)网络,允许在单个U型网内交换来自不同尺度的信息,进一步增强图像特征的表征能力。在多个公共数据集的测试实验中,与已有一些先进低光照图像增强算法相比,该算法均取得了SOTA级别的表现。

基于双目视觉的动画图像三维建模方法

针对现有建模方法应用效果不佳的问题,提出一种基于双目视觉的动画图像三维建模方法。首先,进行动画图像特征提取及数据采集,设定基础建模点位多层级;其次,建立纹理映射建模关系,构建双目视觉三维图像结构,通过Java3D识别完成三维建模;最后,进行对比分析。测试结果表明,应用该方法得出的像点偏差被较好地控制0.2以下,具有实际应用价值。

基于三维视频融合的智慧港口全景建模研究

针对港区监控视频图像之间联动性差与缺乏三维立体视觉感受等问题,提出一种基于三维视频融合的港口全景建模方法。首先,基于倾斜摄影对港区进行三维重建,在重建过程中利用体素滤波法处理点云数据,以构建轻量化模型;其次,提出一种改进SURF(Speeded-Up Robust Features)算法进行图像相似配准,以求解相机姿态,实现三维模型与视频的融合;最后,以武汉某港口为实验区域,基于Cesium开源引擎实现了三维全景模型可视化渲染。结果表明,上述方法可以将港口监控视频流以纹理的形式投影到实景模型上,构建含有实时视频数据的三维全景模型,解决港口监控现存问题,为实现智慧港口立体监控提供一种新思路。