基于窗口注意力机制的文本超分辨率方法

自然场景下文本图像往往具有复杂且多样化的背景,由于拍摄条件的限制,这些图像可能存在模糊、昏暗或低分辨率等问题,给文本识别任务带来了挑战。为了提高文字区域的清晰度并提升文字识别的准确性,提出了文本超分辨率网络TSSRN。该算法在文本超分辨率网络TBSRN的基础上引入了Swin Transformer,以感知更多层次的特征信息。此外,还引入了边缘损失函数增强纹理结构特征。最后在TextZoom数据集上进行训练和测试,实验结果表明,该方法在文本图像超分辨率重建的细节清晰度方面取得了一定的提升,相较于原TBSRN算法也有所提高,从而验证了算法的有效性。

基于多模态特征融合的图像描述算法研究

针对图像描述任务,传统算法更加关注图像中的视觉物体,而忽略了文本信息对其描述也起到了不可或缺的作用。为增强对图像中文本信息的提取,提出了一种基于多模态特征融合的图像描述算法。在视觉特征提取的基础上,增加文本识别和检测算法,并使用多模态Transformer来融合两种模态。在解码阶段,采用中心图作为指导模块,使用动态指针网络实现迭代解码,使模型生成更加丰富的自然描述语句。最后在Textcaps数据集上的实验结果表明,该方法可以有效提高文本区域中OCR令牌的提取精度。

音频信息检索研究现状与发展趋势

在信息化和网络化时代,音频已成为网络信息传输的主要媒体之一.如何从大量的音频信息流中进行快速高效的内容检索以获得所需要的内容已经成为现代社会急需解决的问题,并已发展成为学术界的一个重要研究方向.该文就音频信息检索研究现状及发展趋势对音频检索的概念和方法进行了阐述,并重点对基于内容的音频信息检索的关键技术和方法进行了讨论.

融合多尺度梯度特征的人脸素描照片合成

人脸素描照片合成是异质图像变换重要分支,近年来受到广泛关注,在数字娱乐和执法领域都得到了广泛应用。近几年基于生成对抗网络的方法在图像跨域转换方面取得了较大的进步,但合成图像会产生噪声、伪影等问题。以U-Net网络为基础,提出了一种融合多尺度梯度特征的人脸素描照片合成方法,该方法结合了MSG-GAN的思想:允许判别器不仅使用生成器最终输出的梯度,而且还使用从上采样中间层输出的不同分辨率的梯度。同时在U-Net网络中加入了残差学习单元,来缓解深度神经网络训练过程中产生的梯度消失和梯度爆炸的问题。此外还加入了基于MRF-CNN的伪人脸特征生成器,采用块匹配的方法来生成伪人脸图像用于监督生成器的人脸生成。最后在CUFS和CUFSF数据集上的实验结果表明所提出方法的有效性。

基于体积渲染和几何一致性的多视图三维重建

从多张输入的图片中预测物体的三维信息是计算机视觉中最基本的任务之一。提出了一种采用体积渲染和几何一致性的多视图三维重建算法。传统的方向需要先生成深度图或者点云来得到曲面网格模型,这中间不可避免地会引入累计误差。方法将三维物体表示为隐式神经曲面,并用体积渲染来优化。同时,使用基于学习的符号距离函数(SDF)来更好地预测表面形状。为了提高算法的重建精度,在曲面重建中添加了明确的几何约束。使用DTU数据集对算法进行验证,实验结果表明,算法的重建精度高于其他基于深度学习的方法。

基于语义感知和空间注意力的人脸图像超分辨率重建

人脸图像超分辨率重建在人脸图像处理中具有重要的应用价值,近年来得到了广泛的研究。然而,以前的工作往往不能为真实世界的低质量人脸图像产生可信的高质量结果,例如在关键人脸结构(眼睛、嘴巴等)以及皮肤纹理等方面还有较大的改善空间。提出了一种基于语义感知和空间注意力的网络结构,用于人脸图像超分辨率重建。引入了一种语义感知风格损失,以改善人脸纹理的细节。此外,还引入了空间注意力残差块(SARB),这使得卷积层能够自适应地引导与关键人脸结构相关的特征。最后在Helen和CelebA数据集上的实验结果表明,该方法在人脸图像超分辨率重建方面优于其他方法。

基于文本感知和非重复单词生成的图像语义理解

在描述图像时,阅读视觉场景中的文本对于理解关键信息至关重要。传统的视觉语言预训练任务都无法指导模型关注图像中的文本信息,以及图像中的文本信息和图像内容的关系。针对此问题,提出基于图像文本信息的预训练任务,包括掩模语言建模(MLM)、图像-文本匹配(ITM)以及相对空间位置预测(RPP)。在解码过程中,为解决生成语句冗余问题,提出重复掩码模块,以避免预测语句中出现重复的单词。最后在Textcaps数据集上的实验结果表明,所提的方法可以有效地提高生成描述语句的准确率。

基于部位分割的单视图三维重建

从单张照片中恢复物体的三维形状及其纹理贴图是一项具有挑战性的工作。提出了一种基于部位分割的单视图三维重建算法,该算法不需要三维监督、手动注释关键点、重建物体的多视图图像或者相应的三维模型。该算法结合可变形卷积网络来预测相机参数、变形参数和纹理参数。同时,采用自监督的方法,使用大量特定类别的图像,来学习部位分割。这样可以有效地增强重建模型和原始图像之间的语义一致性,并且可以提高重建物体相机参数、形状和纹理之间联合预测的精度。使用CUB_200_2011鸟类数据集对算法进行验证,实验结果证明,该算法在重建精度上有较大提升,优于目前的先进方法。

基于中心点距离关联的三维多目标跟踪算法

三维多目标跟踪技术在自动驾驶中发挥着重要的作用,许多基于检测的三维多目标跟踪方法被提出。数据关联是多目标跟踪中的关键步骤,基于中心点的检测网络在三维多目标检测上的有效性得到了广泛验证。因此,充分利用检测框与跟踪框之间的中心点距离信息,在三维多目标跟踪网络中,提出了基于中心点距离交并比(DIoU)的检测预处理以及数据关联优化算法。在公开数据集nuScenes上的实验结果表明,该网络与其他方法相比,在自行车、汽车以及行人等类别的平均跟踪精度上有明显提升,在ID切换次数上有较好的抑制效果。

基于可变形卷积和数据增强的三维多目标检测

近年来,自动驾驶受到越来越多的关注,以点云为输入数据的三维目标检测在该领域中发挥着至关重要的作用。然而,点云目标的尺度差异性以及变换性等问题,导致了目标检测精度的下降。以CenterPoint网络为框架,提出了一种基于可变形卷积和数据增强的三维多目标检测优化算法,该方法提取点云特征后生成地图视角的特征图谱,在检测头网络加入可变形卷积层,并引入图像翻转方法进行数据增强,提高网络对于目标的检测能力。在公开数据集nuScenes上的实验结果表明,该网络与其他方法相比,在汽车、公交车以及行人等类别的检测精度上有一定程度的提升。

基于局部点云拓展的法向量估计算法

为了提高基于深度学习的点云法向量估计算法鲁棒性和准确性,提出了一种基于局部点云拓展的法向量估计算法。首先对输入每个顶点的局部点云块进行特征提取,接着利用注意力机制来选取局部点云块中辨识度更好的特征,然后使用最大池化操作对特征进行融合生成该局部点云块的全局特征,最后整合所有特征信息,得到准确性较高的表面法线向量。使用公开数据集对提出的算法进行验证,实验结果证明,相比目前先进方法 PCPNet,该方法能够从稠密点云输入中恢复出更高质量的三维网格模型。

基于改进型四叉树算法的室外大规模场景实时渲染

在大规模场景渲染过程中,场景中节点的存储、查找,以及视域剔除是影响渲染速度的重要因素。采用一种改进型四叉树算法存储和查找顶点,采用迭代算法替换了原有的递归生成算法,利用该四叉树算法实现了射线检测和视域剔除。实验结果表明,该方法能够有效提高室外场景的渲染帧数,利用它在视域剔除上能发挥本身的层次特性和编码的有序性优点,可以避免和减少视域剔除算法中大量直线与面相交的计算,提高视域剔除算法的效率。

一种二阶差分式耳蜗模型

本文通过双线性变换将一连续时间、连续空间耳蜗模型变换成一离散时间、离散空间耳蜗模型，并获得了一种实用的二阶差分式耳蜗模型．与传统耳蜗模型相比，新模型的幅频特性与相频特性更加接近耳蜗实际特性，尤其是幅频特性下降沿得到了较大改善，另外，文章从理论上推出了耳蜗图，并求出了耳蜗滤波器的３ｄＢ带宽特性，该模型具有简单的数学结构和较好的频率特性，相信其在语音信号处理中的应用会变得更加实际．

基于粒子系统和形状匹配的实时无网格变形仿真

介绍了一种基于粒子系统和形状匹配的无网格变形算法。该算法将模型的每个顶点当成一个粒子,一个模型对应一个粒子系统,通过粒子系统控制物体外形。同时,每个粒子都对应一个目标位置,粒子与其目标位置之间存在弹力,能将粒子拉向目标位置,使得变形后的物体能够恢复原来的形状。目标位置可以通过粒子系统未变形时的静止状态与当前变形状态之间的形状匹配来计算。该算法简单,易于实现,且不需要复杂的数据结构。实验结果表明该算法稳定,具有实时性,可以有效地应用于三维游戏中。

一种非线性耳蜗力学模型

根据耳蜗的实际工作原理，在对耳蜗流体运动做了某些假设之后，对用来描述耳蜗流体运动的Ｎａｖｉｅｒ－Ｓｔｏｋｅｓ方程进行了必要的简化。在保留了方程中非线性项和粘滞项的条件下，求出了耳蜗流体在纯音激励下的压力分布，并由此建立了一种纯音激励下的二维非线性耳蜗力学模型，在将基底膜离散化之后，术出了该模型的传输函数，并绘出了基底膜上１０个等距离，点的频率特性曲线，计算结果与Ｒｈｏｄｅ的实验数据相当接近。

语音激励下的耳蜗传输特性

本文根据语音可以表示为有限项正弦级数的理论，在把耳蜗流体视为实际的粘性流体的条件下，建立了一种新的听觉模型，并在频域上求出了模型的传输函数。本文给出的听觉模型与传统的听觉模型在数学结构上非常接近，所不同的是前者避免了求格林函数以及由此而带来的卷积运算，因此，结构更加简化，在不计及中耳影响的条件下，新模型的传输特性曲线比传统模型的传输特性曲线有较大的改进。

正弦激励下的非线性耳蜗模型:传输函数及频率响应

对正弦激励下的二维非线性耳蜗模型,该文采用空间离散法使其在坐标 x 方向(基底膜长度方向)离散化,并在时域上求出了基底膜在给定激励(镫骨运动速度)下,各点稳态振动速度的解析解.以基底膜稳态振动速度为输出、镫骨运动速度为输入,定义了非线性耳蜗模型的传输函数,并由此求出了耳蜗模型的频率响应。计算结果表明,耳蜗流体的粘滞性及非线性运动特性是影响实际耳蜗频率特性上升斜率的两个主要因素。

耳蜗流体粘滞性问题探讨

本文从粘性流体的运动方程出发,根据耳蜗流体和基底膜(BM)的实际运动情况,导出了耳蜗流体非粘滞假设成立的条件。结果表明:当声压级(SPL)小于和等于80dB 时,耳蜗流体不能假设是非粘滞的,当声压级等于90dB 时,非粘滞假设只能在4～30kHz 的频域内有效。

遗传进化理论及其在数据挖掘中的应用

遗传进化理论由美国密歇根大学J.Holland教授提出,该理论借鉴生物遗传机制,以群体方法进行自适应搜索,受到广泛关注,并在科学研究中得到广泛应用。数据挖掘从大量数据中提取信息与知识,遗传算法具有群体搜索策略和简单的遗传算子,可以实现整个数据空间上的分布式信息搜索和采集,在数据挖掘领域得到广泛应用。本文综述了遗传算法的起源、基本原理和特点,介绍了数据挖掘的应用和发展,阐述了近年来遗传算法在分类规则挖掘和关联规则挖掘方面的应用。最后对遗传算法在数据挖掘中的应用前景和面临的挑战进行了分析和展望。

耳蜗中粘性流体的速度分布及压力梯度分布

论文根据耳蜗的力学结构特性,将耳蜗近似地看成一个三维的矩形截面管,并利用H B Atabek的假设,对该管入口区域的二维不定常流进行求解,导出了相应的速度分布及压力梯度分布公式。实验结果表明,所给出的耳蜗中粘性流体的速度分布与实际情况相当吻合,这样就为在粘性流体的情况下建立耳蜗模型提供了理论依据。