改进CapsNet的文本自杀风险检测模型

针对现有模型未充分利用社交媒体中文本历史动态信息进行自杀风险检测的问题,引入CapsNet模型。在CapsNet模型中,层与层之间传递的是有向神经元组,能够更好地感知长文本中的空间信息,发现社交媒体用户的情感趋势,为自杀风险检测提供依据。文中对CapsNet模型进行改进,首先改变尺度空间,增加网络宽度,充分提取隐藏在句子中的特征信息;其次,使用指数函数对Squash函数进行优化,放大胶囊输出,充分利用胶囊提取用户历史动态中的特征信息;最后,在动态路由中采用优化算法对耦合系数进行初始化,去除噪声胶囊的干扰。使用预训练的SBERT模型对社交媒体文本数据进行特征提取,得到改进CapsNet文本自杀风险检测模型二分类的准确率达到95.93%,F1分数达到95.86%,优于自杀风险检测的其他模型。

融合时频空间特征的土石坝地震易损性分析改进MLP模型研究

针对现有地震易损性分析中采用的峰值加速度、峰值速度等地震动指标未能充分反映地震动复杂的时频空间特征,且现有基于对数空间线性函数关系假设的地震需求模型难以揭示地震动指标与地震响应间复杂非线性关系的问题,提出一种融合时频空间特征的土石坝地震易损性改进多层感知机(Multi Layer Perceptron,MLP)模型。该模型利用胶囊网络(Capsule Network,CapsNet)能够充分捕捉和表征目标特征空间位置分布的优势,从地震动小波时频图中提取反映地震动时频空间分布的深层特征,并以特征拼接的方式与既有特征进行融合,构建地震动融合指标;进一步地,采用树形Parzen优化算法(Tree structured Parzen Estimator,TPE)对MLP的神经元数量、学习率等超参数进行优化,提出基于TPE-MLP的土石坝地震需求模型,以反映地震动融合指标与地震响应间的复杂非线性关系,进而实现土石坝地震易损性的可靠分析。案例分析表明,相比于既有地震动指标,基于地震动时频空间特征融合指标的土石坝地震需求模型的MAE降低了40.5%,表明了所提模型的可靠性和优越性。

基于CapsNet的汉字字形表征模型

提出基于胶囊神经网络(CapsNet)的汉字字形表征模型,通过表征汉字字形中的部件实现汉字字形的表征.首先,对任一汉字字形生成所有部件类别的表征向量.然后,根据部件存在概率,利用基于欧氏距离的离群点检测,选取相应的部件表征向量.最后,由选出的部件表征向量组成该汉字的字形表征.实验表明,文中模型在仅经过部件字形训练的情况下,即可有效识别汉字部件,同时自动生成汉字字形的有效表征.

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.

基于胶囊网络的三维模型识别

为解决传统卷积神经网络中大量池化层的引入导致特征信息丢失的问题,依据胶囊网络(CapsNet)使用向量神经元保存特征空间信息的特性,提出了一种用以识别三维模型的网络模型3DSPNCapsNet。使用新的网络结构,提取更具代表性的特征的同时降低了模型复杂度,并提出基于动态路由(DR)算法的DRL算法来优化胶囊权重的迭代计算过程。在ModelNet10上的实验结果表明,相比3DCapsNet以及VoxNet,该网络取得了更好的识别效果,在原始测试集上3DSPNCapsNet的平均识别准确率达到95%,同时验证了该网络对旋转三维模型的识别能力。适当扩展旋转训练集之后,所提网络对各角度旋转模型的平均识别率达到81%。实验结果表明,3DSPNCapsNet对三维模型及其旋转具有良好的识别能力。

基于刑事Electra的编-解码关系抽取模型

针对司法领域关系抽取任务中模型对句子上下文理解不充分、重叠关系识别能力弱的问题,提出了一种基于刑事Electra(CriElectra)的编-解码关系抽取模型。首先,参考中文Electra的训练方法,在1000000份刑事数据集上训练得到了CriElectra;然后,在双向长短期记忆网络(BiLSTM)模型上加入CriElectra的词特征进行司法文本的特征提取;最后,通过胶囊网络(CapsNet)对特征进行矢量聚类,从而实现实体间的关系抽取。实验结果表明,在自构建的故意伤害罪关系数据集上,与基于中文Electra的这一预训练语言模型相比,CriElectra在司法文本上的重训过程使得学习到的词向量蕴含更丰富的领域信息,且F1值提升了1.93个百分点;与基于池化聚类的模型相比,CapsNet通过矢量运算能够有效防止空间信息丢失,并提高重叠关系的识别能力,使得F1值提升了3.53个百分点。

基于ACapsGRU的短时交通流预测研究

针对交通流预测中的时空相关性进行研究.首先,根据城市交通路网建立速度矩阵,将每个时刻的速度矩阵输入胶囊网络进行空间特征的提取;其次,利用注意力机制结合近期交通流数据生成注意力权重;最后,将带有注意力权重的数据输入到门控循环单元学习交通流的时间特征,进行组合模型的短时交通流预测.使用西安市的交通流数据进行验证,结果表明:提出的ACapsGRU组合模型有更好的预测结果,相比于卷积神经网络、胶囊网络及CapsNet-NLSTM等模型预测结果,在平均绝对误差(MAE)方面分别优化了17.08%,13.85%和4.78%.