在时变色散信道和低信噪比下,基于时频图利用深度神经网络的短波信号识别的方法对并行多音信号的识别能够取得一定效果,但常用的相位调制的串行单音短波信号识别难以取得较好效果。由于短波信号帧结构中都含有同步帧和发射电平起控帧等...在时变色散信道和低信噪比下,基于时频图利用深度神经网络的短波信号识别的方法对并行多音信号的识别能够取得一定效果,但常用的相位调制的串行单音短波信号识别难以取得较好效果。由于短波信号帧结构中都含有同步帧和发射电平起控帧等特征数据,提出了一种基于同步帧注意力机制的卷积神经网络结构。测试结果表明,使用卷积神经网络(Convolutional Neural Networks,CNN)、双向长短时记忆(Bi-directional Long Short Term Memory,Bi-LSTM)和注意力机制搭建成的深度神经融合网络模型对短波基带信号直接进行检测识别能够取得较好效果。展开更多
针对医疗文本语义稀疏、维度过高的问题,提出一种基于迁移学习和集成学习的多标签医疗文本分类算法(Trans-LSTM-CNN-Multi,TLCM)。该算法采用ALBERT(A Lite BERT)模型内部的多层双向Transfomer结构对大型语料库展开训练,获取通用领域的...针对医疗文本语义稀疏、维度过高的问题,提出一种基于迁移学习和集成学习的多标签医疗文本分类算法(Trans-LSTM-CNN-Multi,TLCM)。该算法采用ALBERT(A Lite BERT)模型内部的多层双向Transfomer结构对大型语料库展开训练,获取通用领域的文本动态字向量表示。然后,利用医学领域目标数据集通过迁移学习和模型微调技术实现ALBERT预训练语言模型在医学领域的文本语义增强。在此基础上,将上述通过迁移学习得到的文本语义增强模型输入到Bi-LSTM-CNN集成学习模块,进一步提取医学文本内容的重要信息特征。最后,基于二元交叉熵损失函数构造文本多标签分类器实现医疗文本分类。实验结果表明,通过迁移学习和集成学习的TLCM文本分类算法能有效提升医疗文本的分类性能,在中文健康问句数据集上整体F1值达到了91.8%。展开更多
尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破。但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从...尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破。但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳。此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息。因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN)。该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类。MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6%、87.4%、98.6%、94.1%、65.9%、96.8%的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果。展开更多
文摘在时变色散信道和低信噪比下,基于时频图利用深度神经网络的短波信号识别的方法对并行多音信号的识别能够取得一定效果,但常用的相位调制的串行单音短波信号识别难以取得较好效果。由于短波信号帧结构中都含有同步帧和发射电平起控帧等特征数据,提出了一种基于同步帧注意力机制的卷积神经网络结构。测试结果表明,使用卷积神经网络(Convolutional Neural Networks,CNN)、双向长短时记忆(Bi-directional Long Short Term Memory,Bi-LSTM)和注意力机制搭建成的深度神经融合网络模型对短波基带信号直接进行检测识别能够取得较好效果。
文摘针对医疗文本语义稀疏、维度过高的问题,提出一种基于迁移学习和集成学习的多标签医疗文本分类算法(Trans-LSTM-CNN-Multi,TLCM)。该算法采用ALBERT(A Lite BERT)模型内部的多层双向Transfomer结构对大型语料库展开训练,获取通用领域的文本动态字向量表示。然后,利用医学领域目标数据集通过迁移学习和模型微调技术实现ALBERT预训练语言模型在医学领域的文本语义增强。在此基础上,将上述通过迁移学习得到的文本语义增强模型输入到Bi-LSTM-CNN集成学习模块,进一步提取医学文本内容的重要信息特征。最后,基于二元交叉熵损失函数构造文本多标签分类器实现医疗文本分类。实验结果表明,通过迁移学习和集成学习的TLCM文本分类算法能有效提升医疗文本的分类性能,在中文健康问句数据集上整体F1值达到了91.8%。
文摘尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破。但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳。此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息。因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN)。该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类。MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6%、87.4%、98.6%、94.1%、65.9%、96.8%的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果。
