基于融合嵌入向量的多目标优化社区发现

社区发现是复杂网络分析的一个主流研究方向,能够发掘隐藏在复杂网络中的社区结构.多目标进化计算算法具有同时优化多个目标以及自动找出最优解的优势,被广泛应用于社区发现.但是,现有进化计算社区发现方法存在搜索能力不高与社区划分精度不高等问题.文中提出一种基于嵌入向量的多目标优化进化计算方法.首先,设计基于融合系数编解码方案,利用节点融合系数结合结构、属性嵌入向量通过加权计算得到融合嵌入向量,使得算法能够不受网络结构限制,以提升算法的搜索能力,从而提高社区划分的质量.其次,设计一种后处理节点修正策略,通过优化模块度与社区内属性相似度来避免解陷入局部最优,提高社区发现的精度.在真实和人工网络数据集上的实验验证了所提算法的有效性.

基于物品嵌入向量的会话型推荐算法

传统基于会话的推荐算法主要利用点击物品的时序信息进行建模,忽略了挖掘物品的特征信息,且未利用物品之间的相似性。为提升推荐效果,提出一种新的基于会话的推荐算法SR-I2V。通过Skip-gram模型和层次softmax优化方法学习物品的嵌入向量,由意图递进公式对已发生的物品点击提取出意图特征向量,并根据特征向量相似度计算出每个候选项的推荐分数。实验结果表明,与I2I、Po P和S-POP等传统基于会话的推荐算法相比,该算法在Yoochoose和Diginetica两个数据集上的推荐召回率分别提高了至少4.67个百分点和3.97个百分点,平均倒数排名指标也有相应提高。

一种基于核典型关联分析的短语音说话人嵌入向量算法

针对短语音条件下,基于全局变异空间提取的身份向量存在估计不足导致性能下说话人识别降的问题,提出了一种基于核典型关联分析的方法融合全局变异空间和时滞神经网络的说话人嵌入向量.首先,分别训练全局变异空间和时滞神经网络模型.然后在注册和测试阶段,同时提取说话人在两者模型中嵌入向量.通过高斯核函数将其映射至高维空间分析其非线性关联关系,从中获得仿射向量,最后将其组合得到最终说话人嵌入向量.实验表明,10秒以下的短语音环境,该方法所提取出的说话人向量相比其余几种说话人嵌入向量在等误差率和最小检测代价上平均下降了16.29%,20.38%,2.78%以及8.03%,7.17%,0.26%.最后,与其他算法进行对比,在等误差率上均有提升.以上实验表明,该文所提出的方法有效提高短语音环境下的说话人识别性能.

语言知识驱动的词嵌入向量的可解释性研究

神经网络语言模型应用广泛但可解释性较弱,其可解释性的一个重要而直接的方面表现为词嵌入向量的维度取值和语法语义等语言特征的关联状况。先前的可解释性工作集中于对语料库训得的词向量进行知识注入,以及基于训练和任务的算法性能分析,对词嵌入向量和语言特征之间的关联缺乏直接的验证和探讨。该文应用基于语言知识库的伪语料法,通过控制注入语义特征,并对得到的词嵌入向量进行分析后取得了一些存在性的基础性结论:语义特征可以通过控制注入到词嵌入向量中;注入语义特征的词嵌入向量表现出很强的语义合成性,即上层概念可以由下层概念表示;语义特征的注入在词嵌入向量的所有维度上都有体现。

基于嵌入式向量和循环神经网络的用户行为预测方法

为了进一步描述时间因素对用户行为的影响,进而提高推荐系统的推荐效果,综合考虑了用户的长期行为特征和短期行为特征提出一种基于嵌入式向量和循环神经网络的用户行为预测方法。依据推荐系统中的所有用户行为数据,将用户和商品嵌入到相同的特征空间,并通过嵌入式向量反应用户的长期行为特征。针对每个用户,依据其历史行为的时间序列,基于循环神经网络建立该用户的行为预测模型,从而描述该用户的短期行为特征。实验结果表明,提出的方法与特征级时间序列分析等方法相比具有更好的推荐效果。

基于多查询的社交网络关键节点挖掘算法

关键节点挖掘是复杂网络领域的研究重点和热点。针对社交网络中关键嫌疑人挖掘问题,提出基于多查询的社交网络关键节点挖掘算法。该算法将已知嫌疑人作为查询节点,提取其所在的局部拓扑结构,并计算局部拓扑结构中非查询节点的关键程度,从中选择关键程度较高的节点进行推荐。针对现有方法中关键节点计算复杂度高、已知查询节点信息难以有效利用的问题,提出一个两阶段的基于多查询的社交网络关键节点挖掘算法,整合多查询节点的局部拓扑信息和全局节点聚合特征信息,将计算范围从全局缩减到局部,进而对相关节点的关键程度进行量化。具体而言,利用带重启策略的随机游走算法获得多个查询节点的局部拓扑结构;为了得到节点的嵌入向量,基于graphsage模型构建一种无监督的图神经网络模型,该模型结合节点的自身特征和邻居聚合特征来生成嵌入向量,从而为算法框架的相似度计算提供信息输入。基于与查询节点特征的相似性,衡量局部拓扑中节点的关键程度。实验结果显示,所提算法在时间效率和结果有效性方面均优于传统关键节点挖掘算法。

一种基于RoBERTa模型的文本搜索排序方法

针对日益增长的资料快速检索共享需求,利用鲁棒性优化的BERT方法(Robustly optimized BERT approach,RoBERTa)预训练模型对现有资料进行训练,基于Transformer自注意力机制的语言学习模型,生成文本嵌入向量,将文本向量作为全文本的上下文表征。通过将关键搜索词向量化,使用欧氏距离计算向量与其他向量之间的距离,并使用快速排序算法,以找到最相似的向量输出显示,解决基于内容和上下文语义搜索的应用需求。

基于神经网络的异构网络向量化表示方法

当网络中存在不同类型的对象时,对象与对象之间的关系会变得多种多样,网络的结构也会变得更为复杂。针对网络的异构化问题,提出了一种基于神经网络的异构网络向量化表示方法。针对具有图片和文本两种类型对象的异构网络,采用多层次的卷积网络将图片映射到一个潜在的特征空间,采用全连接的神经网络将文本对象也映射到相同的特征空间。在该特征空间内,图片与图片、文本与文本以及图片和文本之间的相似性采用相同的距离计算方法。在实验中,应用提出的方法进行异构网络的多种应用测试,结果表明提出的方法是有效的。

基于稀疏自编码器的属性网络嵌入算法

在多数属性网络嵌入算法中,拓扑结构的设计只考虑节点间直接链接,而未考虑节点间间接链接及不同节点的共同链接比,导致不能充分提取网络真实拓扑特征。针对该问题,提出一种基于稀疏自编码器的属性网络嵌入算法SAANE。根据网络拓扑提取二级邻居和共同邻居比并将其融入节点文本属性信息,对融合后的向量通过训练最优稀疏自编码网络得到节点低维嵌入向量。在5个真实网络上进行聚类和分类,实验结果表明,与DeepWalk、Node2Ves、LINE等8种主流算法相比,SAANE的聚类结果最优,NMI值平均提高5.83%,分类准确率平均提高4.53%。

基于层级嵌入学习的社交策展内容推荐

为对社交策展网站中的用户-采集册-采集条目进行统一建模,提出一种基于层级嵌入学习的社交策展内容推荐方法。基于语言词向量嵌入模型,通过隐性层级嵌入学习和显性层级嵌入学习两种策略,学习得到用户、采集册和采集条目在同一低维嵌入空间的表达。通过该方法获得的嵌入表达较好捕捉了用户与内容之间的关联关系,可以准确匹配需求用户和感兴趣内容,应用到个性化信息推荐问题中。在图像策展网站Pinterest上的实验验证了该方法在采集册推荐和采集条目推荐问题上的有效性。

利用无监督预训练的轨迹深度关联

针对时空相似度算法关联轨迹的局限性,采用深度学习方法进行轨迹关联,并提出了一种基于无监督预训练的匹配神经网络训练方式。利用Geohash向量嵌入对轨迹信号做特征工程处理,构建自注意力机制神经网络结构,使用无标注轨迹数据基于遮蔽预测任务进行模型预训练;然后构建孪生匹配网络结构,加载预训练模型参数;最后使用标注轨迹对数据基于均方差损失函数微调预训练模型参数得到轨迹对匹配模型。采用Geolife GPS轨迹数据集作为评估数据集进行模型训练与测试,实验结果显示,利用无监督预训练的轨迹关联方法较现有最优算法匹配准确率提高了5个百分点,达到了96.3%,充分证明了该方法的有效性。目前轨迹关联领域基于深度学习预训练模型的研究较少,该方法具有重要的参考意义。

基于图卷积神经网络的石油数据资产知识图谱实体对齐方法

在石油数据资产知识图谱融合过程中存在命名规则差异性大、专业性强和特殊语义问题。提出基于图卷积神经网络的石油数据资产知识图谱(KG)实体对齐方法,给定一组预先对齐的实体种子,采用Graph Convolutional Networks(GCNS)网络学习实体结构和属性信息嵌入统一向量空间,计算空间中实体之间距离;在石油数据资产数据集中对两个KGs进行实体对齐实验。结果表明:基于GCN融合实体关系和属性的嵌入模型优于基于实体关系的TransE实体对齐模型,Hits@1最高为16.96%,比TransE实体对齐模型平均提升6.18%。基于图卷积神经网络的融合实体关系、属性和属性值的实体对齐方法适用于石油数据资产知识管理。

开放式环境下基于向量表征与计算的动态访问控制

访问控制是网络安全的基础技术。随着大数据技术与开放式网络的发展,互联网用户的访问行为变得越来越灵活。传统的访问控制机制主要从规则自动生成和规则匹配优化两方面来提升访问控制的工作效率,大多采用遍历匹配机制,存在计算量大、效率低等问题,难以满足开放式环境下访问控制动态、高效的需求。受人工智能领域中的分布式嵌入技术的启发,提出一种基于向量表征与计算的访问控制的VRCAC(Vector Representation and Computation based Access Control)模型。首先将访问控制规则转化为数值型向量,使得计算机能够以数值计算的方式实现快速的访问判定,用户向量与权限向量的位置关系可用两者的内积值表示,通过比较内积值与关系阈值,可以快速判断用户与权限的关系。此方法降低了访问控制执行的时间复杂度,从而提高了开放式大数据环境下的访问控制的执行效率。最后在两个真实数据集上,采用准确率、误报率等多种评价指标进行了比较实验,验证了所提方法的有效性。

基于BERT的金融文本情感分析模型

在金融领域,越来越多的投资者选择在互联网平台上发表自己的见解.这些评论文本作为舆情的载体,可以充分反映投资者情绪,影响投资决策和市场走势.情感分析作为自然语言处理(natural language processing,NLP)中重要的分支,为分析海量的金融文本情感类型提供了有效的研究手段.由于特定领域文本的专业性和大标签数据集的不适用性,金融文本的情感分析是对传统情感分析模型的巨大挑战,传统模型在准确率与召回率上表现较差.为了克服这些挑战,针对金融文本的情感分析任务,从词表示模型出发,提出了基于金融领域的全词覆盖与特征增强的BERT(bidirectional encoder representations from Transformers)预处理模型.

基于图卷积神经网络的输电线路自然灾害事故预测

台风、山火及线路覆冰等自然灾害为输电线路的可靠运行带来了挑战。为了更精准地预测自然灾害下输电线路的事故概率,近年来的预测方法整体上表现出考虑因素越来越全面的趋势,但仍存在改进的空间。对于离散型随机变量,传统的独热向量编码方式忽略了文字本身的信息和变量之间的逻辑关系。为了改进考虑多种影响因素的数据驱动预测方法,采用嵌入向量作为变量的编码方式以考虑变量内部的文字信息,基于知识图谱设计图卷积神经网络以考虑了变量之间的逻辑关系,最终实现事故预测。算例分析表明,提出的方法对自然灾害下输电线路事故的整体预测准确率为88%,与采用独热向量的编码方式相比准确率更高。一方面,采用嵌入向量替代独热向量对结构化数据和非结构化信息进行编码可以提高预测准确率;另一方面,有效挖掘变量之间的逻辑关系是进一步提高预测准确率的关键。

双匹配焦点融合的开放域答案选择模型

开放域答案选择模型通过对同一问题的不同候选答案打分,寻找与问题最匹配的答案,是问答(QA)系统的重要组成部分。现有开放域QA系统中的答案选择模型较少关注词级与句子级的融合,导致在匹配关系上缺乏上下文的语义联系,或损失个别单词在语法语义上的细节信息。基于相邻相似原理,提出一种融合双匹配焦点的答案选择模型。根据问答任务多语句关联的特点,设计一种可以将词语的问答承接关系和问答语义关系嵌入进词向量的词嵌入方式,并利用该词向量直接计算词对的余弦相似度,得到词级匹配焦点。通过引入注意力机制的Encoder-Decoder模型提取句子级词对匹配焦点,以问题为基准对齐两个焦点分布矩阵,并使用焦点间的相对距离融合词级与句子级匹配矩阵,获得问题与答案的相关性得分。在Wiki-QA、TREC-QA两个公开问答数据集上的实验结果表明,该模型与多跳注意力模型、层级排序模型相比,平均准确率均值分别提高0.0801和0.0571,平均倒数排名分别提高0.0176和0.0066。

异构并行的DGA域名检测方法

现有的DGA域名检测方式存在检测时间开销大、检测精度不高以及基于单词的DGA域名检测效果不佳等问题。经过研究发现,将域名先按照典型特征分类再进行更细致的特征提取,对于模型的准确率有一定的正向作用,且多类并行可以降低检测时间,此外对于较难检测的基于单词的DGA域名可以进行针对性处理。因此,文中提出了一种基于Word ninja分词技术的三路异构并行的DGA域名检测模型。先将域名分为三类,再针对每一类进行检测模型结构的搭建。对于字符级域名,通过人工提取特征来进行域名的有效分类。对于词根词缀级域名,采用FastTest进行子词之间、字符之间以及上下文之间关系的特征提取,再作为词向量嵌入。对于单词级域名,采用Word2Vec理解和处理词的含义和词之间的关系。最后,将文中方法和当前流行方法、多路异构并行模型和单路模型的检测结果进行比较评估,实验结果证明了提前分类的必要性以及多路并行的有效性。

基于Word2Vec和Bi-GRU的高职线上教评情感分析法试探

为提高高职线上教评情感分析的准确度和效率,提出基于双向门控循环单元(Bi-GRU)网络的教评情感分析法。该方法利用Skip-gram神经网络学习教育领域特定的词嵌入向量,再利用两个相同架构的Bi-GRU网络,从不同角度实现对学生反馈的细粒度分析。实验结果表明,该方法内容分类和情感分类的准确度分别达到97%和95%,显著优于支持向量机(SVM)、长短时记忆网络(LSTM)等其他方法。

基于实体相似度信息的知识图谱补全算法

为了解决知识图谱的链接预测问题,提出了一种共享变量的神经网络模型(LCPE),该模型通过将实体和关系嵌入到向量空间中实现对链接的预测。通过分析Unstructured Model,推导出在向量空间中两个有关系的实体嵌入距离更近,即相似的实体之间更可能具有关系,LCPE模型将ProjE模型和实体之间的相似度信息进行融合,在判断两个实体是否有关系的基础上判断具体关系类型。三元组预测实验中,LCPE模型在与ProjE模型参数规模相同的情况下,在公开数据集WN18中,正例三元组的平均得分排名(Mean Rank)比ProjE提前了11,而正例三元组在前10名中出现的概率Hit@10比ProjE提升了0.2个百分点;在FB15k中,Mean Rank提前了7.5,Hits@10平均提升了3.05个百分点:证明了LCPE模型能够将实体相似度信息融入ProjE中并有效提升预测准确度。

基于TF-IDF的卷积神经网络新闻文本分类优化

针对使用词语级别的预训练嵌入向量初始化卷积神经网络的嵌入层在计算资源有限时存在内存溢出和训练时间长的问题,对新闻文本作出假设:去除部分不重要的词语不会影响最终分类效果,并基于TF-IDF提出一种类别关键词提取方法。通过提取类别的关键词减少词表,进一步减小嵌入矩阵的大小。在THUCNews数据集上进行的实验表明:当嵌入矩阵参数减少近89%时,在CPU的训练时间减少约49%,模型大小减少约87%,分类性能不受影响。