基于条件独立性检验的非稳态因果发现方法

非稳态时间序列数据之间的因果关系发现是非常重要但极具挑战的问题。现有的工作主要假设观察数据随着时间或领域发生变化。上述假设使得相关方法需要引入时间或领域作为先验知识,无法应用于分段稳态的非稳态场景。因此,提出了一种基于条件独立性检验的非稳态因果关系发现算法。首先使用变化点检测方法来识别非稳态变化的时间点,然后将上一步的时间点进行区间划分,用基于条件独立性检验的时序因果关系发现算法推断局部稳态因果结构。在仿真和真实世界数据上的实验证明了该方法的有效性。

基于一致性图的权重自适应多视角谱聚类算法

随着移动设备和互联网的普及,多视角数据的采集和分享变得更加容易,其可以从多个视角更准确地描述数据。目前,一些多视角聚类算法忽略了不同视角间的一致性潜在知识和不同视角的重要性。针对该问题,提出一种平衡视角间一致性信息的多视角聚类算法。首先通过调节视角权重学习视角间一致的共享相似度矩阵,提升共享矩阵的一致性,其中相关性强的视角具有的一致性信息更多,视角权重越大,在一致性学习中发挥的作用越大,而差异性大的视角其权重越小,在学习中发挥的作用越小。其次学习视角间的一致性样本嵌入以及不同视角的特征嵌入,并将特征嵌入中包含的多样性特征信息迁移到样本嵌入中,以此促进样本嵌入的一致性表达。在不同视角特征中包含多样性信息,可补充上述共享相似度矩阵学习中单一样本关系的不足。因此,采用二部图协同聚类,通过建立样本数据、样本嵌入和特征嵌入的关系图,学习样本的特征嵌入,并将其迁移到样本嵌入中。最后将图学习、谱聚类和特征嵌入学习整合到统一的框架中进行联合优化,得到最优的样本嵌入。实验结果表明,通过对样本嵌入进行K-means聚类,将该算法运行于5个真实数据集并与7种聚类算法对比,其中在3-Sources、Yale、MRSCV1数据集上的正确率均高于对比算法5%以上,验证了该算法的有效性。

基于非稳态加性噪声模型的因果发现算法

因果发现旨在通过观测数据挖掘变量间的因果关系。现有的因果发现方法大多假定数据的产生过程是平稳的,然而在实际环境下往往不满足稳态假设,导致结果不可靠。研究发现,在一些场景中的非稳态扰动与时序信息高度相关。因此,在加性噪声模型基础上将非稳态扰动刻画为一项关于时序信息的函数,设计非稳态加性噪声模型,并给出非稳态加性噪声模型的识别条件,提出一种两阶段的因果关系学习算法。第1阶段利用回归计算得到变量残差,再检验残差与回归特征集的独立性从而选出叶子节点,迭代得到观测变量集的因果次序;第2阶段再次进行回归计算和独立性检验,消除第1阶段中冗余的因果关系,从而得到观测变量集的因果结构。实验结果表明,与基于约束的异构/非平稳因果发现、LPCMCI和Ti MINo算法相比,该算法在仿真数据集上取得了最优的效果,平均F1值达到0.85;而在真实因果结构数据集中,该算法的F1值平均提升41.12%,能够从非稳态数据集中恢复出更多因果结构的信息。

时空邻域感知的时序兴趣点推荐

如何捕捉用户行为的动态变化和依赖关系是当前兴趣点推荐的一个重要问题,主要面临着数据稀疏、时空序列特征提取难以及用户个性化差异不易捕捉等挑战。为了解决这些挑战,提出了一种基于时空邻域感知及隐含状态变化的时序兴趣点推荐方法。该方法将用户行为的学习转换成了潜在状态的学习,并以一种结合距离信息的方式引入空间信息,有效地捕捉了用户的移动特征。首先,利用变分自编码器表征用户的潜在状态,再通过图神经网络学习到潜在状态之间的依赖关系,从而捕捉到用户行为的时序依赖;然后,利用注意力机制和径向基函数来捕捉用户与地点候选集之间的空间依赖,进而评估用户访问每个地点的概率,实现兴趣点推荐。在三个真实数据集上进行了实验比较和分析,显示了该方法相比于现有的基准算法具有更好的时序推荐性能。

基于因果机制约束的强化推荐系统

利用历史数据训练强化学习推荐系统已经得到越来越多研究人员的关注,但是历史数据使得强化学习模型对状态-动作估值错误,产生数据偏差,如流行度偏差和选择偏差。造成上述问题的原因是历史数据分布与强化学习策略采集的数据分布不一致以及历史数据本身带有偏差。使用因果机制可以在约束策略采集数据分布的同时解决数据偏差的问题,提出基于因果机制约束的强化推荐系统,包含因果机制约束模块和对比策略模块。因果机制约束模块用于约束推荐策略可选择的样本空间以减少策略分布与数据分布误差,考虑随时间动态变化的物品流行度分布以缓解流行度偏差。对比策略模块通过平衡正负样本的重要性,缓解选择偏差的影响。在真实数据集Ciao和Epinions上的实验结果表明,相比深度Q网络(DQN)-r、GAIL、SOFA等,该算法具有较优的准确性和多样性,包含加入因果机制约束模块后的模型在F-measure指标上分别提高2%和3%,进一步验证了因果机制约束模块的有效性。

基于结构感知混合编码模型的代码注释生成方法

代码注释能够提高程序代码的可读性,从而提升软件开发效率并降低成本。现有的代码注释生成方法将程序代码的序列表示或者抽象语法树表示输入到不同结构的编码器网络,无法融合程序代码不同抽象形式的结构特性,导致生成的注释可读性较差。构建一种结构感知的混合编码模型,同时考虑程序代码的序列表示和结构表示,通过序列编码层和图编码层分别捕获程序代码的序列信息和语法结构信息,并利用聚合编码过程将两类信息融合至解码器。设计一种结构感知的图注意力网络,通过将程序代码的语法结构的层次和类型信息嵌入图注意力网络的学习参数,有效提升了混合编码模型对程序代码的复杂语法结构的学习能力。实验结果表明,与SiT基准模型相比,混合编码模型在Python和Java数据集上的BLEU、ROUGE-L、METEOR得分分别提高了2.68%、1.47%、3.82%和2.51%、2.24%、3.55%,能生成更准确的代码注释。

面向多元时间序列的群体因果关系发现算法

从多元时间序列观测数据中学习多个变量之间的因果关系是许多专业领域中的重要基本问题。现有的多元时间序列因果关系发现方法通常从每个个体的观测数据中学习个体因果关系,没有考虑部分个体之间可能存在相同的因果关系,导致样本利用不足。提出一种面向多元时间序列的群体因果关系发现算法。该算法分为2个阶段:第一阶段基于因果关系对个体之间的相似性进行度量,并把多个个体划分成多个群体,且无须指定群体的个数;第二阶段基于变分推断方法充分利用每个群体内的所有个体数据,从而学习群体因果关系。实验结果表明,该算法在多组不同参数生成的仿真数据上均具有较好的表现,与对比算法相比,AUC评分提升了5%~20%。在真实数据集中,该算法能够较好地区分具有不同因果关系的群体,并且能够学习到不同群体之间不同的因果关系,表明算法不仅具有因果关系发现能力,而且还具有多元时间序列聚类能力。

基于递归分解的因果结构学习算法

在高维小样本场景下,针对现有基于约束的因果结构学习方法存在因果结构学习效率低、马尔可夫等价类的问题,以非线性非高斯的高维小样本为研究对象,提出一种基于递归分解的因果结构学习算法CADR。在高维小样本的因果结构学习效率方面,结合递归分解的思想,将高维变量集递归分解为多个更小的子集,直到无法再分解或子集的大小达到阈值为止。在该过程中,变量集的减少缩减了条件独立性检验的条件候选集的搜索空间,从而提高学习效率。同时,为进一步识别马尔可夫等价类,根据非线性非高斯模型的因果方向的不可逆性,通过判断拟合噪声项与原因变量是否独立来识别马尔可夫等价类的因果方向。在仿真数据和真实因果结构数据上的实验结果表明,CADR不仅提高条件独立性检验的效率,而且能有效地区分马尔可夫等价类,学习到更精确的因果结构,其中,在真实因果结构实验中,与现有Xie_rec、PC_ANM和Notear_Sob方法相比,F1评分提高5%~12%。

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。

基于多特征融合与双向RNN的细粒度意见分析

文本细粒度意见分析主要有属性抽取和基于属性的情感分类2个任务,现有方法完成上述任务采用条件随机场(CRF)训练属性抽取模型,并运用循环神经网络(RNN)训练基于属性的情感分类模型。但同时完成2个任务则无法找到属性和情感倾向的对应关系。针对该问题,提出利用双向RNN构建基于序列标注的细粒度意见分析模型。通过融合文本的词向量、词性和依存关系等语言学特征,学习文本的修饰和语义信息,并设计一个时间序列标注模型,同时抽取属性实体判断文本的情感极性。在真实数据集上的实验结果表明,与CRF、TD-LSTM、AELSTM等模型相比,该模型情感分类效果提升明显。

面向“边缘”应用的卷积神经网络量化与压缩方法

针对卷积神经网络(CNN)推理计算所需内存空间和资源过大,限制了其在嵌入式等"边缘"设备上部署的问题,提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先,根据卷积神经网络各层权重的分布,采用阈值法对网络精确率影响较小的权重进行裁剪,保留网络中重要连接的同时除去冗余信息;其次,针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽,采用动态定点量化方法减小权重数据的位宽;最后,对网络进行微调,在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明,该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点,几乎实现无损压缩;同时,通过多个网络模型的验证,该方法在平均1.46个百分点精确率变化范围内,最大降低网络模型96.12%的存储空间,能够有效地压缩卷积神经网络。

基于图编码网络的社交网络节点分类方法

针对如何融合节点自身属性以及网络结构信息实现社交网络节点分类的问题,提出了一种基于图编码网络的社交网络节点分类算法。首先,每个节点向邻域节点传播其携带的信息;其次,每个节点通过神经网络挖掘其与邻域节点之间可能隐含的关系,并且将这些关系进行融合;最后,每个节点根据自身信息以及与邻域节点关系的信息提取更高层次的特征,作为节点的表示,并且根据该表示对节点进行分类。在微博数据集上,与经典的深度随机游走模型、逻辑回归算法有以及最近提出的图卷积网络算法相比,所提算法分类准确率均有大于8%的提升;在DBLP数据集上,与多层感知器相比分类准确率提升4.83%,与图卷积网络相比分类准确率提升0.91%。

基于贝叶斯网络与语义树的隐私数据发布方法

为在隐私预算相同的条件下提高发布数据的可用性,在PrivBayes的基础上,提出一种改进的隐私数据发布方法PrivBayes_Hierarchical。基于贝叶斯网络隐私数据发布方法的思想,引入语义树对含有层次关系的数据属性进行抽象,使用贝叶斯网络描述数据属性之间的依赖关系。利用格雷码减少随机噪声对数据精度的影响,并对贝叶斯网络结构学习方法进行优化,以减少不必要的隐私预算消耗,提高数据可用性。实验结果表明,该方法在公开数据集下可以获得比PrivBayes更高的数据精度,从而提升隐私数据集的可用性。

基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。

基于低秩表示的鲁棒回归模型

现有的线性回归方法不能有效处理噪声和异常数据。针对这一问题,结合低秩表示和鲁棒回归方法构建模型LR-RRM。利用低秩表示方法以有监督的方式检测数据内的噪声和异常值,从原始数据的低维子空间中恢复数据干净部分,并将其应用于线性回归分类,从而提升回归性能。在Extend YaleB、AR、ORL和PIE人脸数据集上的实验结果表明,与标准线性回归、基于鲁棒主成分分析和低秩表示的线性回归模型相比,该模型在4种原始数据集以及添加随机噪声后的数据集上分类准确率和鲁棒性均较优。

面向图文匹配任务的多层次图像特征融合算法

现有主流的利用预训练卷积神经网络提取图像特征的方法存在仅使用单层预训练特征表征图像和预训练任务与实际研究任务不一致的问题,使得现有图文匹配方法无法充分利用图像特征,极易受到噪声特征干扰。针对上述问题,使用了预训练网络中的多层特征,并提出了多层次图像特征融合算法。在图文匹配的学习目标指导下,利用多层感知机(multi-layer perceptron)有监督地融合和降维多层次的预训练图像特征,生成融合图像特征,从而充分利用预训练特征,减少噪声干扰。实验结果表明,提出的融合算法可实现对预训练的图像特征更有效的利用,相比于使用单层次特征的方法能获得更好的图文匹配效果。

面向专业文献知识实体类型的抽取和标注

知识实体的类型标注是专业文献的结构化管理和知识脉络挖掘中的一个重要问题。然而,由于知识实体具有专业性强、类型多样等特点,传统的实体抽取方法并不能很好地实现知识实体的类型标注。为了解决这一问题,该文从数据中发现并总结出知识实体类型的独有特性,根据这些特性首先提出一种基于启发式规则的类型抽取方法、实现部分知识实体的类型标注,进而通过多标签加权的标签传播方法实现对所有知识实体的类型标注。与传统方法相比,该方法能够从数据中获得最有可能的类型标签,在无需人工标注的情况下获得有效的知识实体类型标注。实验结果表明,所提出方法具有较好的灵活性,更适用于专业文献知识实体的类型标注。

基于近邻图改进的块对角子空间聚类算法

块对角表示(BDR)模型可以通过利用线性表示对数据有效地进行聚类,却无法很好地利用高维数据常见的非线性流形结构信息。针对这一问题,提出了基于近邻图改进的块对角子空间聚类(BDRNG)算法来通过近邻图来线性拟合高维数据的局部几何结构,并通过块对角约束来生成具有全局信息的块对角结构。BDRNG同时学习全局信息以及局部数据结构,从而获得更好的聚类表现。由于模型包含近邻图算子和非凸的块对角表示范数,BDRNG采用了交替最小化来优化求解算法。实验结果如下:在噪声数据集上,BDRNG能够生成稳定的块对角结构系数矩阵,这说明了BDRNG对于噪声数据具有鲁棒性;在标准数据集上,BDRNG的聚类表现均优于BDR,尤其在人脸数据集上,相较于BDR,BDRNG的聚类准确度提高了8%。

基于多组典型相关变量的因果关系发现算法

现有的因果关系发现算法主要基于单个观察变量本身之间的因果关系,无法适用于多组观察变量,为此提出了一种多组典型相关变量的因果关系发现算法。首先,引入多组典型相关变量建立多组典型相关变量的线性非高斯无环模型并提出对应的目标函数;然后,采用梯度上升的方法求解目标函数,构建多组典型相关变量的因果关系网络。模拟实验验证了该算法的有效性,并在移动基站数据上发现了一批有价值的多组无线网络性能指标间的因果关系。

基于类内最大均值差异的无监督领域自适应算法

传统的无监督领域自适应算法在对齐总体分布时存在分类信息流失问题,难以保证迁移学习效果。针对这个问题,提出了一种基于类内最大均值差异的分布对齐策略。该策略首先预测所有样本的伪标签,然后借助伪标签样本信息依次对齐每个类别的领域类内分布。在深度学习框架下,所提算法能够有效保留分类信息,提高了目标领域的预测能力。实验结果表明,与传统算法比较,所提算法在多个基准数据集上获得了最优的迁移学习效果。