概率数据流上Skyline查询处理算法

概率数据流管理与分析逐步引起了研究者们的关注.Skyline查询技术是近年来数据库领域的研究热点.此前相关工作仅限于静态数据集或传统确定性数据流上的Skyline查询处理,尚无人考虑概率数据流上的Skyline计算问题,本文提出的SOPDS算法则较好地解决了该问题.在采用适应性更强的网格索引的基础上,提出了概率定界、逐步求精、提前淘汰与选择补偿等启发式规则对算法从时间和空间两方面进行了系统地优化.实验表明,算法在时间与空间上具有较高的整体性能.

数据流上高效计算子空间Skyline的算法

流数据处理和多维空间中子空间上Skyline的计算是近年来数据管理与数据挖掘领域的研究热点.此前相关工作只专注于滑动窗口上Skyline的维护问题,未涉及到滑动窗口中子空间Skyline的计算.文中提出了一个基于网格索引的高效维护滑动窗口上Skyline的算法,以此为基础采用自顶向下的方式通过两个阶段增量式地返回目标子空间上的结果;开发的多个剪枝策略和启发式优化方法显著地提高了全空间Skyline的维护以及子空间Skyline的计算效率.理论分析和实验结果表明:与同类算法相比,文中提出的StreamSubsky算法以极少的时间开销就能输出第一个结果,并且算法具有良好的可扩展性.

高效处理分布式数据流上skyline持续查询算法

基于非共享策略,围绕着降低系统反应延迟与通信负荷的目标,提出了一种分两阶段渐进求解的分布式算法BOCS(based on the change of skyline),并对算法的关键实现环节,如协调站点与远程站点间的通信、skyline增量的计算等进行了系统优化,使算法在通信负荷与反应延迟上达到了较好的综合性能.理论分析证明,在所有基于非共享策略的算法中,BOCS算法通信最优.大量的对比实验结果也表明,所提出的算法高效、稳定且具有良好的可扩展性.

面向多租户数据库的Skyline处理算法

对面向服务的多租户数据库上的Skyline查询展开了深入研究,提出了一个有效的查询处理算法--面向多租户数据库的Skyline(multi-tenant database oriented Skyline,MDOS)。针对多租户数据库环境下,数据往往以枢轴表形式存贮的特点,设计了一个基于B+树的索引阵列。基于该索引结构,进一步采用启发式剪枝策略,极大地降低了支配测试的次数。大量的实验表明,MDOS算法具有较高的综合性能。

一个高效的连续k近邻查询改进算法

连续k近邻查询是空间数据库一直以来的热点问题.但大多数研究成果都是在欧式空间上的.IMA?GMA算法是少有的几种基于道路网的连续k近邻查询算法之一,同时也是比较优秀的算法.但是IMA算法仍然存在不足之处.在针对IMA算法的不足进行充分讨论后,提出了内结构迭代变更法和数据对象树,分别弥补了IMA在数据更新频繁和扩展树生成时表现出的性能缺陷.内结构迭代变更法在数据更新后对扩展树内结构进行快速调整,避免了对树的大规模剪枝以提高扩展树的利用率,从而提高在数据频繁更新时的性能.数据对象树用于快速获取子树上所有数据对象的有序集合,以辅助新查询利用已有查询的扩展子树结构.理论分析和仿真实验都证明了改进的IMA算法比原IMA算法更能适应多种情况,性能表现更为优异.

基于排序学习的推荐算法研究综述

排序学习技术尝试用机器学习的方法解决排序问题,已被深入研究并广泛应用于不同的领域,如信息检索、文本挖掘、个性化推荐、生物医学等.将排序学习融入推荐算法中,研究如何整合大量用户和物品的特征,构建更加贴合用户偏好需求的用户模型,以提高推荐算法的性能和用户满意度,成为基于排序学习推荐算法的主要任务.对近些年基于排序学习的推荐算法研究进展进行综述,并对其问题定义、关键技术、效用评价、应用进展等进行概括、比较和分析.最后,对基于排序学习的推荐算法的未来发展趋势进行探讨和展望.

时间加权不确定近邻协同过滤算法

围绕传统的协同过滤推荐算法存在的局限性展开研究,提出一种时间加权不确定近邻协同过滤推荐算法TWUNCF。根据推荐系统应用的实际情况,首先对用户和产品相似度进行时间加权以保证数据有效性,在此基础上改进相似度的计算方法。同时引入近邻因子在产品群和用户群中自适应地选择预测目标的近邻对象作为推荐群,计算推荐群中推荐概率较高的信任子群,最后通过不确定近邻的动态度量方法来对预测结果进行平衡的推荐。实验结果表明,该算法考虑了数据的时间有效性,同时平衡不同群体对推荐结果的影响,避免由于数据稀疏带来的推荐结果不准确和计算难度大的问题。理论分析和模拟实验证明,该算法在一定程度上提高了系统的准确性和推荐效率。

基于概率数据流的有效聚类算法

提出一种在概率数据流上进行聚类的有效方法P-Stream.P-Stream针对数据流上的概率元组提出强簇、过渡簇和弱簇的概念,设计一种有效的在线候选簇选择策略,为每个不断到达的数据元组合理地找到可能归属的簇,并在每个检查点存储微簇快照,以便离线进一步高层聚类和演化分析.最后设计一个"积极"的二层聚类模型来判断现有的第1层聚类模型是否还适应数据流中最近到达的概率元组.实验采用KDD-CUP’98和KDD-CUP’99真实数据集以及变换高斯分布的人工数据集构造概率数据流.实验结果表明,P-Stream具有良好的聚类质量、较快的处理速度,能够有效地适应数据演化情况.

超对等网络中的轮廓查询优化

轮廓查询是近年来信息服务领域的一个研究重点和热点.现有的三阶段算法TPAOSS(Three-PhaseAlgo-rithm for Optimizing Skyline Scalar)至少存在如下两个缺陷:(1)在TPAOSS算法的第3阶段中,当网络节点上的对象个数较多时,Bloom filter的长度将呈指数级增长,从而严重影响获取子空间重复值的效率以及占用内存空间的大小;(2)TPAOSS算法只考虑预处理阶段的时间代价,而没有考虑各网络节点进行局部或全局子空间轮廓查询计算的效率.为此,提出一种适合超对等网络(Super-Peer Architecture,SPA)的子空间轮廓查询方法EPSSQDN(Efficient Processing of Sub-space Skyline Queries in Distributed Networks).EPSSQDN算法有效解决了TPAOSS算法的的两个主要性能问题,并且显著提高了SPA网络中的子空间轮廓查询处理的效率.此外,为了能够进一步降低子空间上轮廓查询的时间开销以及网络节点间的数据传输量,我们给出新颖且有效的优化策略.实验结果表明,EPSSQDN算法比TPAOSS算法更能够缩短SPA网络中子空间轮廓查询的时间开销.

《数据库原理与技术》的理论与实践教学的整体优化研究

分析了《数据库原理与技术》课程教材选择、理论与实践教学、课程设计等环节存在的一些问题,并针对性地提出了若干改革措施。

SKYLINE查询解析

现有的研究工作只考虑如何对单个底层关系表进行skyline计算,即它们假定用户所提交的skyline查询不涉及任何传统的关系操作,并且所有skyline维度均落入同一个关系表中.显然,在实际应用中,由于这种假设的不成立,使得在多数情况下用户查询的效率极其低下.基于此,将skyline计算作为一个特殊的关系操作符,研究它与传统关系操作符间执行顺序变换的等价规则.从而,利用这些等价变换规则,通过改变skyline操作符与传统关系操作符之间的执行顺序来有效提高查询的效率.同时,给出充分的理论证明来论证所给等价变换规则的正确性,并通过实验验证其有效性.

知识蒸馏研究综述

高性能的深度学习网络通常是计算型和参数密集型的,难以应用于资源受限的边缘设备.为了能够在低资源设备上运行深度学习模型,需要研发高效的小规模网络.知识蒸馏是获取高效小规模网络的一种新兴方法,其主要思想是将学习能力强的复杂教师模型中的“知识”迁移到简单的学生模型中.同时,它通过神经网络的互学习、自学习等优化策略和无标签、跨模态等数据资源对模型的性能增强也具有显著的效果.基于在模型压缩和模型增强上的优越特性,知识蒸馏已成为深度学习领域的一个研究热点和重点.本文从基础知识,理论方法和应用等方面对近些年知识蒸馏的研究展开全面的调查,具体包含以下内容:(1)回顾了知识蒸馏的背景知识,包括它的由来和核心思想;(2)解释知识蒸馏的作用机制;(3)归纳知识蒸馏中知识的不同形式,分为输出特征知识、中间特征知识、关系特征知识和结构特征知识;(4)详细分析和对比了知识蒸馏的各种关键方法,包括知识合并、多教师学习、教师助理、跨模态蒸馏、相互蒸馏、终身蒸馏以及自蒸馏;(5)介绍知识蒸馏与其它技术融合的相关方法,包括生成对抗网络、神经架构搜索、强化学习、图卷积、其它压缩技术、自动编码器、集成学习以及联邦学习;(6)对知识蒸馏在多个不同领域下的应用场景进行了详细的阐述;(7)讨论了知识蒸馏存在的挑战和未来的研究方向.

会话场景下基于特征增强的图神经推荐方法

基于图神经网络的会话推荐(简称图神经会话推荐)是近年来推荐系统领域的一个研究重点和热点,这主要是因为它们引入了会话图拓扑结构信息来提高物品和会话特征表示的准确性,因而,在一定程度上提升了会话推荐的性能.然而,现有图神经会话推荐方法仍然存在两方面的不足,从而影响其性能:1)它们所构建的会话图中物品间的相关性权重均是在模型训练之前就预先指定并保持固定不变,导致不能准确捕捉物品间的相关性;2)它们只从单个会话的物品序列中产生物品和会话的局部特征,而缺乏从整个会话数据集出发,全局考虑不同物品之间以及不同会话之间的相关性,并由此来生成物品和会话的全局特征,从而充分表示物品和会话的语义特征.为此,本文提出了一种新颖的会话场景下基于特征增强的图神经推荐方法FA-GNR(Feature Augmentation based Graph Neural Recommendation).FA-GNR方法首先基于单个会话构建物品间相关性权重可学习优化的会话图,并借鉴GRU(Gated Recurrent Unit)神经网络来产生物品局部特征,同时基于会话数据集,通过GloVe(Global Vectors)词嵌入方法产生物品全局特征,从而融合物品的局部和全局特征来生成其语义特征.然后,FA-GNR方法基于物品语义特征,利用局部注意力机制来产生会话的局部特征,同时基于物品的全局特征,并通过全局注意力机制来产生会话的全局特征,从而融合会话的局部和全局特征来生成其语义特征.最后,在物品和会话语义特征的基础上,FAGNR方法通过交叉熵损失来学习给定会话下不同物品的点击概率分布.在多个公开数据集上的实验结果表明,FA-GNR方法的推荐性能优于目前主流的方法.

基于自组织理论的创新集群发展研究

针对我国当前产业新区发展转型、产业政策效率下降等问题,以中关村创业大街社区管理与演化机制为代表进行研究,对创新集群的发展评价和引导建设提供建议。文中以生物学的自组织理论为基础,从生态学、种群演化、经济与知识技术溢出等视角对中关村创业大街的经济、社会学形成原因进行研究,并对其技术创新和经济效应进行评价。研究表明自组织创新集群是基于"人与人"、"内容与内容"的连接和互动,而非单纯的经济生产,自组织创新集群系统发展的不规则性、无指向性和自适应性使其能够更好的感知市场变化并作出及时调整,因此集群丰富性更高、稳定性也更强。

基于数据挖掘的触诊成像乳腺癌智能诊断模型和方法

为了辅助医护人员利用触诊成像技术判定乳腺癌,提出了触诊成像乳腺癌智能诊断模型和方法。采用乳腺癌早期筛查及风险评估的临床数据,以触诊成像诊断结果为对比数据,通过决策树等机器学习算法以及投票法,对乳腺肿瘤的良恶性质进行判定。使用SMOTE算法对数据进行处理,建立了诊断模型和方法,自动完成对乳腺肿瘤性质的诊断。实验结果表明,乳腺癌正确筛查的准确性达到98%,提出的方法具有很好的应用价值。

数字经济中的数据资产化问题研究

数字经济已成时代发展主题,如何准确界定数字经济、制定更好的相关政策,实现隐私保护与产业促进的平衡成为研究焦点。从互联网发展史学角度出发,比较分析不同时期学术文献中对数字经济的探讨,同时从科技的演进规律对未来数字经济的内容作出预测。认为数字经济应包含"以互联网为基础的数据服务产业""以数据为基础的信息服务产业"和"以基础资产为根本的数据化和信息化产业"三大部分,并指出发展数字经济的核心在于数字资产确权、定价和交易机制设计。

大数据征信算法的可解释性研究

针对征信领域广泛使用深度学习等黑盒大数据信用评估技术所带来的模型透明度低、可解释性差等问题,研究提出了一种基于倾向评分的信用评估模型解释方法,利用该通用框架可以对大数据征信的黑盒模型进行解释性分析,从而满足金融领域的KYC和KYB要求,增加机器学习、深度学习等技术在征信领域的适用性。

现代计算理论在征信领域的应用研究

信息技术和数字技术的发展与应用引发了"可计算"革命。征信领域也从传统的金融信用评估延伸为全面信息采集、综合信用评估、基于算法的服务决策和联合惩戒为一体的社会治理新体系。以征信赖以生存的数据为对象,从数据采集、数据传输、数据处理、算法和计算架构等多个层次对现代计算理论在征信中的应用进行分析,并基于技术逻辑对其性能进行评价和实践检验。

RTDP系统网络体系结构及其关键技术

在简要介绍实时大数据处理系统(RTDP)网络及其应用领域的基础上,提出了一种实时大数据处理系统网络架构模型,分析了实时大数据处理系统在网络体系结构方面的研究热点问题,最后总结并展望了实时大数据处理系统网络未来的发展方向和研究重点.

区块链时代的社会管理危机与对策建议

当前区块链以"代币+支付""代币+留言""区块链+博客""区块链+通信"等多种成熟方式对金融管理、舆论管控、违法溯源等工作带来极大挑战。区块链本质上是一个分布式账本新技术方案,具有支持多主体协作、去中心化运营、内容难篡改、易溯源等特性,可以完美解决互联网身份冒用、交易欺诈、信任环境和价值传递等问题。同时以Token为代表的"通证经济"模式重新定义了经济社会的资产发行、交易和分配机制。有关部门亟需开展合理政策引导、加强技术研判和监管科技研发等工作,使区块链成为新一代"价值互联网",助力我国继续领跑数字经济,实现数字经济、网络经济大国强国的目标。