基于统计的无阻塞连接算法

数据流上的关系查询处理技术是数据库研究领域的一大热点。优化无阻塞连接算法的关键在于提高内存连接阶段的效率。当内存空间满时,需要将内存数据刷新到外存相应分区,良好的刷新策略对于改进算法的性能至关重要。利用数据分布的特征,对关系连接的输出流,使用基于统计的方法,查找使用频率最低的元组,将使用频率较低的元组刷新到外存,以提高内存数据的效率。基于统计分析策略提高了刷新策略的准确性和效率及算法的适用范围。

基于Hadoop的分布式并行增量爬虫技术研究

面对多媒体社交网络中在线视频的爆炸式增长,使用单机模式下爬虫提取新视频页面的效率低下,为此,提出一种基于Map/Reduce的并行算法,大大提高了爬虫的效率;但是为了进一步改善数据冗余问题,减少过时页面的更新,改进了一种精度感知增量更新算法,利用监控技术监控网页变化情况,分析网页更新模式,增加新鲜度评估和降维处理,使用混合整数二次规划方法为发生更改的网页制定最优的刷新策略;实验证明,相比单机模式下定期频繁的刷新策略,该并行增量方法以原刷新代价的36.7%获得了79%的信息精确度,爬虫效率提高了167倍。

考虑非同步交易影响的金融高频协方差阵的估计及应用

在大数据时代,高维高频金融数据的协方差阵在投资组合中扮演着重要角色。但当高维资产的交易频率存在显著差异时,非同步交易会导致"Epps"效应,严重影响协方差阵的估计效率。本文将结构矩阵填充模型(SMC)与VAR-LASSO模型相结合,建立SMC-VAR-LASSO模型来估计和预测高维高频数据的协方差阵。该模型将资产按照交易频率的高低分组,避免直接估计和预测所有资产间以及交易频率低的资产间的协方差阵,在解决非同步交易问题的同时,大大降低了数据损失量,提高了协方差阵的估计效率。将SMC-VAR-LASSO模型应用在投资组合中,并将其与VAR-LASSO模型进行比较后,发现:SMC-VAR-LASSO模型在投资组合中的应用效果更好,其提高了投资者的收益和经济效用,降低了风险。