基于Spark的分布式大数据分析算法研究

随着大数据时代的到来,数据计算的实时性和数据量面临许多挑战。为了满足庞大的数据量和大数据高速处理的要求,研究将Apache作为一种集成的资源管理系统。采用Apache Storm、Apache Spice及SARK RDD处理大型分布式实时数据流,使用Apache Kafka作为消息中间件来支持异步消息的通信。设计一种支持并行运算规则的分布式大数据分析处理算法。实验结果表明:该算法可有效降低海量数据的分析速度,且支持系统内各子系统间的异构信息沟通与数据存储,足以满足高频交易市场的短期趋势预测需求。在高频、大数据处理系统中具有较高的应用价值。

基于改进协同过滤算法的用户页面兴趣度预测研究

根据大数据稀疏性特征,把奇异值分解方法引入协作过滤算法中进行互联网站点用户的页面兴趣度的计算和验证,提出了一种基于改进协作过滤算法的用户页面兴趣度预测算法。该算法利用网络日志中的显性用户过往兴趣度评分数据发现用户页面兴趣度和其影响因素。MATLAB仿真结果显示:提出的基于改进协同过滤算法的用户页面兴趣度测量方法可有效克服海量数据的稀疏性,在预测准确性、测量速度方面都有很大的提高。

基于轨迹的时空光谱特征语音情感识别算法

语音识别领域的发展日新月异.同时,现有的研究结果表明声学特性集中存在较多的互补信息.本文提出了一种基于轨迹的空间-时间谱特语音情感识别方法.其核心思想是从语音频谱图中获得空间和时间上的描述符,进行分类和维度情感识别.本方法采用了穷举特征提取的实验表明:与MFCCs和基频等特征提取方法相比,提出的方法在噪声条件下,更具鲁棒性.通过在4类情感识别实验中获得了可比较的非加权平均回馈,得到了较为准确的结果,语音激活检测方面也具有显著的改进.