基于ELK与Spark的可扩展征信日志挖掘系统研究

ELK架构是目前主流的日志大数据分析解决方案之一,ELK拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是它的其通用性导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系统进行复杂业务分析扩展。为了降低日志收集和清洗的开发成本同时兼顾分析的高实时性和可扩展性,结合ELK Stack与Spark,同时引入Kafka消息队列,构建了一套可扩展、高实时性且具有良好稳定性的征信日志挖掘系统。该系统比全栈Hadoop技术的大数据系统的开发工作量减少60%以上,且具有可根据企业需求灵活进行自定义分析组件的优点。

带有辅助信息对数变换模型的违约预报

本文考虑对数变换的逻辑模型以刻画不同的违约概率曲线,研究如何将辅助信息加入到模型的估计中以提高违约估计的稳定性和效率.通过非参数经验似然,提出模型参数统计推断方法,并推导估计的相合性和渐近正态性.从理论上证明添加了辅助信息的估计的有效性,并且模拟表明该方法能够很好地提升估计的效率,另外也通过模拟讨论辅助信息的影响.将所提出的方法应用于ST (special treatment)股票的数据,实证结果表明,加入了辅助信息的参数估计更加有效.