Big Data Framework for Quantitative Trading System

Massive trading data are produced in securities market every day. Besides, the amount of relevant social media data is also growing fast. It is a vital problem of making use of these data. Facing on the growing amount of data, using big data framework is a necessary and reasonable method. Then, a big data framework for quantitative trading system is proposed in this paper. In the framework, Apache Spark is chosen as the distributed computing framework to process trading data, and Apache HBase as the distributed database is used to store data. After introducing the whole framework, we discussed data sources and the structure of quantitative trading layer in detail. © 2017, Shanghai Jiaotong University and Springer-Verlag Berlin Heidelberg.

Evolution of corporate environmental information disclosure framework of “knowledge and action”: Based on big data background

Cloud accounting is based on the traditional financial work process, the context of big data, and the necessary trend of future corporate accounting development. Its emergence and rapid development will have a fundamental impact on corporate environmental information disclosure. In the big data era of information sharing, companies will have a new understanding of the emergence, balance, and final consideration of social responsibility, and will have new changes in their overall decision-making and information disclosure methods. "Knowing" and "behavior" will be combined on the basis of rational judgment, so that corporate environmental information disclosure is more in line with the overall social development requirements. Based on the background of big data, this article starts with the disclosure of impact factors, footholds, and path choices. It describes the evolution of corporate environmental information disclosure and provides reference suggestions for enterprises to disclose environmental information truthfully and perform social responsibilities.

基于相对熵和余弦相似度的并行SVM算法

针对大数据环境下并行支持向量机(SVM)算法存在子集分布偏差大,并行效率低以及过滤非支持向量不准确等问题,提出了基于相对熵和余弦相似度的并行SVM算法(RC-PSVM)。该算法首先提出基于相对熵的数据划分策略(DPRE),平衡当前子集和原始数据集的相对熵,划分样本到适合的子集,降低子集分布偏差;然后提出基于余弦相似度的冗余层级检测策略(CS-RLDS),计算相邻层局部SVM之间法向量的余弦相似度,比较设定的阈值与相似度,识别并停止冗余层级,提高了并行效率;最后提出非支持向量过滤策略(NSVF),结合样本到多个局部支持向量模型决策边界的距离,计算支持向量相似度来识别非支持向量,解决了过滤非支持向量不准确的问题。实验表明,RC-PSVM算法的分类效果更佳,且在大数据下的运行效率更高。

数智经济时代财会人才培养模式的构建

随着大数据时代的到来,财会人员的作用正在被重新定义。财务人的角色已逐步从提供报告演变为业务合作伙伴。基于我国2019年《中国管理会计职业能力框架》,同时借鉴IMA《2022管理会计能力素质框架》,构建具有成长型特色的财会人才培养模式。该模式以培养职业适应力和可持续发展力为引擎,设置业财融合、技财融合、人财融合的专业课程体系,明确知识、能力、素质和元学习四个维度的培养规格和四级递增的专业能力水平,为我国财会专业的人才培养和职业发展规划提供了参考。

大数据驱动的产品创新商务智能——基于SSP框架的分析

人工智能改变产品创新主体,引发产品创新战略与流程变革。本文依据大数据合作资产理论,从企业与用户互动的适应性创新视角,通过逻辑推演分析提出大数据驱动的产品创新商务智能主体—战略—流程框架,以探讨人工智能影响制造产品创新的新机制。研究表明:首先,人与人工智能双向卷入形成要素组合与知识积累的双向反馈式增强机制,促使创新主体发生结构性改变,形成产品创新战略与流程变革的新基础。其次,企业人工智能认知战略与竞争战略、组织文化、商业模式和生态系统的匹配,共同影响人工智能在创新流程中的一体化应用。最后,模糊前端的全流程扩散、需求—解决方案对的非线性迭代和智能制造的生成式自测构成大数据驱动的产品创新流程的新特征。研究表明,主体—战略—流程框架适合分析大数据驱动的产品创新商务智能的新机制,可为人工智能与产品创新的关系研究提供新视角。

面向非结构化数据的情报分析方法体系框架研究

[目的/意义]大数据驱动的情报分析应充分挖掘海量、异构、动态的非结构化数据中蕴含的价值。通过完善面向非结构化数据的情报分析方法体系,促进新技术、新算法和新模型与情报分析相融合。[方法/过程]基于文献调查、对比分析、系统分析等方法,总结归纳非结构化数据给情报分析带来的挑战。在方法体系解构及要素分析基础上,梳理现有情报分析方法,提出了面向非结构化数据的情报分析方法体系框架,在产业技术情报分析中介绍了体系的应用方案。[结果/结论]基于流程说视角,完善和总结面向非结构化数据的情报分析方法体系框架,从文本数据、网络数据、图像数据和语音数据4类非结构化数据入手,从数据源、数据采集、数据存储、数据处理、数据分析和可视化展示6个方面阐述了基于非结构化数据的情报分析思路和模式,推进情报分析领域多源异构数据的融合应用。

智能物探技术的过去、现在与未来

通过梳理国内外人工智能技术在地球物理勘探(物探)领域中的发展历程、主要研究进展以及发展方向,总结了智能物探的优势和面临的难题,并提出了解决方案。研究结果表明:(1)物探技术在人工智能发展的第2次浪潮中开始与人工智能技术相结合,得益于物探领域数据量的指数级增长、硬件算力的高速发展以及不断出现的新深度学习框架,智能物探技术从早期的机器学习发展为目前的深度学习,在地震资料处理、解释等方面的应用中取得了大量研究成果。(2)目前智能物探技术被广泛应用于标签集的构建、去噪、断裂检测、层位与层序解释、地震相分类和异常体检测、岩性识别与油气藏开发、地震反演成像等方面,大幅提高了工作效率,降低了工作成本,克服了人工交互操作和人工经验的主观性和不可靠性,助力打破传统物探技术瓶颈。(3)智能物探技术的发展面临着缺少公开的标签数据集、缺少解决地球物理领域问题的智能化框架及尚未形成适用于地球物理领域共享的智能化开发平台等难题,可以从解决数据基础、构建智能平台、开展网络架构基础性研究及与应用场景结合等方面着手解决;此外,智能物探技术的发展方向还包含智能地震成像方法研究,储层成像方法研究,油气大数据挖掘、智能风险评估与智能决策以及超算软件装备研发等方面。

基于流计算和大数据平台的实时交通流预测

目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。

基于Spark平台的分类算法性能比较分析

针对目前大数据与机器学习技术的快速发展,使用基于Spark平台的MLlib机器学习库实现前馈神经网络(Feedforward Artificial Neural Network)、支持向量机(Support Vector Machine)与随机森林(Random Forest)三种机器学习算法,并分析与评估三种算法在大数据平台下的运行与分类性能。实验结果表明,随着节点数的增加,三种算法在大数据平台上消耗的时间都逐步变少。当数据集小于100MB时神经网络与支持向量机算法加速比较高,数据集大于1GB时随机森林算法加速比优于其他两种算法。神经网络算法在数据集100MB时可扩展性最小,支持向量机算法在数据集500MB时可扩展性最小。随机森林算法在数据集大于1GB时规模增长性优于其他两种算法。通过对于三种分类算法的时间效率与准确性比较,支持向量机算法消耗的时间最少,但是分类准确性最低。神经网络算法消耗的时间最长,分类准确性低于随机森林算法。随机森林算法的分类准确性最高,但是算法运行时间高于支持向量机算法。集成分类算法在大数据平台上表现出较好的时间性能与分类准确性。

浅析基于大数据水利工程监管体系构建与应用

大数据技术的不断发展与应用,大幅度推动了其他行业的快速进步。然而在水利工程领域,大多数从业者对大数据技术还比较陌生,尤为不了解基于大数据技术水利工程监管体系的运行原理和应用现状。通过大量调研,在梳理大数据与水利大数据概念基础上,探讨与分析水利工程中大数据监管体系框架的构建与应用情况,发掘目前水利工程中大数据技术应用还偏向宏观框架或侧重单项需求,以期为水利行业人员了解与推动大数据技术发展提供一定参考。

基于Hadoop大数据框架的Transformer智能客服辅助决策系统

针对当前电力智能客服辅助决策系统存在的安全性低、占用率高、响应时间长等问题,提出了一种基于Hadoop大数据框架的电力智能客服辅助决策系统的设计方案。通过使用Hadoop技术,实现更高水平的数据安全性,确保客户和企业的敏感信息得到充分保护;通过采用分布式架构,有效降低系统占用率,提高其稳定性和可伸缩性;引入Transformer技术,进一步降低CPU占用率,从而提高了系统响应时间以及客户体验。实验结果表明,该系统不仅提高了客户服务质量,还提升了电力企业的运营效率,为未来的发展奠定了坚实的基础。

基于Apriori优化的大数据挖掘技术研究

为解决Apriori算法在大数据挖掘中存在数据负载大、挖掘效率低、冗余性高的问题,提出采用Map Reduce计算框架来优化Apriori数据挖掘算法,将计算任务划分为多个并行任务,提高数据处理效率。将改进的Apriori算法应用于网络入侵大数据挖掘中,并和传统Apriori算法进行对比。结果表明,改进的Apriori算法的数据挖掘效果优于传统Apriori算法,数据挖掘效率高,同时可以有效降低对网络入侵数据的误检率和漏检率。

大数据序贯检验方法及其应用

分布的一致性检验在很多领域中得到了广泛的应用,它是统计学在众多应用中的一个基本主题。然而,随着大数据时代的到来,各个科学领域收集存储了丰富的数据。这些数据规模庞大、类型多样、结构复杂、更新速度快,传统的分布一致性检验方法受数据规模和存储方式的影响在处理和分析这类数据时面临着巨大的挑战。目前,分治策略是解决这类问题的主要方法,其核心思想是采用分布式框架对每个节点数据的计算结果进行集成以获取最终的结果。在处理大规模分布一致性检验问题时,这种对所有节点的检验结果进行集成的方式并不高效,特别是在数据分布存在明显差异时这种方式往往会增加检验的成本。因此,基于序贯检验的思想通过合理设置检验问题的“误差区域”对已有的分治策略进行优化,提出了一种分布式序贯检验方法。该方法在检验过程中不集成所有的节点数据,而是根据当前收集到的节点数据实时调整后续的决策,通过这种方式能够实现在不使用全部节点数据的前提下,做出正确的检验结果。模拟实验和实例分析结果表明:相比于已有的分治策略检验方法,所提出的分布式序贯检验方法能够在保证检验水平与功效的同时,提高分布式检验的计算效率,为解决临床试验、工业检验等领域中大规模数据检验成本高的问题提供了方法支撑。

一种工业多源异构大数据组织模型和集成框架的研究与应用

本文旨在设计一种面向工业多源异构大数据环境的组织模型和集成框架,为工业生产领域的软件开发者和决策者提供大数据集成的参考体系结构。该框架能够对结构化和非结构化数据进行有效管理,提供复合视图显示、全文检索、数据共享等功能,为软件系统开发提供数据访问接口,实现海量多源异构数据以及应用业务的聚合和扩展,使软件开发者在此框架基础上实现生产管理和决策系统的应用。

基于改进贝叶斯网络的电力大数据存储架构可扩展性优化算法

受到传统贝叶斯网络局部搜索寻优机制的影响,在电力大数据存储框架扩展优化中无法兼顾全局扩展数据间的依赖关系,导致优化出现局部偏差,扩展存储部分性能衰减严重。为了解决这一问题,通过构建电力大数据存储架构的贝叶斯网络,建立电力大数据存储架构可扩展节点,确定其原始框架节点可扩展上限,改进贝叶斯网络结构的扩展性编码计算,以及存储框架扩展性优化适应度评价,由此重新定义优化算法。仿真实验数据表明:提出算法的读取响应和写入响应指标均控制在60 ms以下,且在波动幅度控制方面表现最好;对于不同容量的样本集,其读取性能和写入性能的均值偏差分别为0.2和0.3,接近理想状态,适应度系数值最大为2。提出算法切实可行,具有较高的实际应用价值与市场推广价值。

基于大数据技术水利工程的动态质量风险管理

尽管大数据技术不仅被应用于水利工程领域,而且将成为智慧水利建设的重要技术基础,但是对于水利行业许多从业者而言,大数据技术仍停留在较为抽象的概念阶段。以水利工程质量风险管理为切入点,通过阐述、探讨与分析这一主要由质量风险管理框架和策略组成的大数据技术的应用点,以期为行业同仁了解水利工程中大数据技术运行机制提供一定参考。

大数据技术下的流数据处理框架构建研究

在大数据技术快速发展的背景下,流数据已成为了一个不可忽视的重要领域。由于流数据具有实时性、突发性、无序性、易失性和无限性等多重特性,传统的分布式计算机系统在处理数据时倍感压力。面对这样的挑战,流计算技术的出现成为了解决之道,其能够针对海量的、来自不同数据源的流数据进行实时、高效的分析和处理,满足现代数据处理的需求。基于此,将对流数据处理框架的建设进行深入研究,以大数据技术为基础给出常用的处理框架,以期为提高数据处理水平提供相关参考。

海洋大数据的智慧平台设计及关键技术分析

阐述智慧海洋大数据平台的设计,基于海洋数据采集、存储与管理、分析与挖掘等关键技术展开分析。提出采用多源海洋数据采集技术,结合分布式存储与管理技术,构建智慧海洋大数据平台。

基于场景建设的上海市智慧公园规划设计框架研究

在我国生态文明建设和上海生态之城发展等目标导向下,基于上海市现有智慧公园实践,提出面向场景建设的规划建设管理一体化应用框架。框架的核心是紧密围绕生态、生活、生命价值,以提升市民端的互动式使用、公园端的精准式服务、政府端的全局式决策3方面能力为方向,结合对城市公园的核心功能、发展诉求,以及新理念、新兴信息技术方法等的认识,融入大数据人本、物联网检测器等技术方法,进而对生态环境监测、绿色资源运管、全过程游客服务、数字科教互动、数据多源融合等功能模块进行设计,以期提升对现有智慧公园智慧场景的规划、建设和管理一体化水平。

基于微信小程序的校园健康管理平台设计与实现

阐述利用大数据、移动互联网等信息技术,设计和实现基于微信小程序的智能健康管理软件。该系统采用前后端分离的架构,前端使用微信开发者工具实现界面展示,后端负责数据存储及提供数据接口。小程序以用户日常监测数据为分析对象,实现应用系统的数据采集、数据分析和数据管理。