基于深度强化学习的数据探索性会话自动生成

探索性数据分析(EDA)是一种数据分析方法,旨在通过对数据集进行可视化和摘要统计等方式揭示数据的结构、模式和关系。数据分析人员可通过操作交互式地探索不熟悉的数据集,并为用户提供先导性见解。深度强化学习(DRL)已被证明可以用来解决众多难以解决的人工智能挑战,可尝试将EDA与DRL进行结合,提出了一个名为AEDAS的系统。该系统将EDA建模为一个控制决策问题,从而结合一个新颖的DRL架构来自动生成有说服力的探索性会话,并以EDA笔记本的形式呈现。实验表明,该系统生成的EDA笔记本,可以使用户获得切实有效的先导性见解。

大数据探索式搜索研究

数据探索(data exploration)是有别于数据服务与数据分析的第3种体现大数据价值的技术手段。数据服务强调从微观层面获取满足用户需求的精准信息;数据分析强调从宏观层面为用户提供数据洞察,进而提供决策支持;而数据探索是一种支持用户在微观层面和宏观层面进行自由切换的、深入浅出的、交互式发掘数据价值的方式。首先,简要介绍大数据价值发掘的传统技术手段和特点,并引入探索式搜索;其次,详细阐述探索式搜索的定义与模型,总结探索式搜索的特点;随后,基于组件化的思想,设计探索式搜索系统框架,并综述每个组件所涉及到的挑战与关键技术;最后简要介绍了笔者在知识库探索式搜索方面的尝试。

可视化数据探索及其应用

可视化数据探索以其特有的与数据集直接交互的特点在信息可视化研究中占有非常重要的地位。本文在对可视化数据探索的概念、相关技术进行阐述的基础上用了三个例子来说明可视化数据探索的应用及其在情报分析中的作用。

山东省工业经济发展的空间数据探索分析

本文使用空间数据探索分析方法(ESDA),对山东省1995-2014年间工业经济发展的空间集聚和空间辐射效应进行了分析,结果发现山东省内各地市的工业发展存在着显著的空间自相关关系。东部沿海的烟台、威海等城市在部分年份呈现出显著的高高型集聚状态,但并未形成稳定的区域增长极;西部地区的济宁市则一直处于显著的低低型集聚。根据上述分析结论,文章最后提出了未来促进山东区域经济进一步协调发展的政策建议。

交互式数据探索综述

大规模数据集已经超过TB和PB级,现有的技术可以收集和存储大量的信息。虽然数据库管理系统一直在不断提高提供复杂的多种数据管理的能力,但是管理查询工具并不能满足大数据的需求,如何精准理解和探索这些大规模数据集仍然是一个巨大的挑战。交互式数据探索(interactive data exploration,IDE)的关注点是强调交互、探索和发现,能让用户从海量的数据中用最小的代价更精确地找到他们需要的信息。首先对交互式数据探索及其应用背景进行了介绍,总结了通用的探索模型和IDE的特点,分析了交互式数据探索中的查询推荐技术和查询结果优化技术的现状;随后分别对IDE原型系统进行了分析和比较;最后给出了关于交互式数据探索技术的总结和展望。

《如何用R开展语言学研究:数据探索和统计分析》述评

Natalia Levshina 2015. How to Do Linguistics with R:Data Exploration and Statistical Analysis.Amsterdam:John Benjamins. xii+443pp.1.引言R是一款免费开源的编程语言,支持描述性和推断性统计及数据可视化,研究者可根据需求自行编写和运行脚本程序,具有较大的灵活性。

交互式数据探索框架的特征自适应技术

交互式数据探索是一组多样的发现式应用程序的关键技术,着重于交互、探索和发现;在许多场景和领域中广泛应用.以海量的学术文献数据探索为背景,对交互式数据探索的特征自适应技术进行研究.首先,提出一种适用于面向学术文献数据探索的特征自适应交互式数据探索框架FA-IDE(feature-adaptive interactive data exploration),在每次迭代过程中动态地调整特征子集,以满足用户兴趣多样性的需求.其次,针对该框架,提出特征子集的均匀度BFS(balance of feature subsets)评价准则,并给出了基于BFS的序列前向特征选择算法.再次,针对相关样本发现问题,提出划分等级建立方法,根据决策树模型对用户兴趣区域划分后,提出基于相似度的结果集排序策略.实验结果表明,所提出方法可有效提高用户探索效率和最终结果的准确性.

知识驱动的数据探索技术在医疗信息系统中的应用研究

数据无处不在,无论是万维网上的开放数据,还是企业内部的私有数据,部具有规模庞大、彼此关联、更新频繁的特点。如何在这些海量的动态数据中发现有价值的信息,并给出及时的信息反馈是数据探索中的重要挑战。提出了知识驱动的数据探索技术,并探讨了这些技术在医疗信息系统中的应用。

面向数据探索的城市发展可视化研究

回顾了城市发展研究的理论、趋势及工具 ,认为目前的研究工具或多或少地存在着对城市发展研究的不适应方面 ,而可视化技术能在另一个视点做到一种合理的补充 .其次介绍了探索性可视化理论的形成过程及研究重点 ,提出将其运用到城市发展中的理论依据 .随后以一个可视化实例 ,分析其探索的成效性及与一些量化分析相结合的可能性 。

基于全链路的交互式数据探索技术研究

在大数据的数据价值挖掘方面,交互式数据探索发挥着重要作用。基于此,本文在分析全链路数据管理和交互式数据探索概念的基础上,结合电网数据管理平台建设需求,对电网数据全链路管理方案和交互式数据探索技术措施进行探讨,发现技术应用能够为电网数据应用管理提供支持。

基于智能化数据探索的数据质量管理方法

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据质量已成为影响数据要素发挥价值的重要因素。在政务领域,随着数据应用的深度和广度逐渐加强,数据质量问题已成为数据深化应用的制约因素。以数据质量管理相关理论为基础,以源头数据质量管控为手段,提出了基于智能化数据探索的数据质量管理方法,即通过数据质量管理激活数据资源价值,该方法在政务数据质量管理工作中具有借鉴意义。

国有企业基金业务大数据探索

电建基金公司自成立以来,各项业务有序推进,随着项目数量及投资业务量的增加,依靠现有办公协同系统及人工数据统计方式,已无法满足对项目的实时监控、数据的统计分析及信息共享等项目管理需求,大量的数据统计工作及业务重复审批等问题,降低了工作效率。截至2020年末,公司管理基金规模约838亿元,累计引入非债务性资金约716亿元。公司秉持“服务中国电建集团战略,服务集团成员企业发展”初心,积极引入社会资本,实施产融结合、以融促产。

运用大数据探索铁路思想政治工作新方法新路径

党的十九大以来,国铁企业认真学习贯彻习近平总书记关于思想政治工作的重要论述,深入落实国铁集团党组《关于加强和改进新时代基层思想政治工作的实施意见》,聚焦互联网发展新态势,借力大数据智能化,推动思想政治工作全方位覆盖、全过程贯穿、全员参与,为奋勇担当交通强国、铁路先行使命任务凝心聚力、提神振气。

河北依托大数据探索非现场监管执法改革

推动人海战术向智慧治污转变,河北省依托大数据,探索推行生态环境领域非现场监管执法改革。通过边推进边完善,目前,河北省非现场执法监管已经覆盖钢铁、焦化、玻璃、水泥、火电、垃圾焚烧发电、建筑陶瓷等11个重点行业,安装联网各类自动监测监控设备9250台套,基本实现了线上全天候发现问题、处理问题、解决问题。

桥梁健康监测数据的质量评估方法研究

桥梁健康监测数据的挖掘和分析工作只有在整体数据质量符合基本要求的有效数据基础上进行,才能保障如模态参数识别、损伤识别和状态评估等后续工作的准确性。因此,基于量化改进的探索性分析方法(Exploratory Data Analysis,EDA)和相关性分析从数据完整性、准确性和一致性的角度建立了桥梁健康监测静、动态数据的质量评估方法。对某大跨度斜拉桥健康监测系统的静、动态数据进行质量评估,通过对比分析了不同评估质量的温度数据、静挠度数据和不同评估质量的主梁竖向加速度动力信号的模态参数识别的稳定图,验证了所提方法的正确性。结果表明,所提评估方法能够快速有效地判断数据质量的好坏,进而确保桥梁结构的服役性能评估和预测的准确性,有利于提高健康监测数据的可用性和效能。

基于EDA统计图量化的桥梁动态监测数据质量评估

探索性数据分析统计图在桥梁健康监测动态数据质量评估中已有广泛应用。为了减少人工观察统计图的主观性,通过近似度量方法实现统计图的量化分析,得到多个指标对监测数据进行快速质量评估。在运营环境激励作用下,桥梁结构动力响应具有短时线性平稳性,近似服从正态分布。以某大跨斜拉桥振动数据为研究对象,首先,绘制样本数据直方图和Q-Q图,通过观察数据分布特征预先判断数据质量,确定优、良和差3个等级。然后,分别通过KL散度和余弦相似度2种近似度量方法对样本数据直方图和Q-Q图进行量化,得到数据服从正态分布程度的指标;通过箱线图检测样本数据全局异常点,得到正常数据占比;统计分析得到量化值和先验质量等级的对应关系,确定以直方图KL散度和余弦相似度为主、以箱线图正常数据占比为辅的数据质量评估标准。最后,取部分数据为验证集,进一步验证所提方法各个指标的合理性,并给出该方法在实际工程上的应用结果。

基于探索性空间数据分析和地统计分析的湾区生态安全空间分异及差异化管理——以浙江大湾区为例

湾区是世界一流滨海城市的显著标志,生态安全是湾区可持续发展的基本保障。以浙江大湾区为研究区域,基于生态安全评价,采用探索性空间数据分析(ESDA)和地统计分析(GA)方法揭示生态安全的空间相关性与异质性。结合大湾区生态安全空间特征、未来土地利用管理和行政单元的空间分布提出生态保护的差异化管理策略,为大湾区经济社会发展及生态安全保障提供理论支撑。结果表明:(1)生态安全呈现出“北低南高”的分布格局,生态安全区占比71.7%,生态系统整体较安全。(2)生态安全莫兰指数Moran′I值达0.878,“热点”区域占比50.65%,空间正相关性显著。结构性变异在生态安全空间分布中占据主导,宁波、绍兴受结构性变异和随机性变异的综合影响,人口密度、产业布局是影响生态安全空间异质性的主要随机因素。(3)城市发展类型分为优先发展区、综合开发区和生态保护区,其中优先发展区和综合开发区是大湾区经济发展重点区域,生态保护区是保障大湾区生态安全的关键区域,未来城市管理者应对生态环境分区管理,落实差异化管控措施。

FastNavi:巡天数据的交互式探索系统

目前,我国天文科学领域的重大科学工程FAST(500 m口径球面射电望远镜)已于2016年9月建成并进入调试和试运行阶段。为满足FAST建成后开展科学研究的需要,采用基于阵列模型的科学型数据库系统作为巡天数据的存储支撑系统,设计实现了一个能够满足对大规模巡天数据进行高效读写、复杂分析的交互式探索系统FastNavi。该系统涵盖了最为常用的巡天数据可视化探索的核心功能,通过优化对巡天数据的可视化分析及观测信息导航的实现,向天文学家或其他非专业人士进行天文研究提供了一种新的交互式探索方式。FastNavi目前已在国家天文台FAST工程科学部巡天数据研究规划中应用,并被其列为巡天数据科学研究的支撑软件。

四川省县域人均GDP空间关联性探索性空间数据分析

为了探寻四川省县域人均GDP在空间上的关联性,借助地理空间分析方法,运用探索性空间数据分析(ESDA)和GeoDa软件得到四川省县域人均GDP在空间上的关联特征。结果显示,四川省县域人均GDP在空间上呈正相关,全局Moran’sI为0.203,在空间上呈集聚特征。总体上,通过全局趋势分析中的空间投影分布,发现四川省东部县域的经济水平明显高于西部地区,人均GDP水平两极差异化明显。在乡村振兴战略和成渝双城经济圈政策的不断推进下,局部自相关LISA聚类图反映出经济热点区域集中在以成都市为核心的周边县域和以宜宾市为核心的川南地区周边县域,经济落后县域集中在川西高原的甘孜藏族自治州地区以及川西南的凉山彝族自治州大部分区域。四川省各县域常住人口与人均GDP的双变量空间自相关分析验证了上述结果。

基于探索性数据分析的柑橘部位颜色模型分析与识别

针对成熟柑橘各部位特点、光照与环境的不确定性及多变性,对柑橘各部位的图像数据进行了探索性数据分析并进行了识别。分析了探索性数据分析方法的特点和基于色彩分通道的柑橘识别原理,给出了柑橘图像数据的探索性数据分析流程图。对采集的柑橘图像分成顺光、正常光、逆光3种不同光照情况,并分别采集其中的柑橘果实与果梗、叶子图像数据,根据这些图像数据生成柑橘果实与果梗、叶子在6种颜色模型下的颜色分量分布箱线图,通过图形启示的数据分析与探索,给出了基于I1I2I3颜色模型的I2分量的柑橘各部位分类识别的视觉模型,分析表明I2分量值为0.3能去除树枝、叶子和草地等复杂背景,实现柑橘果实与背景的分割。以300幅野外环境下采集的、不同光照下的柑橘图像为试验对象,成熟柑橘果实总体识别率达到了98.4%,同时证实果梗与叶子由于颜色的相似性,仅靠颜色特征无法对其进行区分。