智能数据可视分析技术综述

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.然而,可视分析仍然面临着许多挑战,例如数据准备代价高、交互响应高延迟、可视分析高门槛和交互模式效率低.为应对这些挑战,研究者从数据管理、人工智能等视角出发,提出一系列方法以优化可视分析系统的人机协作模式和提高系统的智能化程度.系统性地梳理、分析和总结这些方法,提出智能数据可视分析的基本概念和关键技术框架.然后,在该框架下,综述和分析国内外面向可视分析的数据准备、智能数据可视化、高效可视分析和智能可视分析接口的研究进展.最后,展望智能数据可视分析的未来发展趋势.

时序数据的因果关系交互式可视分析

针对时序数据中因果关系检测算法效率低、错误率高、可解释性低的问题,本文提出一种新颖的用于时序数据的因果关系检测模型。该模型整合了泛函贪婪等价搜索(F-GES)模型与格兰杰(Granger)因果关系模型,展开因果关系的抽取和推断,并提出了因果关系可视分析方法,以交互式地分析时序数据中变量间的因果关系。可视分析方法形成了参数视图用于提高因果关系探索效率、因果关系树图用于直观有效地展示变量之间的因果关系、时间视图用于比较原始时序数据、堆叠流图用于帮助用户探索时序数据的层次演变以及平行坐标图用于进行相关性分析。基于真实数据形成的原型系统交互式地验证和总结时序数据中的因果关系,从而更高效地挖掘和理解时序数据中变量之间蕴含的因果规律以帮助决策。

负面评论引导的高维多元数据可视分析系统

随着互联网平台以及多用户社交网络的成熟,群体用户消费体验的参考价值日趋扩大,在海量评论数据中,负面评论对企业和消费者的参考价值更为突出,有效的面向负面评论的可视分析是有必要的.针对评论数据高维多元的特征,为了给企业和消费者提供全新的评论分析视角,以负面评论为切入点,给出负面评论的划定范围,提出了一个交互式的可视分析系统.首先,利用情感分析和意见挖掘方法处理用户评论数据,并提出评论个体影响力差异量化方法;其次设计了主题情感波纹图、评论比较视图等一系列交互式可视化表示方法,利用动态交互式方法构建多维度关联视图探索影响负面评论产生的因素,负面评论产生的原因及其个体化差异.3个案例的结果表明,所提系统是有效和实用的;同时,该系统还可扩展应用于其他领域的评论文本可视分析中.

数字深海“一张图”综合可视分析系统构建与运行

经过多年建设发展,中国大洋资料中心基于深海大洋综合数据库,实现了对大洋航次调查数据和相关研究成果资料的综合管理。面向高效、可视、在线的“一张图”综合分析应用需求,以国内外多来源深海大洋数据资源为基础,面向深海空间数据管理和应用需求,紧密衔接综合数据库,对现有深海大洋数据进行必要的空间化矢量化改造,利用Java+SpringBoot、基于WebGL的Cesium等技术,开发了基于GIS的深海空间数据管理系统、综合展示与可视分析系统,研发了深海空间数据资源地图、深海态势分析、工作规划部署、资源潜力评估、装备效能分析和数据评估检验等专题应用分析功能,架构起数字深海“一张图”综合可视分析系统。该系统已部署在国家海洋通信专网并投入业务化试运行,为我国深海大洋矿产资源勘探、环境影响评价和相关科学研究活动提供数据和信息技术支撑。

基于ConvGRU的空气污染预测可视分析系统

预测细颗粒污染物浓度是制定防污减排措施的主要途径之一.针对传统的用于预测的大规模数值模拟需要在超级计算机上计算数小时乃至数天,成本高、效率低,甚至影响实效性的问题,提出一种基于卷积门控循环单元(ConvGRU)的细颗粒物污染预测方法.首先设计一个全面损失函数(C-Loss),综合考虑预测结果与实况之间的绝对误差和相对误差,通过与常用的均方损失函数对比,证明C-Loss可以使预测模型更适合细颗粒物;然后根据领域专家需求,设计一个可交互的可视分析系统,领域专家可以高效地获取一系列时刻的预测结果,从而交互式地深入探索大气污染的形成过程与气象因素之间的相关性,为进一步制定防污减排方案提供了科学依据.通过一系列应用示例全面地分析了污染物的形成原因,并验证了预测模型的有效性.

基于数据流模型的航线网络结构可视分析方法

针对航线网络结构多维属性关联分析问题,提出一种基于数据流模型的多视图协同网络结构可视分析方法。引入数据流模型,增强多维数据分析时的交互和多视图协同效果;构建基于数据流模型的航线网络结构可视分析系统用于方法验证。该方法对比和实验结果表明,利用航线网络数据流实时交互和多视图协同分析网络结构数据,完成聚类、相关性、异常值分析任务,能更好地分析数据之间的关联关系,有助于理解航线网络的结构和特征。最后,通过以上方法分析网络结构特点与不足,提出航线网络优化建议,能更好地帮助用户完成可视分析任务,探索数据分布特征、发现多维数据之间的关联关系。

面向多维时空航班数据的渐进式可视分析方法

航班在实际运营中频繁地调整,对航空公司运营会产生不良的影响,运用可视分析方法分析历史航班的运营特征,可以发现航班计划中存在的缺陷,为航班计划调整提供支撑。该文设计面向多维时空航班数据的FlightOM-Vis系统,支持自上而下渐进式分析航班运营特征:采用多视图展示信息;融合面向数据多个维度的聚类分析方法;保留分析结果的上下文信息;提供丰富的交互工具。实验采用东方航空公司航班数据集进行验证,结果表明该系统能够协助分析人员快速挖掘隐藏在数据子集中的航班运营特征,根据可视化结果做出指导性建议。

面向源-目的地流的多元时空数据可视分析

交通智能(IC)卡可以记录居民的移动出行,反映居民的源-目的地(OD)信息;但智能卡记录的OD流数据规模大,直接可视化空间分布容易导致视觉杂乱,并且多元数据类型多,更难以和流数据结合对比分析。首先,针对直接可视化大规模OD数据的空间分布容易视觉遮挡的问题,提出基于正交非负矩阵分解(ONMF)的流聚类方法。所提方法对源-目的地数据聚类后再可视化,可以减少不必要的遮挡。然后,针对多元时空数据类型多难以结合对比分析的问题,设计了公交站点多元时序数据视图。该可视化方法将公交站点的流量大小和空气质量、空气温度、相对湿度、降雨量这四类多元数据在同一时间序列上编码,提高了视图的空间利用率并且可以对比分析。再次,为了辅助用户探索分析,开发了基于OD流和多元数据的交互式可视分析系统,并设计了多种交互操作提升用户探索效率。最后,基于新加坡交通智能卡数据集,从聚类效果和运行时间对该聚类方法评估。结果显示,在用轮廓系数评估聚类效果上,所提方法比原始方法提升了0.028,比用K均值聚类方法提升了0.253;在运行时间上比聚类效果较好的ONMFS(ONMF through Subspace exploration)方法少了254 s。通过案例分析和系统功能对比验证了系统的有效性。

基于图挖掘的黑灰产运作模式可视分析

为分析黑灰产网络资产图谱数据中黑灰产团伙掌握的网络资产及其关联关系,提出一种基于图挖掘的黑灰产运作模式可视分析方法.首先,在网络资产图谱数据中锁定潜在团伙线索;其次,根据潜在线索、黑灰产业务规则挖掘由同一黑灰产团伙掌握的网络资产子图,并识别子图中的核心资产与关键链路;最后,基于标记核心资产和关键链路的黑灰产子图实现可视分析系统,从而直观发现黑灰产团伙掌握的网络资产及其关联关系,帮助分析人员制定黑灰产网络资产打击策略.经实验验证,该方法能有效、直观地分析和发现黑灰产团伙及其网络资产关联关系,为更好监测黑灰产网络运作态势提供必要的技术支持.

基于叙事结构抽象的可视分析方法综述

基于叙事结构抽象的可视分析方法是通过挖掘数据背后存在的叙事逻辑,提供富有洞察力和沟通力的方法.首先介绍叙事结构数据的来源,包括文本数据、图表图像数据、音视频数据、地理空间数据和多模态融合数据;然后讨论叙事结构抽象方法,包括连续性、单元式和离散化3种表示;再探讨叙事结构可视化设计,包括基于视觉通道与表达形式的设计,同时介绍叙事结构交互生成方法,包括基于设计空间和注释的手动生成、AI辅助交互生成和AI自动生成;最后讨论叙事结构可视分析的创作工具以及在文化传媒、医疗健康和体育娱乐等领域的应用,并对该领域现阶段工作的不足进行总结,指出多模态融合数据可视分析、跨平台与多设备的叙事结构展示以及加强情感在叙事结构可视分析中的作用等是未来工作的研究方向.

TCPVis:基于谢赫六法的传统中国绘画画派可视分析系统

传统中国绘画(国画)在历史的发展中形成了多种多样的画派体系。对画派的分析有助于人们更好地理解与赏析国画的价值。然而,现有工具无法直观高效地表现画作集合的绘画风格等一系列代表性特征。基于“谢赫六法”,提出了一个国画画派可视分析系统TCPVis,以支持用户分析国画画派的笔法、物象、赋彩等多维度特征。系统能够自动分析画派作品在六法维度上的特征共性,并推荐维度的权重。同时,它可视化了六法维度的标签分布以支持用户验证。基于六法维度权重,系统对画作集合进行降维聚类展示,帮助用户探索更多风格相似的画作,并支持画作的画家关联性分析。通过两个案例研究和领域专家访谈,证明了该系统对于分析画派特征与探索画派更多画家的有效性与可用性。

面向Fabric性能态势感知的联盟链可视分析方法

区块链技术的不断普及,对联盟链网络运行的稳定性和交易过程的可解释性提出了更高的要求.通过总结在联盟链实际开发和应用过程中网络性能监控与分析的需求,提出面向Hyperledger Fabric性能态势感知的联盟链可视分析方法.对网络拓扑图、块高增长图和交易共识动画等多视图进行联合分析,支持从网络、节点、交易3个层面进行探索;提出Fabric网络和节点性能量化方法,以分值形式衡量性能态势,便于快速了解联盟链运行情况、通道间活跃度差别与各节点健康度.案例分析和用户评估结果表明,所提方法在Fabric可视监控、性能态势分析、交易共识轨迹追踪等方面具有实用性和有效性.

ModelLogVis:面向模型服务的日志异常可视分析方法

利用深度学习模型训练和运行维护过程产生的海量日志信息,进行模型的优化与故障排查,是当前人工智能运维的研究热点.针对现有工作缺少模型工作流分析的问题,提出面向模型服务的日志异常可视分析方法ModelLogVis.该方法采用日志异常检测方法定位模型工作流中的潜在故障,帮助用户聚焦主要的故障类型;支持用户从数据流、状态、实例性能和原始日志等多个角度对工作流中的事件进行交互式可视化与分析,快速、准确地排查问题.通过真实的模型服务数据的案例研究和专家访谈,证明ModelLogVis方法可高效地辅助用户快速挖掘日志中的异常信息.

船舶活动知识图谱可视分析方法

随着全球海事贸易的高速发展,对船舶活动进行可视分析的需求越来越大,用户在没有非常专业的知识背景下,难以快速地选择合适的可视化方法进行船舶活动分析,面临“冷启动”问题.为此,提出船舶活动知识图谱可视分析方法.基于多源异构的船舶活动数据,构建包含时间、地点、船舶和活动4类船舶活动要素的船舶活动知识图谱,并结合船舶活动分析需求,设计船舶对象特征分析、船舶活动事件分析、船舶活动关联分析和船舶活动时空分析4种分析任务;在船舶活动知识图谱的基础上,提出基于活动要素的船舶活动可视分析方法,并结合过滤、关联和导航等交互方式,设计船舶活动知识图谱可视分析模型.以AIS数据和“沸腾环贸”海上事件数据作为船舶活动数据,基于所提出的船舶活动知识图谱可视分析模型,开发了船舶活动知识图谱可视分析原型系统,实验结果表明,该系统可以为用户推荐相对合适的可视化方法,为船舶活动的分析提供更多的视角;也验证了如禁渔期等特殊情况造成船舶活动规律变化等结论.

TokenVis:面向以太坊区块链ERC-20智能合约演变模式的可视分析方法

区块链技术近年来受到了广泛关注.区块链技术驱动的加密货币市场复杂且不稳定,容易受到政治、经济、社会等各方面因素的影响.现有的研究工作集中于原生加密货币,如比特币和以太坊币.然而,加密货币市场中存在大量基于ERC-20智能合约的代币.ERC-20代币占据大量市值,吸引了许多投资者的关注.本文提出了TokenVis可视分析系统,用于辅助用户分析不同ERC-20标准代币的演变模式并提供解释.TokenVis集成了一个不同时间粒度的可视分析框架,提出了针对时间序列的切分排序可视化以及基于时间约束的优化算法构建的新闻分布布局,建立了演变模式与新闻之间的关系进而解释了代币演变模式.本文还介绍了与领域专家合作开展的分析案例,包含不同类型代币的演变模式,验证了TokenVis可视分析系统的有效性与可用性.

虚拟环境中面向灭火指挥的火场信息可视分析

针对森林火灾现场指挥的需求,综合分析地理环境、气象条件、森林资源和林火行为等灭火指挥所需信息,设计实现了在虚拟林火环境中的数据可视化可视分析方法。使用王正非-3D混合元胞自动机模型模拟林火蔓延过程;采取差时方法预测林火蔓延行为;实时捕捉不同兴趣域内环境数据的变化,结合多视图面板及图层叠加的方法,构建火场信息可视分析模块。通过调整虚拟林场的环境参数,对不同场景下的林火蔓延过程进行模拟仿真,并对火场信息进行可视化可视分析。实验结果表明:该方法能够在一定条件下较准确地预测林火蔓延行为,还可以较全面地描述火场信息。

基于可视分析的交通事故致因挖掘研究

研究交通事故的特征和致因分析是交通安全分析中的核心问题。现有主流方法中基于Apriori的交通事故挖掘分析过程中会产生大量无效的规则,对致因分析存在较大的干扰,影响分析效率。论文将可视化与关联规则挖掘方法结合,可视化构建事故挖掘约束集,引导用户设置合理的挖掘约束。以2019年加利福利亚州的交通事故数据为研究对象,对交通事故进行可视分析,提取事故的主要特征,构建事故挖掘约束集,运用优化Apriori挖掘事故深层致因。实验表明,该方法能够有效降低无效规则的产生,提高挖掘效率。

城市供水时空数据的异常模式可视分析方法研究

时空数据的可视化被广泛应用于各行业领域,对于数据分析至关重要,但是传统的可视化方法在处理具有多维属性的城市供水时空数据时存在一定的局限性。首先,他们专注于某种数据格式的可视化,缺乏可扩展性。其次,它们无法提供多样化的类别可视化。为了应对这些挑战,提出了一种交互式方法用于直观展示与分析城市供水的时空数据,并开发了对应的可视化系统。该系统基于透镜策略设计了一种新的影响视图,这是一种用于聚合、抽象和简单化展示多元时空数据的方法,可实现供水时空数据的多元可视化、交互探索和分析,用于分析推断当前模式的隐含影响。并且该工具组装了一组有效的交互可视化,以支持状态监测、因素检查和级联搜索,促进了深入的级联分析。通过将时空数据与交互式可视化相结合的方式使分析人员能够推断和解释时空背景中的潜在级联模式。最后通过案例分析与用户评估验证所提方法与系统的有效性与实用性,结果表明所提方法能更好地协助使用者分析城市供水时空数据。

利用神经网络预测的空气质量态势可视分析方法

当前空气质量预测结果难以从时空多维展示分析结合深度学习与大数据分析技术,提出一种基于神经网络预测的空气质量变化态势多维表达的交互式可视分析方法。首先,提出多层二维卷积与长短时记忆神经网络模型(2D-CNN+LSTM),用于提取空气质量时空特征进行空气质量指数(AQI)预测;其次,从实际需求出发,设计空气质量态势多维表达可视化视图与交互方法;最后,构建可视分析系统,利用大气污染数据集进行案例研究与分析。实验结果表明,该方法能通过时序可视化、空间可视化及属性关联可视化等多视图协同交互,实现空气质量态势时空多维表达与分析,为空气质量防范治理问题提供新思路与方法。

散点图信息混淆的可视分析模型

信息混淆是指在有限的显示空间中,由于信息量密度不当,导致对信息的理解产生障碍.散点图作为最常见的数据展示手段,深受信息混淆困扰,需要进行信息混淆消除.从可视分析角度入手,提出一个对散点图信息混淆量化评估的混淆熵模型,并基于个体显著值模型和四分树结构提出了一个从内容和空间2个维度对散点图信息混淆进行消除的算法,对高低显著值数据分别处理和指定显示大小与布局位置,从展示和布局层面对散点图信息混淆进行消除.