基于大规模船舶轨迹数据的航道边界提取方法

传统的道路数据获取方法成本高、更新慢等无法适用于海洋航道的获取,从众源轨迹数据中提取道路或航道信息具有成本低、更新快等特性,然而,由于船舶轨迹数据噪声多、数据量大、不同区域分布不均使得航道边界提取面临较大挑战。针对该问题,提出一种基于大规模船舶轨迹数据进行航道边界提取的方法。首先对大规模的船舶轨迹数据进行并行化去噪、插值、轨迹分段;然后,基于并行化及基于Geohash编码的空间聚类,将轨迹数据化简为多个方形区域的点集数据;其次,对其进行窗口划分,对传统的Ni Black方法进行扩展,提出Spatial Ni Black算法,对方形区域进行航道识别;最后,提出一种新的提取算法del-alpha-shape,基于航道识别结果获得航道边界。理论分析与实验结果表明,所提方法在最大密度值是200,最小密度值是10,窗口长和宽分别为5和5时,可同时达到86. 7%的准确率和79. 4%的召回率。实验结果表明,该方法可以从大规模的轨迹数据中提取有价值的航道边界,是一种有效的航道提取方法。

基于云架构的交通感知数据集成处理平台

海量、多源、不间断的交通感知数据环境下,如何提供集成化的交通感知数据处理支持是多样化交通应用实施中的难点.现有的通用计算框架及平台由于缺少对具有时空相关等特征的交通感知数据和应用间交通感知数据共享的支持,使得交通感知数据处理应用的开发存在较高的复杂性并且易于造成大量重复的数据跨节点传输而影响应用性能.针对此问题,通过分析交通感知数据及其处理需求特征,提出一种基于可跨应用共享的时空数据对象的交通感知数据处理模型,通过引入时空数据对象这一新的概念抽象并提供易并行划分的时空数据对象组织及共享支持,实现分布计算中对时空型交通感知数据的优化管理.在此基础上,设计并实现了交通感知数据集成处理平台.通过实际应用和基于真实交通数据的实验测试表明:该平台相对于传统的交通感知数据处理方法及系统在性能及扩展性等方面均具有一定的优势.

基于车牌识别流数据的车辆伴随模式发现方法

针对伴随车辆检测这一新兴的智能交通应用,在一种特殊的流式时空大数据——车牌识别流式大数据(ANPR)下,重新定义了Platoon伴随模式,提出PlatoonFinder算法,即时地在车牌识别数据流上挖掘Platoon伴随模式.主要贡献包括:第一,将Platoon伴随模式发现问题映射为数据流上的带有时空约束的频繁序列挖掘问题,与传统频繁序列挖掘算法仅考虑序列元素之间位置关系不同,该算法能够在频繁序列挖掘的过程中有效处理序列元素之间复杂的时空约束关系;第二,该算法融入了伪投影等性能优化技术,针对数据流的特点进行了性能优化,能够有效应对车牌识别流式大数据的速率和规模,从而实现车辆Platoon伴随模式的即时发现.通过在真实车牌识别数据集上的实验分析表明:PlatoonFinder算法的平均延时显著低于经典的Aprior和PrefixSpan等频繁模式挖掘算法,也低于真实情况下交通摄像头的车牌识别最小时间间隔.因此,所提出的算法可以有效地发现伴随车辆组及其移动模式.

面向高速公路大数据的短时流量预测方法

针对高速公路传统的短时交通流预测方法适用数据规模小、全网预测效率较低、数据的时空关系被忽视等问题,提出一种结合了K近邻(KNN)模型且面向高速大数据的短时交通流预测方法。首先,对模型的K值和距离度量进行调优,利用交叉验证进行模型参数的对比实验;然后,考虑数据内在的业务时空关联,建模基于时空特性的特征向量;最后,在大数据环境下建立回归预测模型,以最优参数的模型实现预测。实验结果表明,与传统时间序列模型相比,所提方法一次可预测出全站点的流量,单次运行速度快,效率提高了77%,平均绝对百分比误差(MAPE)和绝对百分比误差中位数(MDAPE)均有明显减低,且具有良好的水平扩展性。

基于关系挖掘和对抗训练的多标签文本分类

传统的多标签文本分类方法存在忽略标签语义、没有充分利用文本与标签以及标签与标签之间的关系等问题。为了解决以上问题,论文提出了一种基于关系挖掘和对抗训练的多标签文本分类模型。该模型利用了BERT模型和图注意力网络(GAT)分别提取文本的语义信息和挖掘标签之间的关系。首先,通过BERT模型对文本进行编码,以获取文本的语义信息。然后,使用图注意力网络(GAT)来挖掘标签之间的关系,以更好地理解标签之间的依赖关系。为了进一步挖掘文本与可学习的标签嵌入之间的关系,该模型采用了多头自注意力机制。此外,为了提高模型的鲁棒性,论文采用了R-drop策略进行模型训练。实验结果表明,在AAPD和RCV1数据集上,所提出的模型相比当前一些主流的多标签文本分类模型,不仅能够关注文本信息,还能够有效捕捉文本与标签之间的依赖关系以及标签与标签之间的关系,从而取得更好的性能。

基于车牌识别大数据的伴随车辆组发现方法

基于对车牌识别大数据的处理与分析,可以完成伴随车辆组的发现,在涉案车辆追踪等方面具有广泛的应用。然而当前单一机器模式下伴随车辆组发现算法存在时间和空间上处理性能低下等问题。针对此问题,提出了一种伴随车辆组发现方法——FP-DTC方法。该方法将传统的FP-Growth算法利用分布式处理框架Spark进行了并行化,并作了相应的改进和优化来更加高效地发现伴随车辆组。实验结果的分析表明,提出的方法能够很好地解决车牌识别大数据上的伴随车辆组发现问题,性能相比采用同样方法的Hadoop实现提升了近4倍。

面向套牌甄别的流式计算系统

套牌车的甄别具有时效性约束。针对现有计算检测方法中所出现的精度低、响应慢等局限,提出了一种基于实时车牌识别(ANPR)数据流的套牌车流式并行检测方法,设计了基于路段阈值表和时间滑动窗口的套牌计算模型,能够实时地甄别出交通数据流中的套牌嫌疑车。在Storm环境下,利用某市真实交通数据集模拟成实时交通流数据进行实验和评估,实验结果表明计算的准确率达到98.7%,并且一条车牌识别数据的处理时间为毫秒级。最后,在该计算模型基础上实现了套牌车稽查防控系统,能实时甄别并展现出当前时刻城市交通网中出现的所有套牌嫌疑车。

事件驱动的微服务调用链路数据动态采集方法

微服务调用链路数据是微服务应用系统日常运行中产生的一类重要数据,它以链路形式记录了微服务应用中一次用户请求对应的一系列服务调用信息。由于系统的分布性,微服务调用链路数据产生在不同的微服务部署节点,当前对这些分布数据的采集一般采用全量采集和采样采集两种方法。全量采集会产生较大数据传输和数据存储等成本,而采样采集则可能会漏掉关键的链路数据。因此,提出一种基于事件驱动和流水线采样的微服务调用链路数据动态采集方法,并基于开源软件Zipkin设计实现了一个微服务调用链路数据动态采集系统。该系统首先对不同节点符合预定义事件特征的链路数据进行流水线采样,即数据采集服务端只在某节点产生事件定义的数据时对所有节点采集同一链路数据;同时,针对不同节点的数据产生速率不一致问题,采用基于时间窗口的多线程流式数据处理和数据同步技术实现不同节点的数据采集和传递;最后,针对各节点链路数据到达服务端先后顺序不一的问题,通过时序对齐方式进行全链路数据的同步和汇总。在公开的微服务调用链路数据集上的实验结果表明,相较于全量采集和采样采集方法,所提方法对于包含异常、慢响应等特定事件的链路数据具有采集准确性高、效率好的效果。

基于轨迹大数据时空分布的索引与查询方法

由于移动对象自身行为特征和整体规律的不同,使得其产生的轨迹数据具有较大的时空分布不均特点,从而影响轨迹数据索引和查询的效率。针对现有轨迹数据索引方法很少考虑轨迹数据分布不均特性的情况,提出了一种基于历史数据预分区的时空索引方法,其借助轨迹数据时空维度上分布的相似性,首先在空间上根据数据分布情况对Geohash编码进行预分区,进而建立轨迹数据的索引结构和基于HBase的存储模型,并利用该索引结构设计了基于Geohash分区的查询分解算法。基于真实出租车轨迹数据集的实验表明,相较于均匀划分的扩展的HGrid方法与混合编码的ST-hash方法,本文提出的索引结构及其查询方法可以有效提升海量具有不均匀特征轨迹数据的时空查询性能,并且可以在保证查询结果准确性的同时,最大限度地减少子查询的数量。

云边环境下微服务组合系统的动态演化方法

针对云边环境下用户需求不确定导致微服务组合逻辑会随着用户需求的变化而动态调整的问题,提出了云边环境下的微服务组合系统的动态演化方法(DE4MC)。首先,自动识别用户的操作并进行相应的算法策略;其次,在部署阶段,用户提交业务流程之后,系统通过所提方法中的部署算法选择较优的节点进行部署;最后,在动态调整阶段,用户调整业务流程实例后,系统通过所提方法中的动态调整算法进行动态演化。所提方法中的两个算法均综合考虑微服务实例的迁移代价、微服务与用户的数据通信代价和微服务之间的数据流传输代价以选择较优的节点进行部署,从而缩短了运行时间,降低了演化开销。在仿真实验中,在部署阶段,所提方法的部署算法与启发式算法(HA)+二代非支配排序遗传算法(NSGA-Ⅱ)的算法组合相比,各个规模的平均运行时间缩短了9.7%,演化总开销降低了16.8%;在动态调整阶段,所提方法的动态调整算法与HA+NSGA-Ⅱ的算法组合相比,各个规模平均运行时间缩短了6.3%,演化总开销降低了21.7%。实验结果表明,所提方法保证了云边环境下微服务组合系统能在演化开销低和业务流程时间短的条件下及时演化,并且能够提供用户满意的服务质量。

基于两阶段分层抽样的近似聚合查询方法

以数据仓库应用为代表的交互式查询分析技术为智能决策提供了支持。随着数据规模的不断增大,准确计算聚合查询结果往往需要全局数据扫描,使得这类查询面临着实时响应能力不足的问题。基于预先抽取的样本数据,复杂聚合查询提供快速的近似答案,在许多场景下是解决该问题的可行方案。分析了分层抽样优于随机抽样的具体条件,提出了一种两阶段分层抽样方法。首先针对业务特征进行分组,每个分组中使用随机抽样方法进行随机抽样,并评估其抽样效果。再针对抽样效果较差的分组,利用自组织特征映射网络(Self-organizing feature mapping,SOM)对数值进行聚类分组,改进其近似查询效果。基于公开数据集和实际电网数据的实验结果表明:本文方法相比于随机抽样、分层随机抽样以及国会抽样算法在相同抽样率下可达到15%的性能提升;与使用K-means、基于密度的聚类算法(Density-based spatial clustering of applications with noise,DBSCAN)等聚类方法相比,自SOM具有较好的近似查询结果。

基于1DCNN-LSTM的船舶轨迹分类方法

由于监控设备视野有限、代价昂贵等问题,导致基于船舶图像或视频的船舶分类效果欠佳,改进船舶分类方法、提高船舶分类的准确率迫在眉睫。近几年,随着各类轨迹数据采集系统的兴起,通过船舶航行轨迹数据实现船舶类型的分类逐渐成为可能。针对使用传统二维卷积神经网络(Convolutional Neural Network,CNN)对船舶轨迹分类存在特征压缩和时序特征表达能力匮乏的问题,文中提出了一种一维CNN(One-Dimensional CNN,1DCNN)与长短期记忆网络(Long Short-Term Memory,LSTM)相结合的混合分类模型,对采集到的船舶自动识别系统(Automatic Identification System,AIS)数据进行船舶类型识别。首先,针对AIS采集到的船舶轨迹数据进行预处理,过滤噪声数据;然后,针对隐含在船舶轨迹信息中的特征对于1DCNN而言过于隐晦的问题,提出了一种针对大规模航舶轨迹数据的,且1DCNN能够识别的轨迹分布特征向量的构建算法,同时在此基础上提取了LSTM能够识别的时序特征向量;最后,将训练后的1DCNN模型与LSTM模型进行数据融合得到混合船舶分类模型。以渤海区域2016年6月的船舶AIS数据为基础,使用1DCNN与LSTM相结合的混合模型对渔船、客船、油船、集装箱船和散货船5类典型船舶的轨迹数据进行分类,并将其与使用一种神经网络如LSTM作为分类器的方法进行对比,结果表明所提方法具有明显的有效性,是一种有效的船舶轨迹分类方法。

面向港口停留区域识别的船舶停留轨迹提取方法

针对港口停留区域识别时船舶轨迹大数据的精度低、稀疏、漂移等问题,提出了一种多约束条件下的船舶停留轨迹提取(MPTSSE)方法。首先,结合船舶轨迹数据特点,给出了用于停留区域识别与提取的停留段概念的定义;其次,建立了基于速度、时间差、停留时长、距离等多约束的轨迹停留段提取模型和并行化轨迹停留段提取算法;最后,基于Hadoop框架给出了船舶轨迹大数据集上的轨迹停留段提取算法实现。基于真实船舶轨迹数据的实验结果表明,与基于Stop/Move模型的轨迹停留提取方法相比,MPTSSE方法在三个港口泊位的提取中准确率提高了22%。MPTSSE方法能有效避免轨迹停留段误分割情况,同时在大规模船舶轨迹数据下具有较高的执行效率。

基于K2算法的精准营销研究

随着电子商务技术的飞速发展,用户量剧增。利用使用者在电商平台上的浏览痕迹对用户行为进行分析,实现商品的精准推荐,已经成为电子商务的一个热点应用技术和领域。用户行为的有效分析强烈地依赖对用户属性、行为和期待数据画像的精准刻画。然而,就目前的方法和技术而言,在数据画像模型的表现能力和推荐算法的处理效率方面还有许多技术挑战。面对上述挑战,利用数据画像和数据画像概率分配模型等概念,提出基于贝叶斯网络的预测推荐算法,通过构建用户行为的先验概率计算可能产生消费的后验概率。对信用卡APP的真实浏览日志数据进行测试,验证了该算法的可行性和有效性。实验表明,基于贝叶斯网络的推荐算法有着高于传统营销模型的准确性。

基于改进TextRank的科技文本关键词抽取方法

针对科技文本关键词抽取任务中抽取出现次数少但能较好表达文本主旨的词语效果差的问题,提出一种基于改进TextRank的关键词抽取方法。首先,利用词语的词频-逆文档频率(TF-IDF)统计特征和位置特征优化共现图中词语间的概率转移矩阵,通过迭代计算得到词语的初始得分;然后,利用K-Core(K-Core decomposition)算法挖掘KCore子图得到词语的层级特征,利用平均信息熵特征衡量词语的主题表征能力;最后,在词语初始得分的基础上融合层级特征和平均信息熵特征,从而确定关键词。实验结果表明,在公开数据集上,与TextRank方法和OTextRank(Optimized TextRank)方法相比,所提方法在抽取不同关键词数量的实验中,F1均值分别提高了6.5和3.3个百分点;在科技服务项目数据集上,与TextRank方法和OTextRank方法相比,所提方法在抽取不同关键词数量的实验中,F1均值分别提高了7.4和3.2个百分点。实验结果验证了所提方法抽取出现频率低但较好表达文本主旨关键词的有效性。

基于Transformer的路网轨迹重建方法

轨迹重建是针对低采样轨迹数据进行轨迹补充还原的一类轨迹数据处理研究。为了提高轨迹重建的准确性,一些工作通过引入Seq2Seq等深度学习模型来提升轨迹重建的效率与精度,但由于现有工作忽略了轨迹间的长距离依赖问题,导致轨迹还原中还存在准确率不高等问题。本文提出一种基于Transformer的轨迹重建模型ZTrajRec(Zero-based trajectory recovery),通过Transformer编码器捕获轨迹间的长距离依赖,注意力机制用于当前轨迹和历史轨迹相似性查询来进行轨迹在路网上的重建。实验结果表明,在真实北京出租车数据集上,ZTrajRec比基准模型最好效果在召回率上提升3%∼4%。本文最后对重建结果进行了可视化分析以展示其合理性。