数据流下部分线性模型的在线估计

部分线性模型作为一种重要的半参数回归模型,因其在复杂数据结构分析中表现出的灵活适应性,广泛应用于各领域.然而,在大数据背景下,该模型的研究和应用面临着多重挑战,其中最为关键的难点在于计算速度和数据存储.本文针对以数据块形式连续观测的数据流场景,提出一种在线估计的计算方法,用于估计部分线性模型中线性部分的参数和非线性部分的未知函数.该方法仅需利用当前数据块和之前计算过的汇总统计量即可实现实时估算.数值模拟从两个角度进行验证有效性:分别改变数据流的单位数据块大小和总样本规模,以比较在线估计方法和传统估计方法的偏差、标准误差以及均方误差.实验表明,与传统方法相比,本文的方法具有快速计算和无需重新访问历史数据的优势,同时在均方误差方面接近传统方法.最后,基于中国综合社会调查(CGSS)数据,本文应用在线估计方法分析我国劳动年龄人口生活质量的影响因素,得出周工作时间在30–60 h范围内的全职工作对提升生活质量具有积极作用的结论,为相关政策制定提供了一定参考价值.

基于景观大数据的游客时空行为研究进展

信息和计算机科学技术的快速发展改变了以往游客时空行为相关理论的研究方式。游客在旅游过程中使用社交APP、定位装置和在线媒体会产生大量的景观时空大数据,为游客时空行为研究提供了更多发展空间。文中系统地介绍景观大数据的获取来源和方法,针对景观大数据处理分析方法进行概括,主要是以ArcGIS核密度、社会网络、图片内容分析法3种方法为主。从时间和空间角度,对国内外游客时空行为研究进展进行梳理,总结基于景观大数据的游客时空行为研究热点,未来的研究趋势可能为多空间类型、多采集平台、多时空要素同时开展。

基于迁移学习的非结构化大数据缺失值插补算法

针对数字信息产生的海量、多角度的非结构化大数据,由于外界干扰、数据结构损坏等因素造成其信息丢失问题,提出了基于迁移学习的非结构化大数据缺失值插补算法。通过迁移学习算法,预测非结构化大数据缺失部位,利用朴素贝叶斯算法分类数据特征,度量属性间权重值,明确数据类别特征差异向量,辨别特征差异程度。采用核回归模型对数据缺失部分实施非线性映射,经过多项式变化编码,描述数据的跨空间互补条件,完成非结构化大数据缺失值插补。实验结果表明,所提算法可以有效完成非结构化大数据缺失值插补,具有较好的插补效果,能提高插补精度。

基于大数据的徽州古建筑群游客热度研究

选择徽州古建筑群景点进行研究,通过网络爬虫获取景点微博数据,采用数据预处理、数据可视化、核密度分析等方法对古建筑群的讨论热度进行分析,判断各景点话题变化趋势,便于整合用户信息,筛选热门景点,促进徽州古建筑群旅游的良性发展。

宜出行大数据支持的武汉市主城区职住特征研究

分析城市的职住特征能够为制定城市发展规划和解决城市交通问题提供重要的指导。本文以武汉市主城区为研究对象,依托宜出行大数据,通过对组团、街道和微观3个尺度的职住分布特征和职住平衡特征的分析,研究了武汉市主城区的职住特征。研究发现:①在组团尺度,各时段组团间的人口分布由中心向外围依次递减,与武汉市主城区圈层发展、组团布局的空间格局规律一致,各组团均处于职住平衡状态;②在街道尺度,主城区65􀆰58%的街道为职住相对平衡状态,少数街道存在职住失衡现象;③在微观尺度,结合地图与POI数据分析,工作时段人口集中于商业区与交通线路附近,休息时段人口相对均匀地分散于住宅区。以工作时段人口聚集热点为例,热点中心就业高度集中,存在就业导向的职住失衡,随着距离增加,职住分布趋于平衡。

基于井筒工程数据的钻井提速评价分析方法——以高石梯—磨溪区块为例

为了厘清影响钻井提速的关键因素,明确提高机械钻速的主要手段,以钻井参数和钻头类型为研究对象,通过建立钻井参数分析模型和钻头评价模型,对数十万条井筒工程数据进行分析,指出了不同钻井参数对钻井提速的影响程度,并给出了有助于钻井提速的钻井参数区间,优选出高效钻头,提出了基于井筒工程数据的钻井提速评价分析方法。研究结果表明:(1)利用Pearson相关系数定性分析法对钻压、转速、排量等钻井参数与机械钻速的相关性进行排序,能够指导钻井参数优化;(2)通过核密度估算方法,展示高机械钻速下的各项钻井参数分布,为定量优选钻井参数区间提供依据;(3)有效进尺和平均机械钻速是综合评价钻头的关键指标,提取数据库中不同型号钻头的上述两项指标,以平均机械钻速和平均进尺作为分割线,能够优选出高效钻头。结论认为,该分析评价方法使钻井参数优化和工具优选更加科学,数据分析结果更加直观,能够有效指导钻井提速,同时为井筒工程大数据分析应用提供新的方法。

小麦大粒品种内源CA_3及ABA含量的变化规律

研究了小麦大粒品种 86 (79)子粒和旗叶中内源GA3 及ABA含量变化规律 ,结果表明 ,86 (79)子粒和旗叶中的GA3 含量高 ,而ABA含量低 ,旗叶中GA3 /ABA与光合速率呈显著的正相关 (r=0 8840 ) ,子粒中GA3 /ABA与子粒灌浆速度呈显著的正相关 (r=0 90 70 ) ,而旗叶中的GA3 /ABA与子粒中的GA3

优质杏新品种——‘玫香’的选育

‘玫香’杏是以大果甜仁杏为母本,以早熟优质杏为父本杂交选育而成的早熟杏新品种。该品种果实近圆形,平均单果质量97 g。果皮金黄色,阳面玫瑰红色。果肉黄色,肉厚质细,纤维少,可食率达96%。汁液多,甜酸适度,味浓芳香,风味极佳,可溶性固形物14.6%。品质上乘,离核,仁甜。郑州地区6月上旬成熟,早实、丰产、稳产、外形美观、适应性强。

中国大数据实验室空间格局及影响因素研究

大数据实验室可以有效推动大数据相关产业发展,对于贯彻落实大数据战略具有重要意义.基于2020年中国337个大数据实验室点数据,运用最近邻指数、核密度估计、标准差椭圆、探索性数据分析、地理联系率等方法,对我国大数据实验室的空间分异格局进行定量测度.结果表明:(1)中国大数据实验室在空间上具有集聚化和非均衡分布特征,呈现“北(略偏东)—南(略偏西)”分布态势.(2)大数据实验室的空间分布表现出显著的区域差异性,东中西三大地带、南北地区、沿海和内陆地区分别形成“3∶1∶1”、“1∶1”和“2∶3”的比例关系.(3)大数据实验室空间密度不均匀,总体上呈现“东密西疏”的空间密度格局,中高密度核心区主要位于京津冀、长三角、珠三角及成渝地区.(4)大数据实验室存在显著的空间正向自相关关系,HH区和LL区分别分布于苏沪地区和新藏蒙地区.(5)地区经济发展水平、人力资本、科研支撑机构及信息化水平是大数据实验室空间分布的主要影响因素.

大粒小麦品种86(79)生理特点及其与穗粒重的关系

以大粒小麦品种 86 (79)、中粒小麦品种豫麦 4 1号为材料 ,在河南生态条件下 ,研究了大粒小麦品种生理特点及其与穗粒重的关系 .结果表明 ,大粒小麦品种净同化率高 ,灌浆期叶片叶绿素、总糖、全氮含量高 ,光合速率高 ,茎鞘中总糖、全氮含量高 ,但下降快 ,碳水化合物运输受阻 ,后期氮素相对缺乏 ;大粒品种粒重增长快 ,子粒中蛋白质含量高 ,变化平稳 ,不受子粒积累碳水化合物的影响 ;大粒品种后期灌浆不充分 ,子粒饱满度差 ,子粒中GA3 /ABA与子粒灌浆速率呈显著的正相关 ,而旗叶与子粒中GA3

节节麦大穗大粒相关农艺性状的遗传分析

节节麦(Aegilops tauschii,DD)是六倍体普通小麦D基因组的祖先,其自然类群中含有丰富的抗逆、高产基因,利用其与四倍体硬粒小麦合成的六倍体小麦在现代小麦育种中得到了愈来愈多的应用。本课题在野生节节麦类群中发现了大穗、大粒材料AT462,利用其作母本与节节麦材料AT18(强分蘖)杂交;构建了F2、F3群体,通过调查亲本和群体单株的穗长、小穗数、粒长、粒宽和粒重等表型,对这些穗部性状进行了相关性分析和遗传分析。结果表明:(1)在F2和F3群体中,粒重、粒长与穗长之间不存在显著相关性,而且穗长与粒宽之间在两个群体中的平均相关系数绝对值小于0.1,粒重与小穗数之间的相关系数绝对值小于0.2,表明节节麦大粒相关性状不受穗长的影响,受小穗数影响也较小;(2)采用F2单世代分离分析的方法对节节麦AT462×AT18的F2群体大穗、大粒相关性状进行遗传分析,其中穗长受2对具有加性效应的主效基因控制;粒重和小穗数均同时受2对基因的加性效应、显性效应以及互作效应控制,其中加性效应占主导地位;粒长、粒宽均受2对基因的加性效应、显性效应以及互作效应控制,且三种效应较为均衡。这说明控制节节麦粒重、穗长、小穗数等产量性状相关基因的加性效应在遗传中占主导地位,在育种中较易利用,且其主效基因的遗传力达0.9。

川西北大穗大粒型小麦灌浆规律研究

了解不同熟期大穗大粒型小麦灌浆生理特性对选育优良品种及提高小麦单位面积产量具有重要的指导意义。笔者研究大穗大粒小麦籽粒灌浆干物质积累模型及灌浆特性与粒重的相关分析。结果表明:小麦籽粒干重变化呈"S"曲线,灌浆速率和籽粒水分含量均呈正态曲线。最大灌浆速率Rmax,渐增期(R1)快增期(R2)和缓增期速率(R3),渐增期持续天数(T1)是影响粒重的重要参数,各阶段灌浆速率与持续时间呈显著负相关。因此在大穗大粒高产小麦栽培和育种中可通过选育高灌浆速率,尤其是高快增期灌浆速率的品种;通过适当的栽培措施协调灌浆速率与持续时间的矛盾,增加缓增期灌浆速率而提高粒重。

求解大规模谱聚类的近似加权核k-means算法

谱聚类将聚类问题转化成图划分问题,是一种基于代数图论的聚类方法.在求解图划分目标函数时,一般利用Rayleigh熵的性质,通过计算Laplacian矩阵的特征向量将原始数据点映射到一个低维的特征空间中,再进行聚类.然而在谱聚类过程中,存储相似矩阵的空间复杂度是O(n2),对Laplacian矩阵特征分解的时间复杂度一般为O(n3),这样的复杂度在处理大规模数据时是无法接受的.理论证明,Normalized Cut图聚类与加权核k-means都等价于矩阵迹的最大化问题.因此,可以用加权核k-means算法来优化Normalized Cut的目标函数,这就避免了对Laplacian矩阵特征分解.不过,加权核k-means算法需要计算核矩阵,其空间复杂度依然是O(n2).为了应对这一挑战,提出近似加权核k-means算法,仅使用核矩阵的一部分来求解大数据的谱聚类问题.理论分析和实验对比表明,近似加权核k-means的聚类表现与加权核k-means算法是相似的,但是极大地减小了时间和空间复杂性.

嵌入式Linux实时技术改进与实现

对嵌入式Linux进行实时性改进是嵌入式操作系统领域的一个研究热点。本文从实现低延迟、中断线程化、用Mutex取代spinlock、优先级继承和死锁检测、等待队列优先级化、大内核锁可抢占等方面给出了改善系统实时性能的实现方法,拓展了嵌入式实时系统的应用范围。

面向大数据分析的在线学习算法综述

大数据时代,越来越多的领域出现了对海量、高速数据进行实时处理的需求.如何对大数据流进行抽取转化成有用的信息并应用于各行各业变得越来越重要.传统的批量机器学习技术在大数据分析的应用中存在许多限制.在线学习技术采用流式计算模式,在内存中直接进行数据的实时计算,为流数据的学习提供了有利的工具.介绍了大数据分析的动机与背景,集中展示经典和最新的在线学习方法与算法,这种在线学习体系很有希望解决各种大数据挖掘任务面临的困难与挑战.主要技术内容包括3方面:1)线性模型在线学习;2)基于核的非线性模型在线学习;3)非传统的在线学习方法.各类方法尽量给出详细的模型和伪代码,讨论面向大数据分析的大规模机器学习研究与应用中的关键问题;给出大数据在线学习的3种典型应用场景,并探讨现今或将来在线学习领域进一步的研究方向.

面向大数据流的半监督在线多核学习算法

在机器学习中,核函数的选择对核学习器性能有很大的影响,而通过核学习的方法可以得到有效的核函数。提出一种面向大数据流的半监督在线核学习算法,通过当前读取的大数据流片段以在线方式更新当前的核函数。算法通过大数据流的标签对核函数参数进行有监督的调整,同时以无监督的方式通过流形学习对核函数参数进行修改,以使得核函数所体现的等距面尽可能沿着数据的某种低维流形分布。算法的创新性在于能同时进行有监督和无监督的核学习,且不需要对历史数据进行再次扫描,有效降低了算法的时间复杂度,适用于在大数据和高速数据流环境下的核函数学习问题,其对无监督学习的支持有效解决了大数据流中部分标记缺失的问题。在MOA生成的人工数据集以及UCI大数据分析的基准数据集上进行算法有效性的评估,其结果表明该算法是有效的。

基于GEOROC大数据分析地壳厚度地球化学指标

前人研究认为,火山岩中部分地球化学指标与岩浆弧地壳厚度之间存在一定的相关性,并通过统计主量元素K2O、Ca O和Na2O指标及微量元素Ce/Y、Sm/Yb、Dy/Yb、Sr/Y、La/Yb指标与地壳厚度之间关系,约束地质史上某些区域的地壳厚度发展和变化。本文基于GEOROC数据库,以Si O2含量57%和火山岩年龄23Ma为界,将全球火山岩数据分成年轻-壳源(> 57%,<23Ma)、年轻-幔源(<57%,<23Ma)、古老-壳源(> 57%,> 23Ma)和古老-幔源(<57%,> 23Ma)四个数据集,并通过核函数估计方法获得了各个地球化学指标与地壳厚度的归一化联合概率密度分布图。本文统计结果表明,年轻-幔源火山岩中的K2O含量分布与壳源火山岩呈现指数正相关关系、Ca O含量分布于地壳厚度呈现线性负相关关系,年轻-壳源火山岩中Ce/Y、La/Yb和Sm/Yb与现今地壳厚度有指数正相关关系。由以上5种地化指标建立的回归方程确定系数R2均大于0. 7,可以认为相关关系显著。本文认为幔源岩浆在穿透地壳到达地表过程中,地壳厚度控制了富K壳源物质进入地幔熔体和富Ca矿物结晶分异过程,导致了火山岩中K2O和Ca O含量的相关变化;而下地壳部分熔融形成的壳源岩浆,不同深度压力控制了残留相矿物比例,导致Ce/Y、La/Yb和Sm/Yb体现出与地壳厚度的相关性。本文建立的回归函数是基于大量数据概率密度分布的统计分析得出的,由于离群数据普遍存在,回溯历史地壳厚度变化需要大量数据统计支撑,否则难以获得可靠的结果。

基于图谱理论几何空间结构变换的大数据核聚类算法

现有核聚类算法需要学习完整的核矩阵,计算效率较低,仅适用于小规模数据,对此提出了基于图谱理论的核函数分类算法。首先,基于图谱理论建立无标记数据的相似度图;然后,计算其拉普拉斯矩阵,并选取拉普拉斯矩阵的部分特征向量来学习;最后,利用核K-means算法实现数据分类。对比实验结果证明,本算法在具有较好聚类性能的前提下,计算效率明显优于其他同类型算法,并适合中型及大型规模数据分类处理。

一种基于抽样改进加权核K-means的大数据谱聚类算法

经典谱聚类将数据聚类转化为加权图划分问题,在分析Normalized Cut目标函数与加权核K-means函数等价基础上,设计了一种基于抽样改进加权核K-means算法的大规模数据谱聚类算法。算法通过Leaders进行初始聚类预处理,以控制后续随机抽样的数据规模及对原始数据类别的覆盖,通过抽样子集内加权核K-means迭代优化,避免Laplacian矩阵特征分解的大量资源占用,从而以部分核矩阵的使用避免全部核矩的时间、空间复杂度。试验结果表明,改进算法在保持与经典算法相近聚类精度基础上,大幅提高了聚类效率。

基于POI大数据的城市商圈业态组合及优化研究

基于高德地图API采集长沙城市商圈POI大数据,采用核密度分析、莫兰指数和高/低聚类分析方法,对城市商圈进行单业态和多业态综合分析.认为单业态空间分布具有明显的规律性,综合型的业态主要分布在城市中心地带,且呈现核心商圈与次级商圈的层级关系,功能单一且消费频率高的业态主要分布在城市居民区,功能单一且专业化程度较高的业态主要分布在近郊区.所有单业态空间分布均在95%的置信区间内,具有显著的空间集聚特征,且是空间正相关模式.高/低聚类分析发现,商场、服装鞋帽、商业街这三类业态产生了高值聚集现象.最后指出长沙城市商圈业态在购物设施总体空间分布和单业态空间布局两方面有待优化.