期刊文献+
共找到38篇文章
< 1 2 >
每页显示 20 50 100
正交三偶极子阵列MIMO雷达近场目标定位
1
作者 张万军 王威龙 +1 位作者 刘尉悦 陈华 《信号处理》 CSCD 北大核心 2024年第10期1813-1821,共9页
本文基于发射端和接收端都配备了正交三偶极子阵列的双基地多输入多输出(Multiple-Input MultipleOutput,MIMO)雷达系统,结合三线性分解提出了一种近场源多维参数估计算法。该算法首先利用接收端匹配滤波器的输出数据构建了一个三阶平... 本文基于发射端和接收端都配备了正交三偶极子阵列的双基地多输入多输出(Multiple-Input MultipleOutput,MIMO)雷达系统,结合三线性分解提出了一种近场源多维参数估计算法。该算法首先利用接收端匹配滤波器的输出数据构建了一个三阶平行因子(Parallel Factor,PARAFAC)模型。同时为了加快算法的收敛速度以及避免所提算法对迭代的初值敏感,利用复平行因子分析(COMplex parallel FACtor analysis,COMFAC)算法来得到发射阵列和接收阵列导向矩阵的估计值。接着,根据发射阵列导向矩阵和接收阵列导向矩阵的结构特征得到每个目标的波离角(Direction-of-Departure,DOD)和波达角(Direction-of-Arrival,DOA)的粗估计值,并且基于双基地MIMO雷达阵列系统的几何关系得到从发射阵列到目标的距离以及从目标到接收阵列的距离的粗估计值。最后,基于得到的近场多维参数的粗估计值得到发射阵列和接收阵列的空间相位估计值,并进而从空间相位的估计值中得到更精确的DOD,DOA,从发射阵列到目标的距离和从目标到接收阵列的距离的精估计值。该算法适用于阵元间距为半波长的均匀线性阵列,相比于传统近场定位需满足阵元间隔为四分之一波长的前提,所提的MIMO阵列系统降低了阵列孔径损失,同时所提算法不需要进行谱峰搜索以及额外的参数配对操作。仿真结果表明,基于正交三偶极子阵列的MIMO雷达测向算法较传统标量阵列的算法具有较高的参数估计精度。 展开更多
关键词 正交三偶极子阵列 多输入多输出雷达 近场 平行因子
下载PDF
并联卷积神经网络的近红外光谱定量分析模型
2
作者 于水 宦克为 +1 位作者 刘小溪 王磊 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2024年第6期1627-1635,共9页
近红外光谱分析已成为工农业生产过程质量监控领域中不可或缺的重要分析手段之一,在食品、农业、医药等定性定量分析领域被广泛应用。预测精度高、运行速度快、泛化能力强的近红外光谱预测模型可用于不同物质的定性定量分析。但由于近... 近红外光谱分析已成为工农业生产过程质量监控领域中不可或缺的重要分析手段之一,在食品、农业、医药等定性定量分析领域被广泛应用。预测精度高、运行速度快、泛化能力强的近红外光谱预测模型可用于不同物质的定性定量分析。但由于近红外光谱数据量的激增,传统的近红外光谱建模方法已经出现明显的不足。随着人工智能技术的不断发展,深度学习算法在近红外光谱分析领域得到了广泛应用。提出了一种基于并联卷积神经网络的近红外光谱定量分析模型(PaBATunNet)。该模型由1个一维卷积层、1个并联卷积模块(Module)、1个展平层、4个全连接层和1个参数调节器(PR)组成,Module模块包括5个子模块分别对光谱数据进行线性及非线性多维特征提取,并通过Concatenate函数将提取后的光谱特征数据进行拼接,PR模块通过调节优化PaBATunNet模型参数,提高模型预测精度。基于Gard-CAM思想给出了PaBATunNet模型高贡献度特征波长,增加了PaBATunNet模型的可解释性。以谷物、柴油、啤酒、牛奶四组公开的近红外光谱数据为例,将PaBATunNet模型的预测结果与偏最小二乘(PLS)、主成分回归(PCR)、支持向量机(SVM)和BP神经网络(BP)模型的预测结果进行比较。结果表明,与PLS相比,PaBATunNet模型在谷物、柴油、啤酒、牛奶数据集的预测精度上分别提高了30.0%、40.7%、43.0%、52.8%;与PCR相比,PaBATunNet模型的预测精度分别提高了28.8%、35.9%、40.8%、52.2%;与SVM相比,PaBATunNet模型的预测精度分别提高了45.5%、37.4%、45.3%、54.7%;与BP相比,PaBATunNet模型的预测精度分别提高了7.9%、32.4%、90.1%、62.0%。基于并联卷积神经网络的近红外光谱建模方法相比于传统建模方法解决了模型预测精度低、运行时间长、泛化能力差以及可解释性不强等问题,可有效应用于工农业生产中不同物质的定量分析,为建立快速、无损、高精度的近红外光谱定量分析模型提供了科学基础。 展开更多
关键词 近红外光谱 深度学习 并联卷积神经网络 定量分析 预测模型
下载PDF
频谱受限下容量优化的多标签并发反射通信系统
3
作者 李向阳 王山岳 +2 位作者 张弛 闫宇博 谈海生 《计算机研究与发展》 EI CSCD 北大核心 2024年第11期3776-3792,共17页
无源反射通信技术因其微瓦级别的功耗,使得物联网设备易于部署且免维护.多标签并发反射通信技术使反射标签无需实现冲突避免等复杂协议,从而在降低设备功耗的同时提升系统的吞吐量和规模.然而,反射标签可用的频谱资源有限,导致多标签并... 无源反射通信技术因其微瓦级别的功耗,使得物联网设备易于部署且免维护.多标签并发反射通信技术使反射标签无需实现冲突避免等复杂协议,从而在降低设备功耗的同时提升系统的吞吐量和规模.然而,反射标签可用的频谱资源有限,导致多标签并发面临相互干扰和频谱利用效率低的问题.为此,提出了CamScatter,一个容量优化的多标签并发反射通信系统,设计了针对有限频谱资源进行最优化信道划分和高效分配的策略,避免标签之间的干扰,显著提升系统的容量.在预处理阶段,提出了带宽最大化的信道划分算法,为系统通信提供频谱上互不干扰且带宽利用率高的信道划分方案.在初始化阶段,提出了高效信道分配和最优化速率分配方案,根据系统中所有标签的信噪比,为标签分配最合适的信道和速率,以解决标签能量差异造成的信号干扰,提升系统吞吐量.在运行阶段,系统利用边带聚合和匹配滤波技术增强待解调标签信号的强度,减轻其他标签的信号干扰.系统可以利用的带宽范围为142.4~773.5 kHz,由于谐波干扰限制,理论上最大频谱利用率为81.1%,避免干扰的情况下最大系统容量为2925 kbps.仿真实验表明,算法可以实现78.6%的频谱利用率,最大系统容量可达1914 kbps.实际部署实验验证,本系统最高支持305 kbps的系统吞吐量,最多可支持30个标签的并发通信,有效解决了标签之间的相互干扰问题. 展开更多
关键词 反射通信 并发通信 谐波干扰 远近效应 容量优化
下载PDF
基于直线邻近平行性和GBVS显著性的遥感图像机场目标检测 被引量:13
4
作者 朱丹 王斌 张立明 《红外与毫米波学报》 SCIE EI CAS CSCD 北大核心 2015年第3期375-384,共10页
现有的全色遥感图像机场目标检测方法,对机场目标的直线特征利用得非常有限.提出一种同时利用自顶向下和自底向上显著性机制的新方法.利用线段检测算法检测直线,通过跑道线段间邻近、平行且长度范围一定的特点,提出了邻近平行性的概念,... 现有的全色遥感图像机场目标检测方法,对机场目标的直线特征利用得非常有限.提出一种同时利用自顶向下和自底向上显著性机制的新方法.利用线段检测算法检测直线,通过跑道线段间邻近、平行且长度范围一定的特点,提出了邻近平行性的概念,可以深度挖掘机场跑道几何关系的先验知识.同时使用简化的基于图的视觉显著性模型,提取自底向上的显著性.两者协同得到机场的候选位置.最后,通过尺度不变特征变换提取特征,利用支撑向量机进行判决,可以精确定位机场目标.在具有各种类型的机场图像数据库上的实验结果表明,相对于其他方法,所提议算法具有速度快、识别率高、虚警率低的优势,同时对于复杂背景具有更强的鲁棒性. 展开更多
关键词 机场目标检测 线段检测算法 邻近平行性 基于图的视觉显著性 尺度不变特征变换 支撑向量机
下载PDF
并行MapReduce PLS算法及其在光谱分析中的应用 被引量:5
5
作者 杨辉华 杜玲玲 +5 位作者 李灵巧 唐天彪 郭拓 梁琼麟 王义明 罗国安 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2012年第9期2399-2404,共6页
偏最小二乘(PLS)算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算... 偏最小二乘(PLS)算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验。实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性。 展开更多
关键词 并行偏最小二乘 近红外光谱 MAPREDUCE 并行计算 HADOOP 云计算
下载PDF
基于平行因子分析的近场循环平稳信源方位角和距离联合估计 被引量:4
6
作者 刘妍妍 孙晓颖 刘国红 《电子学报》 EI CAS CSCD 北大核心 2013年第10期1958-1963,共6页
提出一种基于平行因子分析的近场循环平稳信源方位角和距离联合估计算法,该算法利用阵元的观测数据计算三个三阶循环矩矩阵,构建循环统计量域的平行因子模型,并利用三线性交替最小二乘法分解,由分解矩阵求出信源参数.算法能有效抑制任... 提出一种基于平行因子分析的近场循环平稳信源方位角和距离联合估计算法,该算法利用阵元的观测数据计算三个三阶循环矩矩阵,构建循环统计量域的平行因子模型,并利用三线性交替最小二乘法分解,由分解矩阵求出信源参数.算法能有效抑制任意统计分布的平稳噪声,去除循环平稳干扰,且无需谱峰搜索和参数配对过程.均方根误差的仿真实验结果表明所提算法对信号参数具有较高估计精度. 展开更多
关键词 无线定位 参数估计 DOA 近场源 平行因子
下载PDF
基于多GPU的千万级高维空间实时检索 被引量:8
7
作者 周迪斌 蒋健明 +1 位作者 胡斌 张量 《科技通报》 北大核心 2013年第1期118-123,共6页
海量高维数据的近邻检索一直是多媒体信息领域的重要研究课题。本文提出一种基于多GPU的并行高维空间距离检索排序算法,通过并行优化空间距离计算及排序过程,并充分利用GPU硬件特性和众多的流处理器单元,算法能实现百万级的高维数据的... 海量高维数据的近邻检索一直是多媒体信息领域的重要研究课题。本文提出一种基于多GPU的并行高维空间距离检索排序算法,通过并行优化空间距离计算及排序过程,并充分利用GPU硬件特性和众多的流处理器单元,算法能实现百万级的高维数据的实时检索。在此基础上,研究并利用多GPU架构,提升并行效率,拓展实时数据查询的数据规模。实验结果表明,本文算法可达到千万级别高维数据的实时精确检索,极大地拓展了高维检索的应用范围。 展开更多
关键词 高维数据 近邻检索 CUDA 并行计算
下载PDF
一种新的基于平行因子分析的近场源定位算法 被引量:1
8
作者 梁军利 杨树元 +1 位作者 赵峰 张远航 《系统工程与电子技术》 EI CSCD 北大核心 2007年第1期32-36,共5页
提出了一种新的多个近场窄带信源距离、频率及到达角三维参数的联合估计算法。该算法将通常在数据和子空间域应用的平行因子分析模型扩展至高阶累积量域,利用阵元输出计算的高阶累积量矩阵构造三面阵,分析了该三面阵低秩分解的唯一性,... 提出了一种新的多个近场窄带信源距离、频率及到达角三维参数的联合估计算法。该算法将通常在数据和子空间域应用的平行因子分析模型扩展至高阶累积量域,利用阵元输出计算的高阶累积量矩阵构造三面阵,分析了该三面阵低秩分解的唯一性,并从分解得到的多个矩阵中联合估计信源距离、频率及到达角。该算法仅需使用3个高阶累积量矩阵,而且无须谱峰搜索和参数配对,计算简单。仿真结果表明该算法是有效的。 展开更多
关键词 阵列信号处理 近场源 平行因子分析 定位算法
下载PDF
一种无须参数配对的近场源定位新算法 被引量:7
9
作者 梁军利 王诗俊 +2 位作者 高丽 杨树元 张军英 《电子学报》 EI CAS CSCD 北大核心 2007年第6期1122-1127,共6页
本文提出了一种适用于高斯白噪声环境的近场窄带信源定位新算法.该算法利用阵元输出计算的3个二阶统计量矩阵在二阶统计量域构造平行因子分析模型,分析了该模型低秩分解的唯一性,并从其分解得到的多个矩阵中联合估计信源距离、频率及到... 本文提出了一种适用于高斯白噪声环境的近场窄带信源定位新算法.该算法利用阵元输出计算的3个二阶统计量矩阵在二阶统计量域构造平行因子分析模型,分析了该模型低秩分解的唯一性,并从其分解得到的多个矩阵中联合估计信源距离、频率及到达角.该算法无须参数配对,无须谱峰搜索,计算简单.仿真结果表明该算法是有效的. 展开更多
关键词 阵列信号处理 近场源 定位 平行因子分析 二阶统计量 三面阵
下载PDF
一种基于平行因子分析的近场源定位新方法 被引量:12
10
作者 梁军利 冀邦杰 +1 位作者 赵峰 张军英 《电子学报》 EI CAS CSCD 北大核心 2007年第10期1909-1915,共7页
本文提出了一种基于平行因子分析的近场窄带信源频率、距离及二维到达角联合估计新算法.首先给出一种新的十字阵列;然后结合Toeplitz矩阵的结构特点,选择特定序号阵元输出计算的高阶累积量巧妙构造5个Toeplitz矩阵;接着在高阶累积量域... 本文提出了一种基于平行因子分析的近场窄带信源频率、距离及二维到达角联合估计新算法.首先给出一种新的十字阵列;然后结合Toeplitz矩阵的结构特点,选择特定序号阵元输出计算的高阶累积量巧妙构造5个Toeplitz矩阵;接着在高阶累积量域构造平行因子分析模型,分析了该模型低秩分解的唯一性,并从其分解得到的矩阵中联合估计信源参数.与现有方法相比,该算法有效降低了阵列的孔径损失,无须参数配对.仿真结果表明该算法是有效的. 展开更多
关键词 阵列信号处理 近场源 定位 平行因子分析 三面阵 交替三线性最小二乘回归
下载PDF
大规模并行应用程序的可扩展性研究 被引量:6
11
作者 陈军 莫则尧 +1 位作者 李晓梅 袁国兴 《计算机研究与发展》 EI CSCD 北大核心 2000年第11期1382-1388,共7页
为适应未来超大型并行计算 ,要求算法和应用程序必须具有良好的可扩展性 .以往的可扩展性研究更强调于对算法的分析 ,而对于实际程序可扩展性低的原因很少进行深入探讨 ,不能有针对性地指导用户改进程序 .现提出了数值可扩展性和并行可... 为适应未来超大型并行计算 ,要求算法和应用程序必须具有良好的可扩展性 .以往的可扩展性研究更强调于对算法的分析 ,而对于实际程序可扩展性低的原因很少进行深入探讨 ,不能有针对性地指导用户改进程序 .现提出了数值可扩展性和并行可扩展性 ,用来描述并行系统的数值性能和并行性能的扩展行为 .并深入地讨论了数值可扩展性和并行可扩展性可能低的原因 ,提出了一套可扩展性评价准则 .使用这套评价准则和近优可扩展性方法 ,对一个大规模应用程序——二维等离子体粒子云网格法并行程序进行了分析 ,结果表明这套可扩展性评价准则可以帮助定位引起可扩展性低的原因 ,同时也表明 ,对于实际的大规模应用 ,在已知小规模问题的执行信息下 ,近优可扩展性分析方法提供了一种预测更大规模的问题在多少台处理机上运行更合理的途径 .这里的“合理”。 展开更多
关键词 可扩展性 应用程序 并行系统 近优可扩展性
下载PDF
基于远近视角驾驶员模型人机合作转向PDC/H_∞控制策略 被引量:4
12
作者 汪选要 王其东 王金波 《中国机械工程》 EI CAS CSCD 北大核心 2016年第1期121-128,共8页
基于远近视角驾驶员模型获得了非线性车路和人车路闭环T-S模型,运用状态反馈γ-次优H∞范数和线性矩阵不等式约束得到了反馈增益矩阵。应用模糊并行分布补偿控制设计了车路和人车路闭环T-S模型全局控制器。CarSim/Simulink仿真结果表明... 基于远近视角驾驶员模型获得了非线性车路和人车路闭环T-S模型,运用状态反馈γ-次优H∞范数和线性矩阵不等式约束得到了反馈增益矩阵。应用模糊并行分布补偿控制设计了车路和人车路闭环T-S模型全局控制器。CarSim/Simulink仿真结果表明,基于人车路闭环模型的人机合作转向控制的车道保持能力和跨道时间均优于车路模型,从而减少了车道偏离的风险。通过合作转向评价准则得出的人车路闭环PDC/H_∞控制器的人机合作程度较高。 展开更多
关键词 远近视角驾驶员模型 并行分布补偿 人机合作转向控制 跨道时间
下载PDF
基于CUDA的高维空间检索排序
13
作者 周迪斌 胡斌 +2 位作者 张量 黄勇 蒋健明 《杭州师范大学学报(自然科学版)》 CAS 2011年第5期459-465,共7页
高维空间的近邻检索是多媒体信息领域的重要研究课题.文章提出一种基于CUDA的高维空间距离检索排序算法,通过并行优化空间距离计算及排序过程,充分利用GPU硬件特性和它的并行运算能力,能极大地提高高维空间的检索速度,并可获取精确的距... 高维空间的近邻检索是多媒体信息领域的重要研究课题.文章提出一种基于CUDA的高维空间距离检索排序算法,通过并行优化空间距离计算及排序过程,充分利用GPU硬件特性和它的并行运算能力,能极大地提高高维空间的检索速度,并可获取精确的距离排序数据.实验结果表明,该文算法可达到百万级别高维数据的实时检索,极大地拓展了高维检索的应用范围. 展开更多
关键词 高维数据 近邻检索 CUDA 并行计算
下载PDF
临近空间高超声速滑翔弹双通道跟踪算法 被引量:6
14
作者 喻晨龙 谭贤四 +2 位作者 曲智国 王红 谢非 《宇航学报》 EI CAS CSCD 北大核心 2019年第6期636-645,共10页
为了提高临近空间高超声速滑翔目标的跟踪精度,提出了一种双通道并行跟踪算法。首先对比分析了目标的弹道轨迹,目标角度域参数相比位置域参数存在更显著的变化规律,为了在雷达测量直角坐标系下跟踪,采用倾角和方位角代替航迹倾角和航向... 为了提高临近空间高超声速滑翔目标的跟踪精度,提出了一种双通道并行跟踪算法。首先对比分析了目标的弹道轨迹,目标角度域参数相比位置域参数存在更显著的变化规律,为了在雷达测量直角坐标系下跟踪,采用倾角和方位角代替航迹倾角和航向角,将倾角变化率和方位角变化率描述成零均值正弦自相关随机过程,分别建立了纵向通道和横向通道的角度域模型。然后将目标轨迹分解到纵向观测平面和横向观测平面,通过量测数据预处理、双通道并行滤波、输出状态合并,实现目标的三维跟踪。最后通过仿真实验设置了算法中两个通道的机动模型的参数,分析了过程噪声对跟踪精度的影响,仿真结果表明,与现有的临近空间高超声速目标跟踪算法相比,该算法具有较高的跟踪精度。 展开更多
关键词 临近空间 高超声速滑翔目标 跟踪 倾角 方位角 并行
下载PDF
近红外光谱多核并行谱区选择任务调度策略研究 被引量:1
15
作者 黄华 朱洁 +2 位作者 刘广昊 吴习宇 祝诗平 《农业机械学报》 EI CAS CSCD 北大核心 2018年第10期270-274,283,共6页
在近红外光谱的谱区选择算法中,滑动窗口偏最小二乘法具有较高的预测精度,但是其程序运行时间很长。在不改变算法预测精度的前提下,首先以分段间隔偏最小二乘法为基础研究了顺序分配法、等间距法和排序法等3种任务调度策略对并行算法性... 在近红外光谱的谱区选择算法中,滑动窗口偏最小二乘法具有较高的预测精度,但是其程序运行时间很长。在不改变算法预测精度的前提下,首先以分段间隔偏最小二乘法为基础研究了顺序分配法、等间距法和排序法等3种任务调度策略对并行算法性能的影响。在这3种任务调度策略中,排序法具有较好的负载均衡性和较高的并行效率。然后在16核云计算平台下将排序法分配策略分别应用于组合分段偏最小二乘法、反向分段偏最小二乘法和滑动窗口偏最小二乘法等谱区的并行选择算法中。经实验测试,在单核串行算法下反向分段偏最小二乘法和滑动窗口偏最小二乘法的程序运行时间分别为9.22 h和55.51 h,在排序法分配策略下采用2核并行算法时其程序运行时间分别缩短为4.98 h和29.03 h,分别节省了45.99%和47.70%的程序运行时间。实验结果表明:当考虑并行效率和计算成本时,在1~16核的并行算法中,选用2核并行执行以上4种谱区选择算法都具有最高的并行效率和性价比。 展开更多
关键词 近红外光谱 谱区选择 多核并行算法 任务调度策略
下载PDF
大口径反射面天线PFDTD-PTDPO混合模拟时的网格剖分要求 被引量:2
16
作者 朱湘琴 王建国 邢笑月 《现代应用物理》 2015年第2期90-97,共8页
采用并行时域有限差分(PFDTD)和并行时域物理光学(PTDPO)相混合的方法对大口径反射面天线近轴区的辐射远场进行了模拟计算。以圆锥喇叭馈电的单反射面天线为例,给出了馈源及反射面网格剖分的要求;根据此要求剖分网格,给出了卡塞格伦双... 采用并行时域有限差分(PFDTD)和并行时域物理光学(PTDPO)相混合的方法对大口径反射面天线近轴区的辐射远场进行了模拟计算。以圆锥喇叭馈电的单反射面天线为例,给出了馈源及反射面网格剖分的要求;根据此要求剖分网格,给出了卡塞格伦双反射面天线的时域算例,所得计算结果与CST软件的计算结果符合较好。该网格剖分要求可用于PFDTDPTDPO混合方法中进行任意馈源馈电的大型反射面天线的瞬态模拟,包括馈源偏焦的情况。 展开更多
关键词 时域 反射面天线 并行时域有限差分 并行时域物理光学 网格剖分 近轴区 远场
下载PDF
近红外光谱分析中应用EPP技术的光谱数据采集
17
作者 王晓东 刘金国 郝志航 《光学技术》 CAS CSCD 2001年第5期418-419,433,共3页
为解决近红外光谱分析中现场数据的实时采集问题 ,提出一种应用增强型并行口 (EPP)技术采集样品光谱数据 ,进行物质近红外光谱分析的方法。介绍了增强型并行口技术 ,详细给出了光谱数据采集系统的技术实现方案。系统实现简单、携带方便... 为解决近红外光谱分析中现场数据的实时采集问题 ,提出一种应用增强型并行口 (EPP)技术采集样品光谱数据 ,进行物质近红外光谱分析的方法。介绍了增强型并行口技术 ,详细给出了光谱数据采集系统的技术实现方案。系统实现简单、携带方便、通用性好 。 展开更多
关键词 增强型并行口 近红外光谱分析 数据采集
下载PDF
基于Spark的近地表速度模型快速层析反演 被引量:5
18
作者 陈金焕 《石油物探》 CSCD 北大核心 2022年第1期146-155,共10页
近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法。通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈。为此,提出了一种快速、稳健的基于Spark技术的近... 近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法。通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈。为此,提出了一种快速、稳健的基于Spark技术的近地表速度模型层析反演方法,采用分布式内存管理技术将迭代中重复计算的数据持久化至内存中,提高程序运行效率。同时,为了解决共享存储中随着节点规模扩大而产生网络I/O堵塞的瓶颈问题,在分布式存储环境下组织弹性分布式数据集(RDD),设计基本规约单位为深度方向的一维反演数据,基于Spark Shuffle在规约过程中分布并行规约,利用Spark调度器在各个进程中分配任务,实现并行计算。实际数据计算结果表明:在反演结果精度不变的情况下,相对于常规MPI并行技术,该实现方法能够大幅度降低迭代过程中产生的网络I/O;当计算节点较多时,计算效率能够提高4倍以上;并行加速比呈现类线性增长趋势。 展开更多
关键词 近地表层析反演 迭代计算 Spark并行 弹性分布式数据集 规约基本单元
下载PDF
近断层危害场的三维并行数值模拟 被引量:1
19
作者 程海英 谢江 邵华钢 《计算机工程》 CAS CSCD 北大核心 2010年第22期37-39,共3页
在采用Metis软件包进行区域分解的基础上,结合大型稀疏矩阵的行压缩存储方式,求解基于预处理共轭梯度法的有限元方程组,开发并行有限元计算程序。对三维地质模型进行计算模拟,得到的张店-仁河断裂近断层地震危害场的位移场数值计算结果... 在采用Metis软件包进行区域分解的基础上,结合大型稀疏矩阵的行压缩存储方式,求解基于预处理共轭梯度法的有限元方程组,开发并行有限元计算程序。对三维地质模型进行计算模拟,得到的张店-仁河断裂近断层地震危害场的位移场数值计算结果表明,该并行程序取得了较好的计算加速比。 展开更多
关键词 并行有限元法 区域分解 数值模拟 近断层危害场
下载PDF
近数据计算下键值存储中Compaction并行优化方法 被引量:1
20
作者 孙辉 娄本冬 +2 位作者 黄建忠 赵雨虹 符松 《计算机研究与发展》 EI CSCD 北大核心 2022年第3期597-616,共20页
大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写... 大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写,从而提升性能.然而,LSM-tree键值存储也存在一些性能问题.一方面,键值存储利用compaction操作更新数据,保持系统平衡,但造成严重的写放大问题.另一方面,以传统计算为中心的架构下,compaction操作带来大量的数据传输,影响了系统性能.以数据为中心的近数据计算模型(near-data processing,NDP)为基础,利用该模型下主机端与近数据计算使能设备端的并行资源,提出基于系统并行与流水线并行的compaction优化方法(collaborative parallel compaction optimization for LSM-tree key-value stores,CoPro).当处理compaction操作时,CoPro主机端与NDP设备端协同执行compaction卸载任务.此外,进一步提出基于决策组件的CoPro+,根据系统资源变化以及负载键值对中值大小的变化来动态调整并行度,使NDP架构中计算资源的使用更加高效.在搭建的硬件平台上验证了CoPro的有效性. 展开更多
关键词 日志归并树 键值存储 近数据计算 任务卸载 数据-流水线并行
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部