毫米波通信系统中可重构智能表面辅助多用户信道估计方案

为了解决可重构智能表面(Reconfigurable Intelligent Surface,RIS)辅助的多用户毫米波通信系统中级联信道的信道估计问题,提出了一种新的基于压缩感知(Compressive Sensing,CS)的两阶段级联信道估计方案,该方案在传统的压缩感知信道估计上引入级联信道双时间尺度性质和行列稀疏邻近结构,同时利用信道特性和双结构正交匹配追踪算法(Double-Structured Orthogonal Matching Pursuit,DS-OMP)在节约导频开销的同时也提高了信道估计的精度和性能。通过仿真分析各变量对所提方案归一化均方误差(Normalized Mean Square Error,NMSE)的影响,相较于传统基于压缩感知的信道估计算法,所提方案具有较好性能,同时有较小的导频开销。

TEB:GPU上矩阵分解重构的高效SpMV存储格式

稀疏矩阵向量乘法(SpMV)是科学与工程领域中一个至关重要的计算过程,CSR(compressed sparse row)格式是最常用的稀疏矩阵存储格式之一,在图形处理器(GPU)平台上实现并行SpMV的过程中,其只存储稀疏矩阵的非零元,避免零元素填充所带来的计算冗余,节约存储空间,但存在着负载不均衡的问题,浪费了计算资源。针对上述问题,对近年来效果良好的存储格式进行了研究,提出了一种逐行分解重组存储格式——TEB(threshold-exchangeorder block)格式。该格式采用启发式阈值选择算法确定合适分割阈值,并结合基于重排序的行归并算法,对稀疏矩阵进行重构分解,使得块与块之间非零元个数尽可能得相近,其次结合CUDA(computer unified device architecture)线程技术,提出了基于TEB存储格式的子块间并行SpMV算法,能够合理分配计算资源,解决负载不均衡问题,从而提高SpMV并行计算效率。为了验证TEB存储格式的有效性,在NVIDIA Tesla V100平台上进行实验,结果表明TEB相较于PBC(partition-block-CSR)、AMF-CSR(adaptive multi-row folding of CSR)、CSR-Scalar(compressed sparse row-scalar)和CSR5(compressed sparse row 5)存储格式,在SpMV的时间性能方面平均可提升3.23、5.83、2.33和2.21倍;在浮点计算性能方面,平均可提高3.36、5.95、2.29和2.13倍。

基于可信云计算的非集中式元数据存储结构优化

在非集中式元数据的存储调用过程中,在硬件结构复杂、负载量大的情况下,参数设置优化步骤复杂,导致带宽达不到存储应用的期望,为此设计了一种基于可信云计算的非集中式元数据存储结构优化方法。设计非集中式元数据存储结构总体框架,计算最优元数据存储结构,通过能量检测对存储分区进行筛选,建立基于可信云计算的存储度量模型,设计可信度量存储报告机制,引入行列混合存储,设计内部结构分布图,实现结构优化。测试结果显示:在不同优化方法下,设计的优化方法所得到的存储结构下并行读写的写入带宽不会受到服务器数量变化的影响,高负载读写下的聚集带宽也较优。

基于预处理共轭梯度的大地电磁快速正演

针对大地电磁法有限元模拟中计算量大的特点,采用按行压缩存储方式的不完全LDLT预处理共轭梯度法快速求解大型复系数方程组。引入不完全LDLT预处理,提出快速求解(LDLT)-1r的方法,以加快预处理共轭梯度法的收敛速度。研究结果表明:当网格节点自由度超过1万时,压缩率达到99.9%,求解方程组时间在1 s以内,为进一步快速反演奠定了基础。

基于行存储模型的模拟列存储策略研究

列存储模型在只读的数据仓库应用中表现出非常好的性能,很多研究表明对于典型的OLAP查询,列存储数据库的性能大大优于行存储数据库.根据列存储模型的特性及数据处理特点,在传统的行存储模型关系数据库中模拟列存储的存储模式及数据处理过程,并通过优化的基于聚类的列存储模型、全索引模型与典型的行存储方式进行类比性能测试.实验结果显示,采用传统行存储模型模拟的列存储模型针对OLAP类查询具有很高的数据访问速度及查询性能,整体性能介于行存储数据库与列存储数据库之间.对于实际应用系统来说,该方案减少了整体系统部署代价,而且无需为提高OLAP查询的性能增加额外系统(列存储)投入,从而为OLAP应用提供了良好的性能支持.

基于GPU加速的超精简型编码数据库系统

在数据爆发式增长的今天,特别是通信、金融、互联网等领域产生的大规模数据,在存储和查询方面给业界带来了前所未有的压力.在这种背景下,当前的数据库和数据仓库系统通过对数据进行压缩编码,在节约空间的同时减少了数据表查询时所需的I/O,获得性能上的提升,但大部分系统在面对实际大规模企业数据应用时依然无法在压缩比、导入时间或查询性能上完全满足企业需求.通过基于一定的规则对数据重新进行编码和精简,实现了一种新型超精简型编码的数据库系统HEGA-STORE.采用行列混合存储的架构;提出基于列内和列间规则挖掘和编码的数据导入存储计划;同时在规则挖掘和编码中使用GPU作为协处理器并行处理算法从而提高效率.通过开发编解码原型系统,对大规模网易易信通信记录数据和网易后台日志数据的导入和查询分别进行了测试,并与其他压缩编码算法和数据库、数据仓库产品进行比较.对比实验结果表明,相比同类数据库和数据仓库产品,原型系统拥有极高的压缩比,并且在导入速度和全表扫描查询速度也处于领先地位,同时使用GPU和CPU协作进行数据处理时也能进一步提高系统性能,验证了提出的超精简型编码数据库系统的实际应用价值.

混合存储下的MapReduce启发式多表连接优化

对Map Reduce下的多表连接查询进行了研究,发现由于Map Reduce框架本身的局限性,造成执行效率较低。针对此问题,提出了Map Reduce启发式多表连接优化方法(Map Reduce based heuristic multi-join optimization,MHMO),为不同的连接模式启发式地推荐不同的执行算法。特别的,对于混合连接,首先将其分组为多个简单连接模式,进而定义代价模型确定各分组的最优执行顺序。结合列存储的延迟物化技术,大大提高了Map Reduce下多表连接的执行性能。最后,在数据仓库基准测试数据集TPCH上进行了实验,验证了MHMO的有效性。

大数据环境下数据读取关键技术研究

针对大数据环境下数据读取面临的主要挑战,文中重点研究了分布式文件系统中数据读取关键技术。根据数据存放结构的不同,从数据加载、查询处理和存储空间利用三个方面分析比较行存储、列存储和行列混合存储的优缺点和面临的挑战,重点介绍列存储中涉及到的压缩和物化技术,具体分析了存储压缩中经常运用的行程编码算法、词典编码算法、位向量编码算法和元组重构中运用的延迟物化技术。通过分析现有技术存在的问题,探讨相关的解决方案,并展望了未来研究的发展方向。

马尔可夫预测模型中转移概率矩阵的压缩与应用

Markov预测模型是Web预取与个性化推荐技术的基础。大量Web对象的存在使得用户浏览转移状态激增,导致预测模型出现了巨大的空间复杂度问题。基于网站链接结构(WLS),针对Markov预测模型中的转移概率矩阵,提出一种基于行相似与列相似的相似度度量方法。首先计算出相似矩阵,然后利用行相似、列相似获得相似页面并压缩在一起,减小了Markov模型中的状态个数。实验表明,该模型具有较好的整体性能和压缩效果,在预取效率方面能够保持较高的预测准确率和查全率。

建立电力系统状态空间方程的并行方法

为了缩减大规模电力系统小干扰稳定性分析的计算时间,对电力系统状态空间矩阵的快速形成方法进行优化研究。针对插入式建模技术,分析状态矩阵的形成过程;采用含双重阈值的不完全LU分解法(ILUTP),调整相关矩阵中非零元素的位置,将矩阵转换为对角占优形式。采用双共轭梯度稳定法(BICGSTAB)对处理后的大型稀疏矩阵迭代求解;矩阵的存储方式为行压缩稀疏存储;利用ILUTP与BICGSTAB的算法特性,实现了基于Open MP技术的并行计算;利用两个分别包含23台发电机和98台发电机的算例,发电机均采用六阶发电机模型,励磁调节模块与原动机调速块均为系统的实际参数,对比传统方法与优化方法求解状态矩阵方法的所用时间。结果表明,该方法能够加快大型电力系统状态空间的形成过程,其并行加速比接近于3,验证了所提方法的可行性及有效性。

无人机集群作战中连续时间Markov链模型的求解方法

针对无人机集群目标作战解析建模时在状态转移过程中计算速率低的问题,提出了一种基于行压缩存储的四阶Runge-Kutta法。根据无人机集群作战样式将无人机集群作战过程划分为三个阶段,并分阶段对无人机集群作战的状态转移过程建立连续时间Markov链模型。以无人机集群完成作战任务的可靠性作为求解指标,运用四阶Runge-Kutta法对Markov模型进行求解。由于求解过程中速率转移矩阵具有稀疏特性,采用基于行压缩存储的算法优化求解速率。仿真实验表明,运用连续时间Markov理论建立的无人机集群作战过程模型的有效性和可行性优于其他模型。同时,与其他算法及模型相比,该算法计算速率更高、能更好地满足结果精度的可靠性需求,进一步说明了本算法的优越性。

行列混合存储的数据压缩策略研究

大数据技术不断深入发展,对于数据压缩技术的要求也在不断提高.为此,构建叠加式行列混合存储结构,提出动态编码选择数据压缩策略.首先,依据数据类型,选取对应处理效果最佳的编码方式;然后,设计基于行列存储的页式存储结构对数据属性缓冲区中的数据进行处理,确定可压缩的属性数据并存储于属性块;最后设计并实现动态编码选择数据压缩算法,对属性块中的数据进行压缩处理,计算数据压缩比.应用大规模数据集SSB中的数据表进行数据压缩处理,实验结果验证了基于行列混合存储的动态编码选择数据压缩策略在数据压缩比、数据压缩时间方面性能优于单一行、列存储下的数据压缩方式,提高了压缩效率.

一种基于SSD的高性能Hadoop系统的设计与应用

在大数据平台中,随第一代Hadoop出现的基于磁盘的批处理计算框架Map Reduce的局限日益显现:数据读入和中间结果数据均依赖于大量磁盘I/O,性能有限。基于内存计算的Spark成为当前重点,对比Map Reduce性能可提升10-100倍,但内存使用的成本依旧高昂。采用超高速且相对廉价的SSD作为大数据的缓存解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的Spark计算引擎和行列混合式文件结构等优化技术,设计了一种基于SSD的高性能Hadoop系统,能有效地解决大数据计算系统的性能问题和存储空间问题,实验结果显示取得数倍性能提升。

语言计量研究中的上小三角矩阵压缩存储算法

三角矩阵的压缩存储是科学研究和工程计算领域经常遇到的问题。在语言计量研究的实际应用当中,需要用到一类主对角线元素全为零的特殊三角矩阵:小三角矩阵。通过对相关压缩算法的考察,给出了上小三角矩阵中行主顺序压缩存储算法的正向公式和逆向公式,还给出了算法在语言计量研究中的应用。基于算法的后续计量研究将有助于进一步揭示人类语言结构与演化的规律。

随机矩阵的主行列分析法

将随机向量的主成分分析方法进行推广,给出了关于随机矩阵的主行列分析的理论与方法.在进行图像处理时,同主成分分析法相比,矩阵的主行列分析法缩减了协方差矩阵的维数,从而大大降低了计算特征值和特征向量的运算量,提高了运算速度.将矩阵的主行列分析法应用于图像的压缩,给出了图像的列压缩方法和行、列结合的二次压缩法以及相应的图像的复原方法,有效解决了图像的存储和复原问题.

传感数据世系的有效压缩传输与查询方法

为了有效地分析传感器网络应用中产生数据异常的原因并形成追溯链,该文提出一种基于感知压缩和列存储理论的传感数据世系压缩传输、存储与查询(Compressed propagating storing and querying of sensor data lineage,CPSQSDL)方法。论文分析被感知事件的传感数据世系之间蕴含有时间、空间相关关系,设计了一种适合传感数据世系压缩感知的随机投影观测矩阵,保证CPSQSDL方法具有近似k-term的最优恢复误差。论文对压缩世系进行了形式化定义,给出了近似世系查询算法,形式化证明了压缩世系的恢复误差边界,并在真实数据集上通过实验验证了此方法的有效性。

一种新型提升格式与改进的基于行编码图像压缩方法

本文首先提出了一种新型的提升格式,作为特例得到了含参数的具有简单有理系数的8-6小波。将基于行的图像编码方法进行改进并与新型提升格式相结合,提出了一种高保真、低存储、低复杂度的图像压缩方法,实验结果验证了方法的良好性能。

行列混合存储数据库系统的研究

通过研究列存储技术的特点,提出了一种行列混合存储数据库系统的设计方案。该方案在存储层设立独立的行存储引擎和列存储引擎,采用早物化技术在数据读出之后将列表转换成行表,然后以行的形式完成后续处理。因此,该方法既获得了列存储的读优势又复用了行数据库系统的成熟部件,降低了开发的风险和复杂度。基于PostgreSQL的原型开发与测试证明了该方案的可行性和有效性。

基于哈夫曼编码的稀疏矩阵的存储与计算

在科学计算中,稀疏矩阵与向量乘积SMVP是一个十分重要的计算内核,它的效率主要是由稀疏矩阵的存储模式及相应的SMVP算法所决定。为了在稀疏矩阵的存储模式方面获得较好的性能,在哈夫曼压缩编码的基础上,对现有的分块压缩行存储BCRS方法进行了改进,在一定程度上减少了冗余零元素的存储,并且给出了与新的BCRS方法相对应的SMVP算法。理论分析和数据实验表明,基于哈夫曼压缩编码的BCRS方法在数据复杂度方面优于原始的两种BCRS方法。

迭代法中压缩对角存储的应用框架

在许多有限元、有限差分的应用中,待解方程组的系数矩阵是大型稀疏带状阵,方程组的求解一般使用迭代法。与其它存储方式相比,压缩对角存储由于不存矩阵元素的行列索引,对内存的使用最为节省。使用压缩对角存储,沿对角线操作可以完成高效的矩阵—向量乘。由于在以往的文献中,没有提及按行、列操作的算法,压缩对角存储的应用范围受到一定的限制。用行、列、对角版的矩阵—向量乘代表普通意义的行、列、对角方向操作模式,通过等价矩阵推导和伪代码,给出了一个包括按行、列操作算法在内的应用框架。这里运用C语言实现不完全Chol-esky分解共轭梯度法解方程,阐述了如何在实际编程中使用这个算法框架。经理论与实验分析表明,对角压缩存储应用于框架中是高效的,因为与使用常用的一维行索引存储格式所编程序相比,同样迭代次数的耗时减少了约25%。