一种二阶TD Error快速Q(λ)算法

Q(λ)学习算法是一种结合值迭代与随机逼近的思想的基于模型无关的多步离策略强化学习算法.针对经典的Q(λ)学习算法执行效率低、收敛速度慢的问题,从TD Error的角度出发,给出n阶TD Error的概念,并将n阶TD Error用于经典的Q(λ)学习算法,提出一种二阶TD Error快速Q(λ)学习算法——SOE-FQ(λ)算法.该算法利用二阶TD Error修正Q值函数,并通过资格迹将TD Error传播至整个状态动作空间,加快算法的收敛速度.在此基础之上,分析算法的收敛性及收敛效率,在仅考虑一步更新的情况下,算法所要执行的迭代次数T主要指数依赖于1/1-γ、1/ε.将SOE-FQ(λ)算法用于Random Walk和Mountain Car问题,实验结果表明,算法具有较快的收敛速度和较好的收敛精度.

基于TD-error自适应校正的深度Q学习主动采样方法

强化学习中智能体与环境交互的成本较高.针对深度Q学习中经验池样本利用效率的问题,提出基于TD-error自适应校正的主动采样方法.深度Q学习训练中样本存储优先级的更新滞后于Q网络参数的更新,存储优先级不能准确反映经验池中样本TD-error的真实分布.提出的TD-error自适应校正主动采样方法利用样本回放周期和Q网络状态建立优先级偏差模型,估计经验池中样本的真实优先级.在Q网络迭代中使用校正后的优先级选择样本,偏差模型在学习过程中分段更新.分析了Q网络学习性能与偏差模型阶数和模型更新周期之间的依赖关系,并对算法复杂度进行了分析.方法在Atari 2600平台进行了实验,结果表明,使用TD-error自适应校正的主动采样方法选择样本提高了智能体的学习速度,减少了智能体与环境的交互次数,同时改善了智能体的学习效果,提升了最优策略的质量.

智能天线技术在TD-SCDMA系统中的应用

介绍了智能天线技术及其在TD-SCDMA系统中的应用.通过对阵元接收信号加权处理,形成天线波束,使天线主波束对准用户信号到达方向,旁瓣或零陷对准干扰信号到达方向,可达到抑制干扰、提高接收灵敏度的目的.使用智能天线可以在不显著增加系统复杂程度的情况下扩充容量、加大覆盖范围、降低误码率.

线性联合检测算法在TD-SCDMA系统中的性能分析与比较

时分、同步码分多址（TD-SCDMA）系统是基于时分双工（TDD）的块传输系统,它使用了联合检测这项关键技术来抵抗符号间干扰（ISI）和多址干扰（MAI）。以上行链路为例,本文分析了三种线性联合检测算法——匹配滤波块均衡器（MF-BLE）、迫零块均衡器（ZF-BLE）和最小均方误差块均衡器（MMSE-BLE）。从理论上,我们描述了这三种线性联合检测算法的基本原理,并对它们进行了比较（包括抗干扰性能和计算量）。随后,我们模拟了不同参数条件下（信道模型、码道数目、天线数目）这几种算法的性能,并与理论分析进行对照,得出一定结论。

一种TDS-OFDM接收机的定时同步算法

提出了TDS-OFDM接收机中一种结合PN序列相位捕获的定时同步算法。利用本地PN与接收数据的相关特性,通过相关峰值检测快速提取定时误差信息完成定时同步,并且提出了能纠正较大采样偏移的小数因子补偿结构。仿真表明该算法在保证较好的同步性能前提下,能对抗较大的采样偏和残留频偏。

基于Q学习和TD误差的传感器节点任务调度算法

针对现有合作学习算法存在频繁通信、能量消耗过大等问题,应用目标跟踪建立任务模型,文章提出一种基于Q学习和TD误差(Q-learning and TD error,QT)的传感器节点任务调度算法。具体包括将传感器节点任务调度问题映射成Q学习可解决的学习问题,建立邻居节点间的协作机制以及定义延迟回报、状态空间等基本学习元素。在协作机制中,QT使得传感器节点利用个体和群体的TD误差,通过动态改变自身的学习速度来平衡自身利益和群体利益。此外,QT根据Metropolis准则提高节点学习前期的探索概率,优化任务选择。实验结果表明:QT具备根据当前环境进行动态调度任务的能力;相比其他任务调度算法,QT消耗合理的能量使得单位性能提高了17.26%。

TD-SCDMA终端发射调制质量指标的研究

调制质量是TD-SCDMA终端一致性测试的重要组成部分。针对TD-SCDMA系统对误差矢量幅度(EVM)和峰值码域误差(PkCDE)的要求,介绍了这2个指标的基本概念和测试目的,分析了测试方法以及在TD-SCDMA系统中的具体应用,并利用测试实例验证了分析的正确性。

0I MATE TD数控机床机电联调技术

数控机床是机电一体化设备,详细介绍了0I MATE TD数控机床的机械部件和电气装置的联机调试,最终达到了优化机床性能的目的。

TDS-OFDM系统的功率调整技术研究

针对频域双PN序列填充的TDS-OFDM系统,提出了通过调整训练序列与帧体数据功率比值来降低系统误符号率的方法,并通过调整两者的功率比值对系统在多径衰落信道下的误符号率性能进行仿真。仿真结果表明选择合适的功率比值会带来信噪比的增益。

TD网络插损指标的测量系统分析

随着3G产业的迅速发展,3G基站的建设正在不断展开。如何协调室内外站点的信号、平衡室内外协同覆盖,使网络性能更加优化的问题,对提高TD-SCDMA网络质量有着至关重要的作用。针对室外基站的一些外协件(射频防雷器和腔体滤波器),从测试的角度出发,利用测量系统分析(MSA)方法进行了测试,通过对测量数据的详细分析,可为提高整机质量提供有力的支持。

厚度误差对THz-TDS的测量不确定度分析

阐述了基于菲涅尔公式的透射式太赫兹时域光谱系统提取样品光学常数的方法和原理,分析了样品厚度误差对THz-TDS测量不确定度的影响,并建立了相应的不确定度模型。进行太赫兹时域光谱测量实验,提取硅片在太赫兹波段的折射率,并计算了误差对提取样品折射率的影响。结果表明,随着厚度误差的增大,系统测量偏差也随之增大。对于较厚样品,相同厚度误差对其测量结果影响较小。样品厚度为994μm时,在厚度存在1μm的测量误差情况下,系统测量折射率的偏差为0.001 2,接近模型的仿真值。实验结果验证了厚度误差对测量不确定度模型的有效性,了解了厚度误差对系统测量结果的影响情况,对测量过程及结果分析具有一定的指导意义。

TD-SCDMA基站间空中同步系统的理论分析

讨论了采用空中自动分布式同步作为 TD- SCDMA系统基站间同步的可行方案 ,并给出了相应基站间定时残留误差的仿真结果。

TDS-OFDM系统高效并行MAP定时恢复算法

针对5G通信无线多媒体传输时域同步—正交频分复用(TDS-OFDM)系统中的符号定时恢复处理慢、性能距离理论界较大等问题,提出了一种并行MAP定时恢复算法。它通过拉格朗日插值,能较好地提取最佳采样点幅度与极性变化信息,检测定时误差。而且该算法采用了高效并行的最大后验概率(MAP)准则,高速完成定时误差估计。仿真表明,与现有MM算法、Gardner算法等相比,该算法估计精度较高,结果逼近MAP定时恢复算法,差距约2 d B。

TD-LTE-Advanced系统SRS信道估计误差性能研究

在实际TD-LTE-Advanced系统中,针对非理想SRS信道,结合SRS信道估计误差的理论,建立SRS信道估计误差的模型,深入研究SRS误差对MIMO的性能影响。仿真分析显示,存在SRS误差的实际信道对协作多点传输(CoMP)有较大影响,但是相对其他基于波束赋形的MIMO模式仍能保证较高的增益。文章的研究工作分析非理想信道估计对系统性能的影响,并评估非理想SRS信道下多种MIMO模式的系统性能。

基于改进优先经验回放的SAC算法路径规划

为解决智能体在复杂环境下的路径规划问题,提出一种基于改进优先经验回放方法的在线异策略深度强化学习算法模型.该模型采用柔性动作评价算法,通过设计智能体的状态空间、动作空间及奖励函数等实现智能体无碰撞路径规划;利用样本状态优先度与TD误差构建的样本混合优先度的离散度计算样本采样概率,进一步提出基于改进优先经验回放方法的柔性动作评价算法,提高模型学习效率.仿真实验结果验证了提出的改进柔性动作评价算法在各个参数配合下的有效性及改进优先经验回放方法在连续控制任务中模型学习效率的优越性.

一种用于TD-SCDMA系统下行链路单用户检测的快速算法

对于TD-SCDMA系统中的下行单用户检测技术,通过改变信道矩阵的形式,得到了一种低复杂度的实现方法。这种方法利用离散傅立叶变换而大大降低了矩阵求逆的运算量,可以应用于迫零数据块线性均衡单用户检测(ZF-BLE-SD)和最小均方误差数据块线性均衡单用户检测(MM SE-BLE-SD)等联合检测算法中。仿真结果也证明了这种算法的有效性。

基于时间差分误差的离线强化学习采样策略

离线强化学习利用预先收集的专家数据或其他经验数据,在不与环境交互的情况下离线学习动作策略.与在线强化学习相比,离线强化学习具有样本效率高、交互成本低的优势.强化学习中通常使用Q值估计函数或Q值估计网络表示状态-动作的价值.因无法通过与环境交互及时修正Q值估计误差,离线强化学习往往面临外推误差严重、样本利用率低的问题.为此,提出基于时间差分误差的离线强化学习采样方法,使用时间差分误差作为样本优先采样的优先度度量,通过使用优先采样和标准采样相结合的采样方式,提升离线强化学习的采样效率并缓解分布外误差问题.同时,在使用双Q值估计网络的基础上,根据目标网络的不同计算方法,比较了3种时间差分误差度量所对应的算法的性能.此外,为消除因使用优先经验回放机制的偏好采样产生的训练偏差,使用了重要性采样机制.通过在强化学习公测数据集—深度数据驱动强化学习数据集上与已有研究成果相比,基于时间差分误差的离线强化学习采样方法在最终性能、数据效率和训练稳定性上均有更好的表现.消融实验表明,优先采样和标准采样相结合的采样方式对算法性能的发挥至关重要,同时,使用最小化双目标Q值估计的时间差分误差优先度度量所对应的算法,在多个任务上具有最优的性能.基于时间差分误差的离线强化学习采样方法可与任何基于Q值估计的离线强化学习方法结合,具有性能稳定、实现简单、可扩展性强的特点.

基于二阶时序差分误差的双网络DQN算法

针对深度Q网络(DQN)算法因过估计导致收敛稳定性差的问题,在传统时序差分(TD)的基础上提出N阶TD误差的概念,设计基于二阶TD误差的双网络DQN算法。构造基于二阶TD误差的值函数更新公式,同时结合DQN算法建立双网络模型,得到两个同构的值函数网络分别用于表示先后两轮的值函数,协同更新网络参数,以提高DQN算法中值函数估计的稳定性。基于Open AI Gym平台的实验结果表明,在解决Mountain Car和Cart Pole问题方面,该算法较经典DQN算法具有更好的收敛稳定性。

基于CPLD的DDS与PLL信号源的设计

描述了直接数字频率合成(DDS)及锁相频率合成(PLL)的原理和特点,给出了一种利用Altera的CPLD器件(EPM570)设计DDS与PLL信号源的方法。设计电路经过测试,技术指标达到了预期要求,证明了基于CPLD的DDS+PLL信号源的可靠性和可行性。

SIR测量误差对内环功控影响情况的分析

在闭环功率控制中,终端对下行链路的测量是对基站进行下行功控的基础,测量的准确性和及时性将对网络性能造成直接的影响。文中首先分析测量误差和时延产生的原因和量级,进而基于线性的功控模型,给出了测量误差和功控误差的计算方法,并得到链路BER解析式,最后分析了网络容量受影响的情况。仿真结果表明,测量误差标准差大于4 dB,时延对功控误差没有影响;大于10 dB,时延对链路性能和系统容量没有影响。要保证系统有较好的质量和容量,应将测量误差标准差控制在1 dB以内。因此,加强对入网终端测量能力的把控,对于提升网络整体性能将有积极的意义。