基于输出反馈逆强化Q学习的线性二次型最优控制方法

本文针对模型参数未知且状态不可测的线性离散系统的线性二次型最优控制问题,提出了一种数据驱动的基于输出反馈逆强化Q学习的最优控制方法,利用系统的输入输出数据同时确定合适的二次型性能指标权重和最优控制律,使得系统运行轨迹与参考轨迹一致.本文首先提出一个参数矫正方程并与逆最优控制相结合得到一种基于模型的逆强化学习最优控制框架,实现输出反馈控制律参数和性能指标加权项的矫正.在此基础上,本文引入强化Q学习思想提出了数据驱动的输出反馈逆强化Q学习最优控制方法,无需知道系统模型参数,仅利用历史输入输出数据对输出反馈控制律参数和性能指标加权项进行求解.理论分析与仿真实验验证了所提方法的有效性.

考虑多粒度反馈的多轮对话强化学习推荐算法

多轮对话推荐系统(CRS)以交互的方式获取用户的实时信息,相较于基于协同过滤等的传统推荐方法能够取得更好的推荐效果。然而现有的CRS存在用户偏好捕获不够准确、对话轮数要求过多以及推荐时机不恰当等问题。针对这些问题,提出一种基于深度强化学习且考虑用户多粒度反馈信息的对话推荐算法。不同于现有的CRS,所提算法在每轮对话中同时考虑用户对商品本身以及更细粒度的商品属性的反馈,然后根据收集的多粒度反馈对用户、商品和商品属性特征进行在线更新,并借助深度Q学习网络(DQN)算法分析每轮对话后的环境状态,从而帮助系统作出较为恰当合理的决策动作,使它能够在比较少的对话轮次的情况下分析用户购买商品的原因,更全面地挖掘用户的实时偏好。与对话路径推理(SCPR)算法相比,在Last. fm真实数据集上,算法的15轮推荐成功率提升了46.5%,15轮推荐轮次上缩短了0.314轮;在Yelp真实数据集上,算法保持了相同水平的推荐成功率,但在15轮推荐轮次上缩短了0.51轮。

预测飞行路径透视显示方法研究

为实现圆形预测飞行路径透视显示方法在纵向上满足"以飞行员为中心"的要求,同时克服扰动灵敏度大的缺点,采用了基于q反馈的改进型透视路径显示方法。将圆形预测飞行路径显示方法应用于纵向通道的设计,指出了控制系统—飞机本体在中频段不满足K/s特性,并且较大的γ反馈也会导致系统抗干扰性差,不满足人工控制理论的相关要求。为了改善系统的K/s特性和抗干扰性,采用q反馈回路替代原来的γ反馈回路。对比分析和仿真表明,改进型比传统型的显示方法有效地克服了纵向圆形预测显示方法扰动灵敏度大的缺点,极大地改善了人机闭环系统的性能。

基于无偏Q值反馈的社区划分算法

在分析现有社区划分算法的基础上,针对当前算法Q值有偏及权值未体现等缺陷,提出了一种基于无偏Q值反馈的社区划分算法.该算法首先利用传递权值计算出节点间的相似度;然后,采用随机游走策略确定最优社区数,以解决现有划分算法中Q值有偏的问题;最后,在最优社区数确定的情况下,利用划分结果评价Q值反馈更新信息素矩阵以驱动后续的划分,从而达到快速收敛的目的.针对计算机构造的数据集以及实际网络的实验分析结果表明,与现有算法相比,该算法在社区划分方面具有更高的准确率及更快的收敛速度,能够达到社区划分以及核心节点发现的目的,可被推广应用至移动社会网络模型的建立中.

基于用户反馈的智能合作过滤模型的研究

为了提供给用户更准确的信息,提出基于用户反馈的智能合作过滤模型和一种基于用户兴趣的动态Q学习算法,并建立用户兴趣模型.通过隐式反馈和显式反馈这2种反馈方式更新用户模型并实现合作过滤.实验结果表明,在输入相同查询提问情况下ACFM在预测用户兴趣的效果和推荐搜索信息的查全率和查准率方面比传统的搜索引擎有明显改善.

恒流功率放大器及其应用

文章介绍了恒流功率放大器的几种构成。结合实际应用,分析了其稳定性处理,采取的主要手段为交替反馈和Q值降低法。简单介绍了恒流功率放大器在实际电路系统中的应用。

网上异步答疑的反馈策略之探讨

异步答疑与同步答疑的区别在于时间的开放性,“异步”克服了远程教育由于师生时空分离导致的教与学分离的时间限制。为学生提供及时的反馈是保证答疑成功,维持学生学习动机的首要条件。然而在实际的教学过程中,远程教师如何克服“工作量大,时间紧”与“提供及时反馈”之间的矛盾?本文通过案例研究分析了学生参与网上异步答疑的时间分布情况,了解学生上网的时间特征,从“整体规划”和“时间管理”两个角度为教师提出反馈策略,以期为进一步完善学习支持服务管理机制提供参考。

基于状态聚类的多站点CSPS系统的协同控制方法

单站点传送带给料加工站(Conveyor-serviced production station,CSPS)系统中,可运用强化学习对状态–行动空间进行有效探索,以搜索近似最优的前视距离控制策略.但是多站点CSPS系统的协同控制问题中,系统状态空间的大小会随着站点个数的增加和缓存库容量的增加而成指数形式(或几何级数)增长,从而导致维数灾,影响学习算法的收敛速度和优化效果.为此,本文在站点局域信息交互机制的基础上引入状态聚类的方法,以减小每个站点学习空间的大小和复杂性.首先,将多个站点看作相对独立的学习主体,且各自仅考虑邻近下游站点的缓存库的状态并纳入其性能值学习过程;其次,将原状态空间划分成多个不相交的子集,每个子集用一个抽象状态表示,然后,建立基于状态聚类的多站点反馈式Q学习算法.通过该方法,可在抽象状态空间上对各站点的前视距离策略进行优化学习,以寻求整个系统的生产率最大.仿真实验结果说明,与一般的多站点反馈式Q学习方法相比,基于状态聚类的多站点反馈式Q学习方法不仅具有收敛速度快的优点,而且还在一定程度上提高了系统生产率.

大功率调制器的固态反馈型de-Q充电技术

主要介绍一种大功率高压线型脉冲调制器固态反馈型de-Q电路的设计过程,对其工作原理进行了介绍,给出了这种电路可靠工作的必要条件,对有关公式进行了推导,最终给出了应用实例的工作波形与结果。

风电机组独立变桨距控制策略研究

为了减小叶片不平衡载荷造成的风电机组疲劳,运用空气动力学原理对风轮扫掠面内风速受风切效应和塔影效应影响所产生的俯仰弯矩和偏航弯矩等附加载荷进行分析,提出了基于载荷反馈的风电机组独立变桨距控制策略。通过d-q坐标变换,将三相旋转坐标系转化为两相静止坐标系进行控制。通过Bladed半实物仿真平台验证该控制策略的合理性和可行性。

P-Q模式固态变压器的工作特性分析及实现

将未来可再生电能传输和管理(FREEDM)环网中固态变压器(SST)的工作模式分为VS模式和P-Q模式。根据FREEDM环网的运行要求,提出P-Q模式SST的配置原则和各环节的工作特性要求,输入级采用输出电流前馈控制降低SST直流侧电压的波动,输出级采用滤波电感电流反馈控制提高负载抗扰动性。所设计的SST在负载功率因数改变、容量突变和分布式电源切换等特殊运行工况下,均能保持直流电压和交流电压稳定,且保持输入侧单位功率因数运行。各级电压、电流都具有良好的动态响应。此外,SST还具有抗击负载扰动的良好性能,满足FREEDM环网对P-Q模式下SST的整体性能要求。

基于Q学习的新闻图像检索方法

针对新闻图像检索的应用特点,提出了一种多反馈、合作型的图像检索方法。通过构造动态的Q表,保存图像的折算累计反馈;设计从探索型逐渐过渡到利用型的图像选择策略;在方差分析的基础上,设计了多反馈综合方法,全面地获取用户检索需求,从而构造了基于Q学习的相关反馈检索算法。实验结果表明了该算法是有效的,并具有更高的性能。

微弱电离电流测量方法的比较

为了在实验中可以对静电计直接测量法和高增益负反馈法及汤森零位补偿法更好地使用,用这3种方法分别对监督源中电离室的电离电流进行了多次重复性测量,测量结果显示,静电计直接测量法对微弱电流的测量不确定度较大,而后两种绝对测量方法的相对不确定度则较小,所以在测量微弱电离电流时,对于不同的不确定度要求可根据实际情况选择合适的方法进行测量.

基于PID反馈的高Q值加速度计闭环检测电路

高Q值加速度计由于能够很好地降低热机械布朗噪声,被广泛应用于高精度低噪声检测领域,相应的闭环接口电路却成为其应用的困难之一。通过分析传感器的器件结构和动态响应,提出了一种基于PID反馈的闭环检测电路来克服传感器因高Q值造成的不利影响,改善系统的频率特性和动态响应。根据设计原理设计和测试了基于PCB板级的闭环检测电路。电路的测试结果表明:该电路有效拓宽了可应用频带,增加了系统的线性度,并提高了系统的动态响应时间。

中流量PM_(2.5)采样切割器采样流量的控制

由于环境监测需要分析得到比较精确的空气中细颗粒物的含量,因此要求采样切割器的空气采样速度保持稳定,即保持采样气体流速的恒定。设计了流量采样模型,用导压管与差压变送器连接,通过对静压室的静压力与采样流量的关系曲线进行标定,采用静压反馈法控制采样流量。

反馈补偿对高Q值加速度计动态性能的影响

高Q值MEMS电容式加速度计因具有很小的机械噪声,满足于高精度测量的需要,但欠阻尼的传感器系统动态性能较差,因此需要在闭环检测电路中通过补偿反馈模块施加电学阻尼,以降低系统Q值,改善系统的动态响应。首先通过MATLAB/SIMULINK仿真建立了带有延时的系统模型,进一步结合实际PCB板的测量,分析了不同反馈补偿参数下的阶跃响应和幅频响应曲线。实验结果表明,合适的反馈补偿参数能有效地降低系统Q值,改善动态响应。最后得出了该电容式加速度计在闭环系统下的较优比例微分参数的选择策略。

Q增强型氢钟环路相位与腔Q值稳定技术研究

简单介绍了小型氢原子钟的分类以及Q增强型氢钟的原理,设计了一种具有腔Q值及反馈环路相位稳定特性的Q增强型氢钟的正反馈电路,并给出实现方案以及实验数据,数据表明了该系统方案的可行性。提出了以数字信号处理器(DSP)为主的新的方案。

基于d-q坐标系下LCL型光伏并网逆变器的PI+状态反馈控制

在单相LCL型光伏并网逆变器的数字控制中,需要考虑LCL有源阻尼与控制延时补偿。为此,提出一种基于d-q坐标系下单相LCL型光伏并网逆变器的PI+状态反馈控制策略;将延时当作增广状态,构造离散增广状态空间,设计带控制延时估计的状态观测器;基于观测器的状态反馈,实现LCL的有源阻尼,补偿正交信号发生器与坐标变换引入的控制延时;同时,在状态反馈的外环设计PI控制器,改善系统的控制性能。最后通过仿真与实验,验证PI+状态反馈控制策略的可行性。

基于线性反馈控制的分数阶混沌系统的Q-S同步研究

基于线性反馈控制和分数阶微分系统稳定性理论,研究了分数阶混沌系统的Q-S同步;首先给出了分数阶混沌系统Q-S同步的概念,然后以分数阶Liu系统为例,考虑了在给定状态观测函数情况下的分数阶Liu系统的Q-S同步;与现有文献中的其他控制策略相比,本文所采取的控制方法形式简单,成本低,易于实现;理论推导和数值仿真均证实了该方法的有效性。

心肺复苏质量反馈装置除颤监护仪在精准心肺复苏技能教学中的应用

目的 评价应用带心肺复苏质量（Q-CPR）反馈装置除颤监护仪培训医学生精准心肺复苏技能的成效.方法 以中山大学2011级八年制临床医学专业72名学生为研究对象.将其分为两组,实验组32名学生和对照组40名学生.对实验组学生采用Q-CPR反馈装置除颤监护仪进行心肺复苏培训,对照组采用常规方法培训.比较两组培训前后理论测试、操作技能考核成绩并采用教学效果评价调查表评估教学满意度.结果 两组学生培训后,实验组学生对培训效果的主观评价满意度较对照组高;两组学生的心肺复苏按压、通气及电除颤质量较培训前成绩明显提高,且实验组按压质量较对照组好,差异具有统计学意义（P＜0.05）.结论 带心肺复苏质量反馈装置除颤监护仪有望成为医学教育中提高心肺复苏培训成效的有益工具.