基于深度强化学习的多自动导引车运动规划

为解决移动机器人仓储系统中的多自动导引车(AGV)无冲突运动规划问题,建立了Markov决策过程模型,提出一种新的基于深度Q网络(DQN)的求解方法。将AGV的位置作为输入信息,利用DQN估计该状态下采取每个动作所能获得的最大期望累计奖励,并采用经典的深度Q学习算法进行训练。算例计算结果表明,该方法可以有效克服AGV车队在运动中的碰撞问题,使AGV车队能够在无冲突的情况下完成货架搬运任务。与已有启发式算法相比,该方法求得的AGV运动规划方案所需要的平均最大完工时间更短。

认知诊断评估中Q矩阵理论及应用

Q矩阵是认知心理学与心理计量学结合的重要载体,Q矩阵在认知诊断中发挥着十分重要的作用。Q矩阵理论和应用研究近年来取得了重要进展。众多研究者从结构化到非结构化、属性二值到多值、简单到复杂模型、独立到一般结构、0-1到多级评分方面不断深入和拓展Q矩阵理论。Q矩阵理论也广泛应用于测验构念效度评价、计算机化自适应测验选题策略设计、Q矩阵学习和标定、认知诊断测验组卷等。与模型无关的Q矩阵理论和适合特定认知诊断模型下Q矩阵理论,以及最新Q矩阵理论的应用都值得深入研究。

基于Q学习的高超声速飞行器自抗扰控制研究

为实现高超声速飞行器姿态自抗扰控制的参数整定,提出一种模糊Q学习算法。首先,采用强化学习中的Q学习算法来实现姿态自抗扰控制参数的离线闭环快速自适应整定;然后,根据模糊控制的思路,将控制参数划分为不同区域,通过设定奖励,不断更新Q表;最后,将训练好的Q表用于飞行器的控制。仿真结果表明,相对于传统的线性自抗扰控制(linear active disturbance rejection control,LADRC)和滑模控制,基于Q学习的LADRC省去了人工调试参数的繁琐过程,且仍具有良好的跟踪效果。蒙特卡罗仿真测试结果验证了基于Q学习的LADRC的鲁棒性。

基于余弦相似度列置换的Q矩阵修正方法

国内外研究者已开发出多种有效的Q矩阵修正方法,但当Q矩阵错误率较高时,仍存在修正效果不佳的问题.该文将基于塔克一致性系数和余弦相似度的列置换方法融入4种Q矩阵修正方法(GDI、Hull、MLR-B和stepwise)中,并借助Q矩阵向量和元素正确率等指标来评价新方法的修正效果.蒙特卡罗(Monte Carlo)模拟研究结果表明:在各种条件组合下,4种Q矩阵修正方法经过列置换后的修正效果得到明显提升,特别是当Q矩阵错误率较高时效果更加显著.

调Q激光与手术切除治疗口腔黏膜黑斑后的复发率比较:一项回顾性队列研究

目的比较755 nm调Q激光与手术切除治疗口腔黏膜黑斑后的复发率。方法本研究已通过单位伦理委员会审查批准,并获得患者知情同意。采用回顾性队列研究设计,纳入2019年1月—2021年8月在上海交通大学医学院附属第九人民医院口腔黏膜病科门诊接受调Q激光或手术切除治疗的口腔黏膜黑斑患者,收集患者的一般资料、临床特征和随访病史。将治疗后1年复发率作为主要结局指标,长期不良反应发生率作为安全性评价指标,采用Kaplan⁃Meier法分析两组间的1年无复发率。结果本研究共纳入了57例患者,其中16例患者接受了手术切除治疗,41例患者接受了调Q激光治疗,两组人口统计学和临床特征基线无显著差异。手术切除组所有患者均未观察到口腔黏膜黑斑的复发(0%),而调Q激光组有12例(29.27%)患者出现复发,平均复发时间为治疗后6.08个月,复发与吸烟(P=1.000)、胃肠道息肉(P=1.000)、纵型黑甲(P=0.187)、家族史(P=0.552)、治疗次数(P=0.567)或是否多发(P=0.497)均无相关性。与手术切除相比,调Q激光治疗口腔黏膜黑斑1年复发的比值比为4.41,95%置信区间为1.27⁃15.24(P=0.020)。手术切除组中有3例患者(18.75%)报告损害切除处出现凹陷和疤痕,而调Q激光组没有患者报告长期不良反应(0%)(P=0.019)。结论与手术切除相比,调Q激光治疗口腔黏膜黑斑的优势在于长期不良反应率较低,但复发率相对较高,在治疗前需与患者沟通两种方法的优劣,以助临床决策。

朝鲜日据时期的“阿Q”——以金史良的《Q伯爵》为中心

日据时期的朝鲜作家金史良曾受同时代中国作家鲁迅的影响,并由此创作了《Q伯爵》。金史良《Q伯爵》中“Q伯爵”的原型正是源于鲁迅《阿Q正传》中的“阿Q”,这部作品是对《阿Q正传》加以改造与重塑的一部杰作。“Q伯爵”与“阿Q”在时代背景、身份、性格等方面具有高度相似性,同时,在人物形象等方面又存在着一定差异。其原因可以从时代背景、作家对人物赋予的期待以及与其他人物之间的关系等三个方面得到解释。

结合优势结构和最小目标Q值的深度强化学习导航算法

针对现有基于策略梯度的深度强化学习方法应用于办公室、走廊等室内复杂场景下的机器人导航时,存在训练时间长、学习效率低的问题,本文提出了一种结合优势结构和最小化目标Q值的深度强化学习导航算法.该算法将优势结构引入到基于策略梯度的深度强化学习算法中,以区分同一状态价值下的动作差异,提升学习效率,并且在多目标导航场景中,对状态价值进行单独估计,利用地图信息提供更准确的价值判断.同时,针对离散控制中缓解目标Q值过估计方法在强化学习主流的Actor-Critic框架下难以奏效,设计了基于高斯平滑的最小目标Q值方法,以减小过估计对训练的影响.实验结果表明本文算法能够有效加快学习速率,在单目标、多目标连续导航训练过程中,收敛速度上都优于柔性演员评论家算法(SAC),双延迟深度策略性梯度算法(TD3),深度确定性策略梯度算法(DDPG),并使移动机器人有效远离障碍物,训练得到的导航模型具备较好的泛化能力.

宏基因组二代测序技术辅助诊断中枢神经系统贝氏柯克斯体感染性血管炎1例

Q热是由贝氏柯克斯体感染引起的人畜共患病,临床表现多样且无特异性,贝氏柯克斯体颅内感染罕见,经常被误诊和漏诊,导致部分患者预后不佳。此文报告1例宏基因组二代测序(mNGS)技术辅助诊断的中枢神经系统贝氏柯克斯体颅内感染性血管炎病例,提示mNGS技术在Q热快速诊断中起到重要作用,通过早期诊断,精准治疗,明显改善患者预后。在此基础上回顾国内外相关文献,总结贝氏柯克斯体颅内感染的临床表现和诊治经验,供国内外同行参考。

基于深度强化学习和隐私保护的群智感知动态任务分配策略

在移动群智感知(Mobile Crowd Sensing,MCS)中,动态任务分配的结果对提高系统效率和确保数据质量至关重要。然而,现有的大部分研究在处理动态任务分配时,通常将其简化为二分匹配模型,该简化模型未充分考虑任务属性与工人属性对匹配结果的影响,同时忽视了工人位置隐私的保护问题。针对这些不足,文章提出一种基于深度强化学习和隐私保护的群智感知动态任务分配策略。该策略首先通过差分隐私技术为工人位置添加噪声,保护工人隐私;然后利用深度强化学习方法自适应地调整任务批量分配;最后使用基于工人任务执行能力阈值的贪婪算法计算最优策略下的平台总效用。在真实数据集上的实验结果表明,该策略在不同参数设置下均能保持优越的性能,同时有效地保护了工人的位置隐私。

基于改进Q学习算法和组合模型的超短期电力负荷预测

单一模型在进行超短期负荷预测时会因负荷波动而导致预测精度变差,针对此问题,提出一种基于深度学习算法的组合预测模型｡首先,采用变分模态分解对原始负荷序列进行分解,得到一系列的子序列。其次,分别采用双向长短期记忆网络和优化后的深度极限学习机对每个子序列进行预测。然后,利用改进Q学习算法对双向长短期记忆网络的预测结果和深度极限学习机的预测结果进行加权组合,得到每个子序列的预测结果。最后,将各个子序列的预测结果进行求和,得到最终的负荷预测结果。以某地真实负荷数据进行预测实验,结果表明所提预测模型较其他模型在超短期负荷预测中表现更佳,预测精度达到98%以上。

考虑行为克隆的深度强化学习股票交易策略

为提高股票投资的收益并降低风险,将模仿学习中的行为克隆思想引入深度强化学习框架中设计股票交易策略。在策略设计过程中,将对决DQN深度强化学习算法和行为克隆进行结合,使智能体在自主探索的同时模仿事先构造的投资专家的决策。选择不同行业的股票进行数值实验,说明了所设计的交易策略在年化收益率、夏普比率和卡玛比率等收益与风险指标上优于对比策略。研究结果表明:将模仿学习与深度强化学习相结合可以使智能体同时具有探索和模仿能力,从而提高模型的泛化能力和策略的适用性。

量子积分的Iyengar型不等式

从q积分的Newton-Leibniz型公式出发,建立了q积分的Iyengar型不等式,并将结果移植到q^(b)积分.针对二阶q可微函数和二阶q^(b)可微函数,利用q-Hayashi不等式,建立一个带有扰动项的量子Iyengar型不等式.

通信受限条件下多无人机协同环境覆盖路径规划

多无人机协同覆盖旨在有效分配多个无人机任务,实现给定区域的快速、高效全覆盖。然而,在现实应用场景中常常因为无人机之间距离超出通信范围,信号传输受阻,导致无人机之间的协作和信息交互面临极大挑战。为此,提出一种基于Deep Q Networks(DQN)的多无人机路径规划方法。采用通信中断率和最大通信中断时间两个指标来评价路径质量,通过构建与指标相关的奖励函数,实现了无人机团队的自主路径决策。仿真实验表明,所提方法在最短路径上可以与传统优化算法效果保持一致,权衡路径下在增加20%路径长度的情况下可以降低80%通信中断率,在全通信路径下则可以实现100%的全过程连接通信,因此可以根据不同的通信环境生成高效覆盖所有环境节点的路径。

血清CTRP1、CTRP5和CTRP7水平与冠心病的相关性研究

目的分析冠心病(CAD)患者血清补体C1q/肿瘤坏死因子相关蛋白(CTRP)1、CTRP5和CTRP7水平的变化,探讨各指标水平与CAD的相关性。方法选取在开滦总医院行冠状动脉造影的247例患者为研究对象,根据冠状动脉造影结果将其分为CAD组(200例)和非CAD组(47例),根据Gensini积分(GS积分)的中位数将CAD组分为轻度狭窄组(GS积分≤42,102例)和重度狭窄组(GS积分>42,98例)。比较各组临床资料和血清CTRP1、CTRP5和CTRP7水平,运用多因素Logistic回归分析确定CAD的独立危险因素,受试者工作特征(ROC)曲线分析CTRP1、CTRP5和CTRP7对CAD的诊断效能。结果CAD组血清CTRP1、CTRP5和CTRP7水平明显高于非CAD组(P<0.05),重度狭窄组血清CTRP1、CTRP5和CTRP7水平明显高于轻度狭窄组(P<0.05);多因素Logistic回归分析显示,CTRP1是CAD发生的独立危险因素(P<0.05)。ROC曲线分析显示,血清CTRP1、CTRP5和CTRP7预测CAD的曲线下面积分别为0.747、0.640和0.599,CTRP1的特异度较高(76.6%),CTRP5的灵敏度较高(81.0%)。结论CAD患者血清CTRP1、CTRP5和CTRP7水平升高,且其水平与CAD严重程度有关,检测三者水平有助于CAD的筛查和病情评估。

Q学习博弈论的WSNs混合覆盖漏洞恢复

针对恶劣环境下分布式无线传感器网络,为了降低成本与恢复能力,提出了一种Q学习博弈论的无线传感器网络混合覆盖漏洞恢复方法。首先设计了一种能够以分散、动态和自治的方式缩小覆盖差距的混合算法,该方法利用基于Q学习算法的博弈论概念,融合了节点重新定位和功率传输调整两种覆盖控制方案。对于所制定的潜在博弈论,传感器节点可以仅使用局部熟悉来恢复覆盖漏洞,从而减小覆盖间隙,每个传感器节点选择节点重新定位和调整感知范围。最后仿真结果表明,这里的提出的方法能够在存在连续随机覆盖漏洞条件下保持网络的整体覆盖。

基于CNN-LSTM的MIMO-OFDM信号盲调制识别算法

无线通信信号的盲调制识别技术作为非协作通信的核心技术之一,在提高频谱利用效率以及未知信号解调中起着至关重要的作用。另外,非协作通信中存在着电磁环境未知,噪声干扰严重,信噪比低等问题,因此在非协作通信下进行未知信号的盲调制识别较为困难。为解决非协作通信中多输入多输出正交频分复用(MultipleInput Multiple-Output Orthogonal Frequency Division Multiplexing, MIMO-OFDM)信号在低信噪比下子载波盲调制识别的问题,本文使用CNN(Convolutional Neural Network,CNN)网络与LSTM(Long Short-Term Memory,LSTM)网络构建一维CNN-LSTM网络进行盲调制识别。鉴于I/Q数据具有很强特征表达能力,该算法选取I/Q数据作为第一输入特征直接输入网络。同时为了弥补噪声对I/Q数据的干扰,本文还选用抗噪声能力强的循环谱作为另一输入特征,为进一步提升循环谱的抗噪声能力,本文对循环谱进行切片累加操作得到抗噪声性能更好的循环谱切片累加序列作为第二输入特征。仿真结果表明,本文所提方法可以在SNR=2 dB条件下实现对{BPSK,QPSK,8PSK,16QAM,32QAM,128QAM}调制方式的识别,并且识别精度达到98%。

基于LMDI和系统聚类的电力行业碳排放影响因素分析

电力行业作为直接使用一次能源的最大部门,是落实我国碳减排目标的重点行业。为厘清电力行业碳排放的主要驱动或抑制来源,论文构建了LMDI模型,从国家及省域两个层面对2006—2020年电力行业碳排放的影响因素进行了分解。研究结果表明,从国家及省域两个层面来看,经济发展效应均为电力碳排放的主要促进因素,火电燃料转化效应和产业结构效应均为电力碳排放的抑制因素,电源结构效应、工业电耗强度效应在全国层面为电力碳排放的抑制因素,但在各省份中的影响效果及程度各有不同。论文以主要抑制因素为变量,利用系统聚类法将30个省份划分为六大区域,针对各区域影响因素的作用效果提出了因地制宜的减排政策。

基于(p,q)-SzáSz-Mirakyan-Baskakov-Stancu算子的逼近性质

本文讨论(p,q)-SzáSz-Mirakyan-Baskakov算子的Stancu型推广.研究了新算子的加权逼近性质,并利用适当的连续模给出了收敛速度.同时,利用K函数的方法对(p,q)-SzáSz-Mirakyan-Baskakov算子进行了改进,讨论了其逼近性质.

基于FL-MADQN算法的NR-V2X车载通信频谱资源分配

针对5G新空口-车联网(New Radio-Vehicle to Everything,NR-V2X)场景下车对基础设施(Vehicle to Infrastructure,V2I)和车对车(Vehicle to Vehicle,V2V)共享上行通信链路的频谱资源分配问题,提出了一种联邦-多智能体深度Q网络(Federated Learning-Multi-Agent Deep Q Network,FL-MADQN)算法.该分布式算法中,每个车辆用户作为一个智能体,根据获取的本地信道状态信息,以网络信道容量最佳为目标函数,采用DQN算法训练学习本地网络模型.采用联邦学习加快以及稳定各智能体网络模型训练的收敛速度,即将各智能体的本地模型上传至基站进行聚合形成全局模型,再将全局模型下发至各智能体更新本地模型.仿真结果表明:与传统分布式多智能体DQN算法相比,所提出的方案具有更快的模型收敛速度,并且当车辆用户数增大时仍然保证V2V链路的通信效率以及V2I链路的信道容量.

用户知识问答转移行为研究:从问答社区到生成式AI

[研究目的]作为一类新兴应用,生成式AI在知识问答领域吸引了众多用户,这可能导致传统的知识问答社区用户流失,因此研究用户转移行为对提高知识问答社区用户粘性来说至关重要。[研究方法]基于PPM(推-拉-锚)模型,整合认知和情感体验因素,研究了用户的知识问答转移行为。对收集的483份有效数据采用混合方法包括结构方程模型(SEM)和模糊集定性比较分析(fsQCA)进行分析。[研究结论]研究结果发现,转移意愿受推力因素(信息过载、社区倦怠)、拉力因素(感知拟人度、感知准确度、感知可信度、沉浸体验)和锚定因素(社会影响)的综合影响。fsQCA识别出了三条导致转移意愿的主要路径。研究结果启示问答社区需降低信息过载,缓解用户的社区倦怠,从而实现用户保持和平台可持续发展。