基于改进DQN算法的应召搜潜无人水面艇路径规划方法

针对应召反潜中无人水面艇航向和航速机动的情形,提出一种基于改进深度Q学习(Deep Q-learning,DQN)算法的无人艇路径规划方法。结合应召搜潜模型,引入改进的深度强化学习(Improved-DQN,I-DQN)算法,通过联合调整无人水面艇(Unmanned Surface Vessel,USV)的动作空间、动作选择策略和奖励等,获取一条最优路径。算法采用时变动态贪婪策略,根据环境和神经网络的学习效果自适应调整USV动作选择,提高全局搜索能力并避免陷入局部最优解;结合USV所处的障碍物环境和当前位置设置分段非线性奖惩函数,保证不避碰的同时提升算法收敛速度;增加贝塞尔算法对路径平滑处理。仿真结果表明,在相同环境下新方法规划效果优于DQN算法、A^(*)算法和人工势场算法,具有更好的稳定性、收敛性和安全性。

认知诊断评估中Q矩阵理论及应用

Q矩阵是认知心理学与心理计量学结合的重要载体,Q矩阵在认知诊断中发挥着十分重要的作用。Q矩阵理论和应用研究近年来取得了重要进展。众多研究者从结构化到非结构化、属性二值到多值、简单到复杂模型、独立到一般结构、0-1到多级评分方面不断深入和拓展Q矩阵理论。Q矩阵理论也广泛应用于测验构念效度评价、计算机化自适应测验选题策略设计、Q矩阵学习和标定、认知诊断测验组卷等。与模型无关的Q矩阵理论和适合特定认知诊断模型下Q矩阵理论,以及最新Q矩阵理论的应用都值得深入研究。

一种基于DQN的去中心化优先级卸载策略

边缘计算(EC)可在网络边缘为用户提供低延迟、高响应的服务。因此,资源利用率高、时延低的任务卸载策略成为研究的热门方向。但大部分现有的任务卸载研究是基于中心化的架构,通过中心化设施制定卸载策略并进行资源调度,容易受到单点故障的影响,且会产生较多的能耗和较高的时延。针对以上问题,提出一种基于深度Q网络(DQN)的去中心化优先级(DP-DQN)卸载策略。首先,设置通信矩阵模拟现实中边缘服务器有限的通信状态;其次,通过对任务设定优先级,使任务可以在不同边缘服务器之间跳转,保证各边缘服务器均可以自主制定卸载策略,完成任务卸载的去中心化;最后,根据任务的跳转次数为任务分配更多的计算资源,提高资源利用效率和优化效果。为了验证所提策略的有效性,针对不同DQN下参数的收敛性能进行了研究对比,实验结果表明,在不同测试情景下,DP-DQN的性能均优于本地算法、完全贪婪算法和多目标任务卸载算法,性能可提升约11%~19%。

La-Ce稀土对Q345D钢夹杂物和冲击性能的影响

通过现场试验,分析了La-Ce稀土处理对Q345D结构钢夹杂物、连铸可浇性和钢种性能的影响。结果表明,RE在Q345D结构钢中的合金收得率为21.5%;与未添加RE的炉次相比,脱硫率提高了37.5%,单位夹杂物密度从80.16个/mm^(2),降低至60.78个/mm^(2);La-Ce稀土处理前钢液中夹杂物主要是MgO-Al_(2)O_(3)-CaO复合夹杂,La-Ce稀土处理对小尺寸(D≤5μm)夹杂物的改性作用较为明显,小尺寸夹杂物改性为(La-Ce-S)和(La-Ce-Al-S-O)稀土类夹杂物;La-Ce稀土处理可以明显降低钢中MnS类夹杂物的纵横比,使MnS类夹杂物在轧制后的形貌更接近椭圆形,而没有长线形,这是Q345D结构钢横向冲击功提高20%的主要原因。

朝鲜日据时期的“阿Q”——以金史良的《Q伯爵》为中心

日据时期的朝鲜作家金史良曾受同时代中国作家鲁迅的影响,并由此创作了《Q伯爵》。金史良《Q伯爵》中“Q伯爵”的原型正是源于鲁迅《阿Q正传》中的“阿Q”,这部作品是对《阿Q正传》加以改造与重塑的一部杰作。“Q伯爵”与“阿Q”在时代背景、身份、性格等方面具有高度相似性,同时,在人物形象等方面又存在着一定差异。其原因可以从时代背景、作家对人物赋予的期待以及与其他人物之间的关系等三个方面得到解释。

基于Q学习的高超声速飞行器自抗扰控制研究

为实现高超声速飞行器姿态自抗扰控制的参数整定,提出一种模糊Q学习算法。首先,采用强化学习中的Q学习算法来实现姿态自抗扰控制参数的离线闭环快速自适应整定;然后,根据模糊控制的思路,将控制参数划分为不同区域,通过设定奖励,不断更新Q表;最后,将训练好的Q表用于飞行器的控制。仿真结果表明,相对于传统的线性自抗扰控制(linear active disturbance rejection control,LADRC)和滑模控制,基于Q学习的LADRC省去了人工调试参数的繁琐过程,且仍具有良好的跟踪效果。蒙特卡罗仿真测试结果验证了基于Q学习的LADRC的鲁棒性。

基于分数阶Zener模型的VTI黏弹性介质频变Q效应数值模拟

黏弹性是地球介质的基本属性.地震波在黏弹性介质中传播会发生振幅衰减和速度频散,导致能量和走时出现变化,影响地震资料的准确成像及解释.因此,研究地震波在黏弹性介质中的传播规律具有重要意义.当前,主要利用常Q(不随频率变化)模型(CQM)表征地震波在地球介质中的传播规律,与高温、高压或含流体介质中观测到的Q随频率变化规律不符.基于分数阶Zener模型(FZM),通过改变分数阶大小,本文研究了Q的频变特性随分数阶的变化规律.考虑速度和Q各向异性,推导了VTI介质的FZM黏弹性波方程,提出了VTI介质的频变Q效应数值模拟方法.数值算例表明:当Q随频率变化较小时,FZM与CQM方法的结果相似;当Q随频率变化剧烈时,FZM与CQM方法的模拟结果差异较大.

基于自适应短时傅里叶变换的品质因子Q值估算方法

品质因子Q是描述地下介质对地震波吸收衰减强弱程度的参数,同时也是地层含油气性的重要标志。在地震资料Q估算中,常用的方法是短时傅里叶变换方法,当窗函数被选定以后,其时频分辨率就固定了。针对该问题,提出一种自适应窗短时傅里叶变换的方法,以获得更准确的瞬时中心频率,并利用峰值频移法来估算品质因子Q。首先,利用固定窗长的短时傅里叶变换来提取信号的瞬时中心频率作为初始频率;然后,根据初始频率自适应计算不同频率的窗长,并利用自适应窗长短时傅里叶变换来求取瞬时中心频率;最后,结合峰值频移法得到高分辨率的品质因子Q值。利用合成数据和实际数据进行了测试,结果表明,相比于固定时窗短时傅里叶变换方法,自适应短时傅里叶变换方法具有更好的时间和频率分辨率,可以获得更高分辨率的品质因子Q值。该结果可以为地下介质的研究提供更准确、可靠的工具,有助于更好地了解地下结构和油气资源分布情况。

基于UHPLC-Q-Exactive Orbitrap HRMS技术结合化学计量学方法的不同干燥处理杜仲叶成分分析

采用基于液质联用的非靶向代谢组学技术结合化学计量学数据自动解析软件AntDAS-LCHRMS分析了4种不同干燥处理(冻干、热泵烘干、电热烘干、晒干)杜仲叶样本中的化合物。杜仲叶样本数据由超高效液相色谱-四极杆-静电场轨道阱高分辨质谱(UHPLC-Q-Exactive Orbitrap HRMS)分别在正、负离子模式下进行采集,经AntDAS-LCHRMS软件解析,共鉴定出71种差异性化合物,经标准品验证确定40种化合物,包括环烯醚萜类、有机酸类、黄酮类、氨基酸类、核苷类、维生素类等9类物质。其中,正、负离子模式下均可识别并验证的化合物有车叶草苷、绿原酸、芦丁、异槲皮苷、车叶草苷酸、京尼平苷等25种化合物。层次聚类分析(HCA)及主成分分析(PCA)结果均显示,相同处理的杜仲叶样本各自聚成一类,不同处理的杜仲叶样本可明显区分。热图分析进一步揭示了不同干燥处理杜仲叶样本中差异性化合物的含量变化。晒干处理样本中苯丙氨酸及色氨酸等氨基酸类物质的水平较高;冻干及热泵烘干处理样本中有机酸类、环烯醚萜类、糖类等含量较高;电热烘干样本中核苷类、黄酮类物质的含量较高;黄酮类物质在冻干、热泵烘干及晒干样本中差异较小。研究结果为不同干燥处理杜仲叶的成分分析、品质评价及其开发应用提供了科学依据,也可为其他复杂药用植物体系的化学成分分析提供参考。

调Q激光与手术切除治疗口腔黏膜黑斑后的复发率比较:一项回顾性队列研究

目的比较755 nm调Q激光与手术切除治疗口腔黏膜黑斑后的复发率。方法本研究已通过单位伦理委员会审查批准,并获得患者知情同意。采用回顾性队列研究设计,纳入2019年1月—2021年8月在上海交通大学医学院附属第九人民医院口腔黏膜病科门诊接受调Q激光或手术切除治疗的口腔黏膜黑斑患者,收集患者的一般资料、临床特征和随访病史。将治疗后1年复发率作为主要结局指标,长期不良反应发生率作为安全性评价指标,采用Kaplan⁃Meier法分析两组间的1年无复发率。结果本研究共纳入了57例患者,其中16例患者接受了手术切除治疗,41例患者接受了调Q激光治疗,两组人口统计学和临床特征基线无显著差异。手术切除组所有患者均未观察到口腔黏膜黑斑的复发(0%),而调Q激光组有12例(29.27%)患者出现复发,平均复发时间为治疗后6.08个月,复发与吸烟(P=1.000)、胃肠道息肉(P=1.000)、纵型黑甲(P=0.187)、家族史(P=0.552)、治疗次数(P=0.567)或是否多发(P=0.497)均无相关性。与手术切除相比,调Q激光治疗口腔黏膜黑斑1年复发的比值比为4.41,95%置信区间为1.27⁃15.24(P=0.020)。手术切除组中有3例患者(18.75%)报告损害切除处出现凹陷和疤痕,而调Q激光组没有患者报告长期不良反应(0%)(P=0.019)。结论与手术切除相比,调Q激光治疗口腔黏膜黑斑的优势在于长期不良反应率较低,但复发率相对较高,在治疗前需与患者沟通两种方法的优劣,以助临床决策。

基于余弦相似度列置换的Q矩阵修正方法

国内外研究者已开发出多种有效的Q矩阵修正方法,但当Q矩阵错误率较高时,仍存在修正效果不佳的问题.该文将基于塔克一致性系数和余弦相似度的列置换方法融入4种Q矩阵修正方法(GDI、Hull、MLR-B和stepwise)中,并借助Q矩阵向量和元素正确率等指标来评价新方法的修正效果.蒙特卡罗(Monte Carlo)模拟研究结果表明:在各种条件组合下,4种Q矩阵修正方法经过列置换后的修正效果得到明显提升,特别是当Q矩阵错误率较高时效果更加显著.

TTI介质中的纯qP波衰减补偿最小二乘逆时偏移成像方法

为有效提高衰减各向异性介质中地震波成像剖面的质量,实现稳定的TTI介质中的衰减补偿成像,提出一种基于黏声TTI纯qP波方程的最小二乘逆时偏移方法。在最小二乘偏移框架的基础上,推导相应的Born正演方程、伴随算子和梯度敏感核。由于伴随算子是衰减的,可以避免衰减补偿引起的数值不稳定性。通过同时考虑各向异性和吸收衰减的影响,衰减补偿最小二乘逆时偏移可以提供高分辨率、更少假象和振幅均衡的偏移结果。最后,通过模型试验和实际数据的测试及分析,验证了新方法的可行性和适用性。结果表明,黏声TTI最小二乘逆时偏移成像在衰减区域可进行高质量成像,丰富成像剖面中的波数成分,拓宽成像剖面中的频带宽度,提高地下介质成像剖面的分辨率及成像精度。

基于规则与Q学习的作业车间动态调度算法

为了在特定的作业条件下找到最优调度规则,提高调度规则在不确定动态条件下的自适应、自寻优能力,提出一种调度规则与Q学习算法集成的作业车间动态调度算法。考虑车间中作业随机到达的动态情况,以最小化最大延迟时间为调度目标,在Q学习框架下设计了新的状态特征、奖励机制以及以Boltzmann采样函数为主体的搜索策略,提高了算法探索和利用规则的能力;以最短加工时间优先和最早交货期等经典调度规则构成动作集,继承了调度规则的可解释性,使智能体能实时处理随机到达的作业任务,通过持续学习和迭代更新获得不同作业场景下的最优调度规则。仿真研究和对比测试验证了所提算法的优越性。

结构拓扑优化的Q学习-元胞方法研究

传统的拓扑优化算法均基于灵敏度分析的方式求解,如渐进结构优化法(Evolutionary Structural Optimization, ESO)和变密度法(Solid Isotropic Material with Penalization, SIMP)等,灵敏度分析依赖于严谨的数学模型,结果可信度高,但面对不同的结构和约束条件都需要反复重新推导单元灵敏度,对使用人员的数学能力有较高要求,而且也导致了收敛速度慢、迭代步数多的问题。针对现有优化方法中存在的缺陷,结合强化学习Q学习理论和元胞自动机原理,提出一种新的拓扑优化方法:Q学习-元胞法(Q-learning-Cellular Automaton, QCA),尝试为工程构件的优化设计提供一种新思路。这种方法以有限元单元作为元胞,将所有元胞的智能行为集成为一个Q-learning智能体。训练过程中,各个元胞首先完成对自身环境的感知,然后调用智能体进行决策并通过环境交互得到反馈,智能体也借此得到大量数据来学习更新,整个过程不涉及数学模型推导,通过智能体和元胞的不断探索即可完成优化。在此基础上,探讨元胞的选择及其邻域和状态的描述方式,针对元胞的动作空间及收益函数进行比选,进而编制相关拓扑优化软件。优化算例表明,QCA方法优化后的拓扑构型与传统优化方法的构型基本一致,迭代步数较SIMP法降低了64%,且柔顺度更低。Q学习-元胞法在结构拓扑优化中具备良好的可行性,计算效率高且具有迁移优化能力,在结构拓扑优化领域极具潜力。

结合优势结构和最小目标Q值的深度强化学习导航算法

针对现有基于策略梯度的深度强化学习方法应用于办公室、走廊等室内复杂场景下的机器人导航时,存在训练时间长、学习效率低的问题,本文提出了一种结合优势结构和最小化目标Q值的深度强化学习导航算法.该算法将优势结构引入到基于策略梯度的深度强化学习算法中,以区分同一状态价值下的动作差异,提升学习效率,并且在多目标导航场景中,对状态价值进行单独估计,利用地图信息提供更准确的价值判断.同时,针对离散控制中缓解目标Q值过估计方法在强化学习主流的Actor-Critic框架下难以奏效,设计了基于高斯平滑的最小目标Q值方法,以减小过估计对训练的影响.实验结果表明本文算法能够有效加快学习速率,在单目标、多目标连续导航训练过程中,收敛速度上都优于柔性演员评论家算法(SAC),双延迟深度策略性梯度算法(TD3),深度确定性策略梯度算法(DDPG),并使移动机器人有效远离障碍物,训练得到的导航模型具备较好的泛化能力.

6例急性Q热的临床特征分析

目的分析急性Q热的流行病学、临床特征和诊治方法,以期为该病诊治提供参考。方法收集2022年5月至2023年8月南通市第三人民医院确诊的6例急性Q热患者的流行病学史、既往病史、临床表现、实验室检查、宏基因组学二代测序(metagenomic next-generation sequencing,mNGS)结果、影像学表现及诊治过程等资料,对其进行回顾性分析。结果6例急性Q热患者均为男性,年龄为45~59岁。4例患者发病前有多次野外钓鱼史,1例发病前有掏鸟窝史,1例居住地周围有羊群。发病时间呈全年散发。所有患者临床表现均有高热,热型以弛张热为主(5例),其他主要伴随症状有乏力(6例)、畏寒(5例)、肌肉酸痛(5例)、纳差(4例)。实验室检查中2例患者外周血白细胞计数减少,3例患者血小板计数减少;所有患者谷丙转氨酶、谷草转氨酶和乳酸脱氢酶均升高,4例患者肌酸激酶升高;所有患者C反应蛋白、降钙素原、铁蛋白、D-二聚体均明显升高;3例患者红细胞沉降率轻度升高。6例患者均行胸部CT检查,未见肺炎;5例患者行心脏超声检查,未见心内膜炎。6例患者的血液或骨髓标本均通过m NGS检出贝纳柯克斯体(Coxiella burnetii,Cb),确诊为急性Q热后,给予多西环素单药(2例)或多西环素联合莫西沙星(4例)治疗,所有患者好转出院。结论急性Q热的临床表现、影像学及实验室检测缺乏特异性,部分患者缺乏明确的流行病学史,对可疑患者行mNGS可以快速明确诊断,多西环素、莫西沙星治疗效果明显。

基于语料库的《阿Q正传》两英译本翻译风格之译者行为批评

本文基于自建的《阿Q正传》原文本与华人离散译者王际真英译本、英语母语译者威廉·莱尔英译本的平行语料库,以译者行为批评理论为依据,以计量风格学和语料库翻译学的相关风格分析参数为参照,从词汇、句法和语篇三个层面对比分析了上述两英译本的翻译风格。研究发现,在“求真—务实”译者行为连续统评价模式观照下,王译本更偏向于“求真”,而莱尔译本则更注重“务实”。两译本呈现的不同翻译风格和译者行为与译者所处的社会语境、译介动机和文化身份存在关联性。

基于D3QN的火力方案优选方法

针对在多类弹药协同攻击地面工事类目标任务中火力方案优选效率低的问题,提出一种基于双层决斗DQN(dueling double deep Q network,D3QN)的火力方案优选方法。该方法将打击过程建模为马尔科夫决策过程(Markov decision processes,MDP),设计其状态空间和动作空间,设计综合奖励函数激励火力方案生成策略优化,使智能体通过强化学习框架对策略进行自主训练。仿真实验结果表明,该方法对地面工事类目标的火力方案进行决策,相较于传统启发式智能算法能够获得较优的火力方案,其计算效率和结果的稳定性相较于传统深度强化学习算法具有更明显的优势。

基于改进Q学习算法和组合模型的超短期电力负荷预测

单一模型在进行超短期负荷预测时会因负荷波动而导致预测精度变差,针对此问题,提出一种基于深度学习算法的组合预测模型｡首先,采用变分模态分解对原始负荷序列进行分解,得到一系列的子序列。其次,分别采用双向长短期记忆网络和优化后的深度极限学习机对每个子序列进行预测。然后,利用改进Q学习算法对双向长短期记忆网络的预测结果和深度极限学习机的预测结果进行加权组合,得到每个子序列的预测结果。最后,将各个子序列的预测结果进行求和,得到最终的负荷预测结果。以某地真实负荷数据进行预测实验,结果表明所提预测模型较其他模型在超短期负荷预测中表现更佳,预测精度达到98%以上。

血清补体C3、C4及抗C1q抗体水平与系统性红斑狼疮患者病情的相关性

目的探讨血清补体C3、C4及抗C1q抗体水平与系统性红斑狼疮(SLE)患者病情的相关性。方法收集105例SLE患者纳入病例组,并选择65例健康人员作为对照组。检测并比较两组血清补体C3、C4和抗C1q抗体及肾功能指标;采用系统性红斑狼疮疾病活动指数(SLEDAI)评估患者的病情活动度,比较不同疾病活动度患者血清补体C3、C4和C1q抗体水平;分析血清补体C3、C4和抗C1q抗体与肾功能及病情活动度的相关性。采用Logistic多因素回归分析影响SLE患者病情变化的危险因素。结果病例组血清肌酐(Scr)(83.61±10.71)μmol/L、尿素氮(BUN)(6.45±1.47)mmol/L、β_(2)-微球蛋白(β_(2)-MG)(6.23±1.42)mg/L均明显高于对照组的(42.06±7.39)μmol/L、(3.02±1.25)mmol/L、(1.65±0.58)mg/L,肾小球滤过率(eGFR)(80.56±14.28)ml/min明显低于对照组的(118.19±15.34)ml/min,差异有统计学意义(P<0.05);病例组血清补体C3、C4水平分别为(0.56±0.17)、(0.16±0.04)g/L,均明显低于对照组的(1.23±0.31)、(0.30±0.12)g/L,抗C1q抗体水平(46.65±11.48)U/ml明显高于对照组的(2.44±0.63)U/ml,差异有统计学意义(P<0.05);轻度活动患者血清补体C3、C4水平分别为(0.89±0.23)、(0.25±0.07)g/L均明显高于中重度活动患者的(0.31±0.08)、(0.08±0.02)g/L,抗C1q抗体水平(31.47±6.28)U/ml明显低于中重度活动患者的(59.76±8.73)U/ml,差异有统计学意义(P<0.05);血清补体C3、C4与Scr、BUN、β_(2)-MG、SLEDAI积分呈负相关(P<0.05),与eGFR呈正相关(P<0.05);抗C1q抗体与Scr、BUN、β_(2)-MG、SLEDAI积分呈正相关(P<0.05),与eGFR呈负相关(P<0.05);Logistic多因素回归分析显示,补体C3、C4、抗C1q抗体是影响SLE病情的独立危险因素(OR=3.54、2.14、5.68,P<0.05)。结论SLE患者存在血清补体C3、C4明显下降,抗C1q抗体水平明显升高现象,多预示患者病情加重,应引起临床医生的重视,并制定有效的治疗方案。