基于深度增强学习技术的智慧图书馆可视化信息搜索机制研究

文章在概述深度增强学习技术、可视化信息检索的基础上,从可视化信息源、可视化信息资源特征抽取与集成、可视化信息资源特征迭代优化3个方面论述了基于深度增强学习技术的智慧图书馆可视化信息交互和集成,从系统离线学习和读者在线检索两个环节论述了基于深度增强学习技术的可视化信息检索机制的构成,从数据采集和预处理、生成读者情境特征向量和可视化信息数据集、深度增强学习神经网络输出字段主题向量、计算向量相似度生成字段主题检索推荐列表4个方面分析了智慧图书馆可视化信息检索机制中深度增强学习网络的运行流程,最后以本馆的馆藏资源和部分网络资源作为检索的数据源,以“红色文化空间”作为检索主题进行了实例验证,旨在提升智慧图书馆可视化信息检索服务效能。

基于自适应伪轮廓消除滤波的比特深度增强

比特深度增强具有巨大的应用价值,如低比特图像采集、高比特图像显示、图像压缩等。然而,现有的比特深度增强算法或者不能有效抑制低比特图像中存在的伪轮廓,或者需要高性能的计算单元和大量的训练样本,缺乏实用性。为此,提出了一种基于自适应伪轮廓消除滤波的比特深度增强算法:FACE-BDE。FACE-BDE由3个模块组成:伪轮廓消除滤波器设计模块、自适应滤波器大小选择模块和伪轮廓区域检测模块。实验表明,所提算法能在消除不同大小的伪轮廓时保留真实轮廓和细节,使其在测试集上取得了0.28 dB的增益,伪轮廓的可见性也明显弱于同类算法。

基于深度增强学习的软件定义网络路由优化机制

为优化软件定义网络(SDN)的路由选路,该文将深度增强学习原理引入到软件定义网络的选路过程,提出一种基于深度增强学习的路由优化选路机制,用以削减网络运行时延、提高吞吐量等网络性能,实现连续时间上的黑盒优化,减少网络运维成本。此外,该文通过实验对所提出的路由优化机制进行评估,实验结果表明,路由优化机制具有良好的收敛性与有效性,较传统路由协议可提供更优的路由方案与实现更稳定的性能。

基于自适应探索改进的深度增强学习算法

针对深度增强学习算法中探索开发策略的平衡问题,提出一种基于VDBE(Value-Difference Based Exploration)扩展的自适应探索改进算法.该算法依赖于值函数差异提出一种基于状态的探索控制策略,以达到在初始学习阶段不熟悉周围环境时agent采取积极探索策略,而随着深入学习和周边环境的熟悉,agent逐渐降低探索率的自适应探索/开发平衡的理想行为状态.

基于深度增强学习的VVC码率控制算法

针对新一代多用途视频编码(versatile video coding,VVC)标准相比上一代高效视频编码(high efficiency video coding,HEVC)采用了更多数目的时空预测模式,为相邻编码帧带来了更强的帧间相关性的问题,基于深度增强学习方法提出了一种适用于VVC编码器的码率控制算法。首先选择合适的模型输入信息,包括帧间相关信息、分层编码结构信息和视频内容信息等;其次利用上述信息,结合长短期记忆(long short-term memory,LSTM)神经网络和增强学习方法,构建基于深度增强学习的帧间量化参数预测模型,以优化VVC编码器的码率控制过程;最后验证所提出算法的性能,将所提出算法在VTM 5.1平台实现,并与VVC源编码器进行性能对比。测试结果表明,在相同码率条件下,所提出算法相比于VVC源编码器,实现了BDBR平均节省1.81%和BDPSNR提升0.14 dB。

电动汽车充电控制的深度增强学习优化方法

随着用电信息采集系统的广泛推广,数据驱动的机器学习方法在电力系统优化运行领域的应用已引起广泛关注。该文基于电网在线运行状态数据采集,采用竞争深度 Q 网络(dueling deep Q network,DDQN)结构的深度增强学习方法开展电动汽车充电控制优化。首先选取观测状态与执行动作,定义状态动作估值函数,其次针对动作和状态维度上的绝对数值相差过大的问题,采用 DDQN 的 Q 函数,引入ε-greedy 策略、记忆存储单元以及批量梯度下降法进行神经网络的分层学习,然后基于 DDQN 训练后的神经网络,开展电动汽车充电控制的深度增强学习优化。最后,结合IEEE33 节点扩展算例说明所提电动汽车充电控制优化方法在满足各类用户出行的充电需求条件下,实现合理消纳可再生能源发电。

一种基于深度增强学习的智能路由技术

随着网络规模的不断增大以及网络复杂度的不断提高,传统路由算法面对网络流量在时空分布上的剧烈波动难以兼顾计算复杂度和算法效率.近年来,随着软件定义网络和人工智能技术的兴起,基于机器学习的自动路由策略生成逐渐受到关注.本文提出一种基于深度增强学习的智能路由技术SmartPath,通过动态收集网络状态,使用深度增强学习自动生成路由策略,从而保证路由策略能够动态适应网络流量变化.实验结果表明,本文所提出的方案能够不依赖人工流量建模动态更新网络路由,在测试环境下比当前最优方案减少至少10%的平均端到端传输时延.

应用频域相干光断层深度增强成像技术测量正常人眼黄斑区脉络膜厚度的研究

目的应用频域相干光断层深度增强成像技术测量正常人眼黄斑区脉络膜厚度。方法选择2012年2月-2013年2月共116例（116眼）健康志愿者作为研究对象。根据不同年龄，将其分为3组：A组36例，年龄21—40岁；B组41例，年龄41—60岁，C组39例，年龄61～80岁。采用CirrusHD—OCT深度增强成像技术，以长度为6mm的扫描线段对黄斑中心凹行180°方位扫描，测量中心凹下脉络膜厚度及由中心凹向鼻侧及颞侧每隔500μm直至2500μm的脉络膜厚度。并分析脉络膜厚度与年龄的关系。结果黄斑中心凹下脉络膜平均厚度为（275．27±58．20）μm，由中心凹向鼻、颞侧脉络膜厚度逐渐变薄，至鼻侧2．5mm处为（174．21±48．75）μm，颞侧2．5mm处为（233．75±57．64）μm。中心凹下脉络膜厚度与年龄呈负相关（r=-0．74，P〈0．01）。结论频域相干光断层深度增强成像技术可定量测量脉络膜厚度，脉络膜厚度与年龄呈负相关。

基于深度增强学习与子流耦合感知的多路传输控制机制

为了解决多路传输中子流耦合感知缺乏与传输控制效率低下等的问题,针对未来异构、动态的网络环境,提出了一种基于耦合感知与深度Q网络的多路传输控制机制(WaveLet and Deep Q Network based multipath transmission control mechanism,WL-DQN).利用小波去噪技术,消除子流单向传输时延中由非耦合路段及系统随机产生的噪声,并基于子流互相关系数对子流耦合特性进行提取;在此基础上,依据深度增强学习理论对多路传输控制进行建模,并提出多路DQN拥塞控制算法,实现了异构、动态网络环境下的智能多路拥塞控制.仿真结果表明,所提算法在传输吞吐量、传输时延、数据包重传避免等方面均优于标准及相似的代表性解决方案.

基于深度增强学习的卫星姿态控制方法

针对卫星在执行丢弃载荷或捕获目标等复杂任务时遭遇的姿态突然发生变化的问题,采用深度增强学习方法对卫星姿态进行控制,使卫星恢复稳定状态。具体来说,首先搭建飞行器的姿态动力学环境,并将连续的控制力矩输出离散化,然后采用Deep Q Network算法进行卫星自主姿态控制训练,以姿态角速度趋于稳定作为奖励获得离散行为的最优智能输出。仿真试验表明,面向空间卫星姿态控制的深度增强学习算法能够在卫星受到突发随机扰动后稳定卫星姿态,并能有效解决传统PD控制器依赖被控对象质量参数的难题。所提出的方法采用自主学习的方式对卫星姿态进行控制,具有很强的智能性和一定的普适性,在未来卫星执行复杂空间任务中的智能控制方面有着很好的应用潜力。

面向Unity3D的深度增强学习训练框架研究

针对在Unity3D游戏引擎的复杂环境中进行学习和控制的问题,探讨了深度增强学习训练框架的设计和实现。利用Unity3D实现了三个游戏场景,采用了近端策略优化算法作为深度增强学习模型,分别在这三个场景中实现了近端策略优化的训练框架,并考察了算法的收敛情况。由实现过程和结果可知,该算法不仅易于实现,而且具有较好的收敛性能。

基于深度增强学习和多目标优化改进的卫星资源分配算法

针对多波束卫星系统中资源分配序列决策的多目标优化(MOP)问题,为了在提升卫星系统性能的同时,提高用户业务需求的满意度,提出了一种基于深度增强学习(DRL)的DRL-MOP算法。所提算法基于DRL和MOP技术,对动态变化的系统环境和用户到达模型建模,以归一化处理后的频谱效率、能量效率和业务满意度指数的加权和作为优化目标,实现了系统和用户累计性能的优化。仿真对比表明,所提算法可以更好地解决面向多波束卫星系统的多目标优化问题,系统性能和用户满意度优化结果较好,且收敛快、复杂度低。

基于分层编码的深度增强学习对话生成

面向对话生成问题,提出一种构建对话生成模型的方法——基于分层编码的深度增强学习对话模型(EHRED),用以解决当前标准序列到序列(seq2seq)结构采用最大似然函数作为目标函数所带来的易生成通用回答的问题。该方法结合了分层编码和增强学习技术,利用分层编码来对多轮对话进行建模,在标准seq2seq的基础上新增了中间层来加强对历史对话语句的记忆,而后采用了语言模型来构建奖励函数,进而用增强学习中的策略梯度方法代替原有的最大似然损失函数进行训练。实验结果表明EHRED能生成语义信息更丰富的回答,在标准的人工测评中,其效果优于当前广泛采用的标准seq2seq循环神经网络(RNN)模型5.7~11.1个百分点。

基于深度增强学习的自动游戏方法

增强学习近年来多被用于智能体自动游戏,但增强学习在面对过大的状态或者行动空间时不能很好地处理。深度增强学习结合深度学习的感知能力和增强学习的决策能力,可以有效解决环境复杂问题。将增强学习与深度学习结合,通过改进的Markov决策过程逐步学习最优策略。首先找到目前的环境中最有价值的状态,从而产生最大积累奖励的行动,然后通过利用深度增强学习方法训练计算机自动完成一个简单游戏,使用控制变量法分别分析迭代次数和游戏难易程度对游戏得分的影响。试验结果表明,在外界环境相同时,准确率随着试验迭代次数的增大或游戏难度的减弱而增大,从而验证了智能体可以通过外界因素的改变进行更有效训练,最终获取最优结果。

基于深度增强学习的无人机赋能雾无线电接入网络的能效优化

雾无线电接入网络适合用于广域范围内的诸如管线管网监测等国家重要行业的物联网应用场景。然而基于地面雾接入节点的网络将受到环境、地形等影响,无法及时有效地提供雾接入服务。利用低空无人机作为雾接入点实现空地的边缘通信和雾计算方面引起了普遍的关注。本文探讨怎样利用深度增强学习来提高无人机雾接入点的能效,延长无人机的任务时间。深度增强学习可以保障无人机雾接入点及时地调整空地通信和计算的配置策略,包括资源优化、动态任务卸载以及缓存,也可以优化无人机在三维空间中的飞行航迹,提高无人机赋能的雾无线电接入网络的总体性能。研究的创新性在于综合论述了深度增强学习用于无人机赋能的雾无线电接入网络要解决的主要优化问题,并且总结了解决相关优化问题的技术细节,最后对深度增强学习应用于无人机赋能的雾无线电接入网络的技术挑战和未来研究方向展开讨论。

先天综合判断观照下的深度增强学习:以AlphaGo Zero为例

深度增强学习的出现引发了诸多关于人类思维与人工智能的思考。AlphaGo Zero的深度增强学习促使我们分析机器拥有先天综合知识的可能性。康德的先验感性综合理论对深度增强学习的观照体现在计算机的数学基础上,其感性纯直观中关于时间的部分与纯数学中的代数相对应,而二进制运算的过程体现了先天与经验的综合。先验知性综合理论对深度增强学习的观照体现于AlphaGo Zero围棋技能的获得过程。知性综合判断分为从简单到复杂的三个阶段,分别对应深度增强学习算法运行时由基础到综合的决策过程,从每个单位上的函数计算到函数之间组成的正负反馈,再到最终形成决策的通用智能,体现了这一程序在先天和经验上的综合性。然而,深度增强学习中很难存在先验理性。

基于深度增强学习的智能体行为演进研究综述

智能体行为演进技术是人工智能方面一个新兴且具有潜力的领域。随着Alpha Go胜利,基于深度增强学习的智能体行为演进技术被大量应用。首先介绍深度增强学习的基本概念及原理,然后介绍当前主流的智能体训练策略,着重分析单智能体提升以及多智能体协作问题的解决方法并对其优缺点进行全面的阐述,最后在深入分析多智能体协作技术目前存在的问题的基础上,对未来发展趋势进行展望。

基于小波域的深度增强车牌图像去雾算法设计

为解决雾天拍摄的车牌图像边缘模糊、色彩失真的问题,提出了端到端的基于小波域的深度增强车牌雾图去雾算法。先根据大气散射模型构建了雾天车牌图像数据集,之后利用小波变换将车牌雾图从空间域转换成小波域分量图像,最后将处理后的小波域分量图像进行逆小波变换,重构出的干净车牌图像。去雾网络以U-Net的编解码结构为主体框架,通过多个残差组从训练集中提取特征,并在解码器中引入“SOS”深度增强策略对编码器和下层输入的特征进行融合和细化,用以提高去雾车牌图像的峰值信噪比。实验表明,上述网络在结构相似度和峰值信噪比上具有明显优势,在处理合成车牌雾图和实际拍摄的车牌雾图上,去雾效果表现良好。

基于软聚类的深度图增强方法

针对现有的深度获取方式存在数据缺失、分辨率低等问题,提出一种基于软聚类的深度图增强方法,称为软聚类求解器.该方法利用软聚类的强边缘保持特性提高深度图增强的精度.将软聚类仿射矩阵和加权最小二乘模型有机结合,构建了软聚类求解器中的置信加权最小二乘模型,提出了基于迭代的求解方法.为评估所提出的方法,在多项深度图增强任务上进行试验,包括深度图补洞、深度图超分辨率和深度图纠正,评价指标包含了峰值信噪比(PSNR)、结构相似度(SSIM)、均方根差(RMSE)和运行效率.结果表明:文中方法在深度图补洞任务中的平均PSNR达到了42.28,平均SSIM达到了98.83%;在深度图超分辨率、深度图纠正任务中的平均RMSE达到了8.96、 2.36.文中方法处理1张分辨率为2 048×1 024像素的图像仅需5.03 s.

基于深度增强学习的个性化动态促销

随着大数据技术和应用的普及,数据驱动的决策优化已成为企业科学管理的发展趋势。本文提出了一种基于深度增强学习的策略框架,整合企业领域知识解决收益管理中复杂的动态促销问题。基于一家在线生鲜零售商随机抽取的2012名匿名消费者自注册开始的长期消费行为(共计363946条消费记录),以及该零售商的历史收益管理策略数据,结合仿真方法,本文构建了增强学习环境下的个性化动态促销模型并进行检验。结果发现,本研究提出的新策略可以有效地提升企业面向市场的收益管理能力,提高企业约18%的长期收益。数据驱动的个性化促销实现了长短期促销策略的动态平衡,从而帮助企业以更低的投入和对顾客更少的干预实现更高的回报。研究结论对数智技术应用于企业收益管理优化和混合智能方法具有显著的理论和实践意义。