交互式检索的用户模拟器研究综述

随着检索技术的发展,交互式检索在信息检索领域中变得尤为重要。交互式检索在传统检索模式下增加了捕捉用户细粒度行为的功能,以便通过用户模拟器提升检索引擎性能。基于规则的用户模拟器缺乏个性化用户特征,适应性较差。基于模型的用户模拟器能够学习到更多的用户个性化行为特征,可以有效提升交互式检索引擎的性能。阐述了用户模拟器与检索引擎的交互过程,对基于规则的用户模拟器和基于模型的用户模拟器的构建方法以及近年来用户模拟器的评价方法进行了归纳总结,并重点介绍了基于模型的用户模拟器。最后对比了面向交互式检索的用户模拟器和传统的用户模拟器的差异,并以交互式学位论文检索场景为例,通过此检索场景对用户模拟器的应用进行了展望。

改进判别式深度Dyna-Q的任务对话策略学习方法

作为任务型对话系统中的关键一环,对话策略可以通过判别式深度Dyna-Q框架训练得到。然而,该框架在直接强化学习阶段采用原始的深度Q网络方法学习对话策略,在世界模型方面采用多层感知机作为模型的基本结构,导致对话策略的训练效率、性能和稳定性降低。本文提出了一种改进判别式深度Dyna-Q的任务对话策略学习方法。在改进后的直接强化学习阶段,利用噪声网络改进了智能体的探索方式,同时将竞争网络的双流架构、双Q网络与n步自举法三者相结合,优化了Q值的计算过程。在世界模型方面,设计了一种基于软注意力的模型替代多层感知机结构。实验结果表明,本文提出的方法在对话成功率、平均对话轮数以及平均奖励3个指标上均优于现有的最佳结果,最后本文通过消融分析和鲁棒性分析,进一步验证了方法的有效性。

改进的DDPG对话策略优化算法

针对任务型对话系统缺少大规模真实训练数据的问题,提出一种结合规划的离散深度确定性策略梯度(deep deterministic policy gradient,DDPG)算法来优化对话策略。在代理方面,改进经典DDPG训练算法中actor网络的输出结构和损失函数,使其适用于离散动作空间任务;在环境方面,引入一个环境模型(又称世界模型)来模拟真实用户提问;在整个训练过程中,代理分别与用户模拟器和世界模型交互,结合规划交替使用真实用户经验和模拟用户经验,改进对话策略。实验结果表明,该方法能够加快模型的收敛速度,提升任务成功率。

Planning Movement of a Robotic Arm for Assembly of Products

This paper presents an algorithmic proposal of a movements＇ planner for a robotic manipulator. Its application is the planning of trajectories from wooden cuttings in a band saw. This algorithm is based on heuristics. A simulator was developed in order to allow the user to define the table＇s shape and figure that you want to trim. The simulator was developed in Java from Sun Microsystems, and next it will be applied in TM Cyberbotics Webots.