基于兴趣函数的多样化Option-Critic算法

Option框架作为分层强化学习的一种常用时序抽象方法,允许智能体在不同的时间尺度上学习策略,可以有效解决稀疏奖励问题.为了保证Option可以引导智能体访问更多的状态空间,一些方法通过引入基于互信息的内部奖励和终止函数来提升Option内部策略的多样性.但这会导致算法学习速度慢和内部策略的知识迁移能力低等问题,严重影响了算法性能.针对以上问题,提出基于兴趣函数优化的多样化Option-Critic算法(diversity-enriched Option-Critic algorithm with interest functions,DEOC-IF).该算法在多样化Option-Critic算法(diversity-enriched Option-Critic,DEOC)的基础上,通过引入兴趣函数约束上层策略对Option内部策略的选择,既保证了Option集合的多样性,又使得学习到的内部策略可以关注状态空间的不同区域,有利于提高算法的知识迁移能力,加快学习速度.此外,DEOC-IF算法引入一种新的兴趣函数更新梯度,有利于提高算法的探索能力.为了验证算法的有效性和知识迁移能力,分别在4房间导航任务、Mujoco和MiniWorld实验环境中,将DEOC-IF算法与其他最新算法进行对比实验.结果表明,DEOC-IF算法具有更好的性能优势和策略迁移能力.

车辆检测中一种兴趣区域提取方法

在基于视频图像方法的车辆检测系统中,兴趣区域的提取是至关重要的。提出了一种新颖的方法来检测图像中的兴趣区域,为后续处理提供有效的特征信息。该方法的核心思想就是根据兴趣函数抽取图像中的兴趣点;然后按照一定的策略将这些兴趣点进行合并处理组成兴趣区域,最后根据阈值选取合适的区域作为最后的兴趣区域检测结果。给出了相关实验结果和分析,结果表明该方法是有效可行的。

基于加权Slope One的协同过滤个性化推荐算法

针对传统协同过滤算法存在冷启动、数据稀疏、运行效率低下等问题,分析了较传统协同过滤算法更加高效准确的Slope One算法的优点、原理及流程。针对Slope One算法未考虑用户兴趣变化和用户相似性这两方面的问题,提出了基于用户兴趣遗忘函数和用户最近邻居筛选策略的改进方案,以期提高推荐的质量,同时采用Movie Lens数据集进行了实验验证。实验对比结果佐证了该算法确实提高了推荐准确度并且减少了响应时间。

基于从众心理矩阵和加权相似度的推荐算法

为提高推荐算法的精度,提出一种基于从众心理矩阵和加权相似度的推荐算法。引入项目流行度阈值K,根据项目流行度对项目进行筛选,对高流行度项目的评分矩阵进行调整;通过用户兴趣度量函数度量用户的现阶段偏好项目,基于每个用户的现阶段偏好项目计算用户间的兴趣相似度;采用相似度加权融合的方式获取用户相似度。实验结果表明,该算法的推荐精度优于传统的协同过滤算法。