基于人类先验知识的强化学习综述

强化学习通过智能体与环境互动以实现预期目标最大化,通常被用于解决关于连续决策的任务规划问题。当前任务规划主要使用规则或者运筹方法进行求解。这类方法的时间复杂度和空间复杂度随问题规模增长呈指数级增长,难以求解大规模问题;并且对于动态任务规划问题也束手无策,只能求解静态的确定性问题。强化学习中的值函数近似等近似算法解决了这类方法的"维度灾难"问题,同时强化学习在智能体与环境的交互过程中加入随机因素,使其广泛应用于解决动态与随机性问题。然而强化学习需要智能体不断与环境交互来得到最优策略,当状态空间较大时,需要更多的采样和探索对策略进行梯度更新,收敛速度较慢,难以在实际中应用。人类在学习时利用先验知识保证了学习的快速开始,并减少了问题的探索时间,因此研究人类先验知识和强化学习的意义重大,可有效减少智能体对环境的采样和探索,帮助智能体更快地找到最优策略。基于人类先验知识与智能体交互的时间节点进行分类,对整合人类先验知识到强化学习的方法进行综述,最后对其发展方向进行展望。

西部省域物流业碳排放脱钩及影响因素研究

物流业是支撑国民经济发展的基础性、战略性、先导性产业,但同时也是高耗能、碳排放大户。文章通过估算2011-2017年西部省域物流业碳排放量及碳排放强度,分析各省物流业碳排放量及碳排放强度的省际差异,同时利用Tapio脱钩模型分析西部各省物流业碳排放的脱钩状态,最后对西部省域物流业碳排放影响因素进行LMDI分解。结果表明:(1)整体而言,西部省域物流业碳排放强度从2011年0.94下降至2017年0.73,年均降低3%;(2)物流业碳排放与物流业发展脱钩状态中扩张负脱钩占据一定比例,同时脱钩状态波动性较强,地区差异明显;(3)产出规模对碳排放有显著正向拉动作用,能源结构虽促进了碳排放的增加,但力度较弱,能源强度则在一定程度上抑制了碳排放的增加。西部省域物流业减排工作应加大力度持续开展,并且因地制宜制定低碳物流业发展政策,从而适应西部省域物流业高质量发展要求。