基于预测状态表示的Q学习算法

针对不确定环境的规划问题,提出了基于预测状态表示的Q学习算法.将预测状态表示方法与Q学习算法结合,用预测状态表示的预测向量作为Q学习算法的状态表示,使得到的状态具有马尔可夫特性,满足强化学习任务的要求,进而用Q学习算法学习智能体的最优策略,可解决不确定环境下的规划问题.仿真结果表明,在发现智能体的最优近似策略时,算法需要的学习周期数与假定环境状态已知情况下需要的学习周期数大致相同.

基于状态空间表示法的机械产品概念设计

分析了机械工程系统的功能关系 ,确立待设计系统的状态变量 ,利用键合图的基础元件建立状态空间转换矩阵 .根据机械系统中能量传递建立系统状态空间模型 ,采用状态空间变换操作 ,产生多个设计方案 ,并结合电动静脉注射器设计说明其应用 .

发现和学习不可复位动态系统的预测状态表示的一种新算法

提出了一种发现和学习不可复位动态系统的预测状态表示的新算法.在证明系统的任意landmark均可作为系统的初始状态的基础上,利用发现的landmark确定系统在任意时间步所处的经历,然后采用蒙特卡罗方法估计任意经历下任意检验发生的概率,解决了在不可复位动态系统中,经历下检验发生的概率难以获取问题,进而发现和学习不可复位动态系统的预测状态表示.实验结果表明,本文算法获得的系统的预测状态表示在预测精度上明显优于suffix-history算法,验证了所提算法的有效性.

基于预测状态表示的多变量概率系统预测

针对由于多变量概率系统预测高复杂度而导致的建模困难问题,提出了一种基于预测状态表示(PSR)的系统建模新方法,首先介绍一种通用多变量过程概念,并进一步用此概念描述多变量系统。在此基础上,引入了针对多变量系统的预测模型MV-PSR,模型基于可观测信息,可在有限维实现对多变量的预测。实验结果表明,该近似模型有效降低了系统预测的复杂度。

VHDL语言在状态空间表示法求解过河问题中的应用

提出了以VHDL语言为手段，用状态空间表示法求解过河问题中的应用，并在Active-HDL环境下实现了模拟和在Cadence环境下实现了综合。

基于预测状态表示模型和稀疏分布记忆的多观测系统预测

提出了一种新型的PSR建模方法,该方法建立针对复杂多观测系统的近似预测模型S-PSR,将系统中的检验和经历依据归属关系进行归类划分,利用稀疏分布记忆(SDM)存储结构进行模型当前状态保存和状态更新,实现了对多观测系统复杂数据的处理。实验表明,该近似模型相比其他模型具有更好的预测准确性。

运动物体的状态表示与状态预测

研究了运动物体的运动规律 ,提出了运动物体运动状态四元组的表示方法 ,确定了运动物体状态预测方程。

从知识表示到算法的研究——三枚钱币问题的状态空间表示和算法实现

阐述了知识表示技术对问题求解的重要性 ,简介了三类求解问题所需的知识及机械化推理、系统构成等技术 ,并以“三枚钱币问题”为例 ,给出了从知识表示到算法实现的研究过程。

一类状态空间图表示的产生式系统的prolog求解

本文介绍了产生式系统和状态空间图,结合Prolog提出了一种生成产生式系统的一个通用模型,最后通过对几个实例进行了计算机模拟,结果表明,该模型具有良好的适用性.

预测状态表示模型的复位算法

预测状态表示(Predictive State Representations,PSRs)是用于解决局部可观测问题的有效方法.然而,现实环境中,通过样本学习得到的PSR模型不可能完全准确.随着计算步数的增多,利用PSR模型计算得到的预测向量有可能越来越偏离其真实值,进而导致PSR模型的预测精度越来越低.文中提出了一种PSR模型的复位算法.通过使用判别分析方法确定系统所处的PSR状态,文中所提算法可对利用计算获取的预测向量复位,从而提高PSR模型的准确性.实验结果表明,采用复位算法的PSR模型在预测精度上明显优于未采用复位算法的PSR模型,验证了所提算法的有效性.

预测状态表示综述

预测状态表示是描述离散时间有限状态的动态系统的新方法。使用动作—观测值序列的预测向量表示系统状态在将来时刻发生的概率,能解决现有动态系统决策过程中计算复杂的问题。综述了预测状态表示的基本原理,介绍了预测状态表示的建模过程和规划算法,对已有的建模方法和规划方法进行总结分析和比较,指出了该研究领域的发展方向,最后提出了研究面临的挑战。

具有相干与压缩关联的非绝热的电子声子耦合系统的状态表示和基态特征(英文)

求出了在电子声子耦合系统中由于电子密度的涨落所导致的非绝热声子对系统的基态，极化子的特征和声子测不准关系的量子修正，在这计算中我们使用了一个表征相干压缩声子和电子有相互关联的新的变分表示式．由此求出的系统基态比无关联时的基态更加稳定，极化子能带变窄的效应受到抑制，由于同电子的非绝热耦合而使声子的测不准关系增量．研究表明具有相干压缩关联的新状态表示对于大压缩特性和强耦合情况特别适合．

基于状态向量表示法的机械运动方案设计系统的研究

介绍了基于状态向量表示法建立机械运动方案设计系统的方法,描述了状态向量表示法的数学模型,对于所建立系统的基本结构、机构模块的划分以及数据库的建立进行了分析和举例。

铝合金热处理工艺与产品状态表示法

论述了铝合金材料热处理的基本原理及生产工艺,并详细地例举了产品的各种热处理状态及其表示方法。

经济系统的状态空间表示

【正】 经济系统的状态空间如何表示,是目前经济数学研究的重点问题之一。有一种类型的系统,它们虽然在时间上是连续动作的,但所观测或所关注的却仅仅是离散的时点上的情况。这种类型的经济系统比较多,因为经济系统的活动只有在单位时间内才有实际意义,所以只能从小时、日、月、委等来观测经济系统。如生产过程。

长记忆ARFIMA-GARCH模型的状态空间模型估计(英文)

本文考虑了ARFIMA-GARCH类模型的状态空间表示.ARFIMA-GARCH这类模型结合了长记忆时间序列和条件异方差过程.虽然ARFIMA-GARCH模型的状态空间表示是无穷维的,但是基于这种表示法的精确极大似然估计可以在样本长度的迭代计算中得到.本文提出了基于模型的截断的自回归展开式的似然函数近似估计,进而得到了模型参数的拟似然估计.利用状态空间表示的便利,本文的估计方法被应用到了缺失数据的情形.最后,我们还将本文的方法应用于模拟计算(缺失数据和非缺失数据)和实际数据分析.

基于本体与SNMP的网络状态评估及原型实现

当前通信网络的异构性较强、兼容性较差,网络状态的评估受到极大限制,技术与市场等因素导致网络状态评估标准难以统一。本体具有良好的开放性与可扩展性,能很好地承载知识的形式化,有助于推动标准的统一。采用本体理论对网络状态评估中的基本概念和评估方法进行总结归纳,构建表示网络状态评估的本体模型,并提出一种基于设备状态的网络状态评估方案,实现一个采用本体与简单网络管理协议(Simple Network Management Protocol,SNMP)的网络状态评估原型系统,以期为本体理论在网络状态评估中的应用提供参考。

潜在空间中的策略搜索强化学习方法

策略搜索是深度强化学习领域中一种能够解决大规模连续状态空间和动作空间问题的高效学习方法,被广泛应用在现实问题中。然而,此类方法通常需要花费大量的学习样本和训练时间,且泛化能力较差,学到的策略模型难以泛化至环境中看似微小的变化。为了解决上述问题,提出了一种基于潜在空间的策略搜索强化学习方法。将学习状态表示的思想拓展到动作表示上,即在动作表示的潜在空间中学习策略,再将动作表示映射到真实动作空间中。通过表示学习模型的引入,摒弃端到端的训练方式,将整个强化学习任务划分成大规模的表示模型部分和小规模的策略模型部分,使用无监督的学习方法来学习表示模型,使用策略搜索强化学习方法学习小规模的策略模型。大规模的表示模型能保留应有的泛化性和表达能力,小规模的策略模型有助于减轻策略学习的负担,从而在一定程度上缓解深度强化学习领域中样本利用率低、学习效率低和动作选择泛化性弱的问题。最后,在智能控制任务CarRacing和Cheetah中验证了引入潜在空间中的状态表示和动作表示的有效性。

浅谈俄语里衣着“穿、戴”的表示

浅谈俄语里衣着“穿、戴”的表示华青阳俄语里表示衣着的“穿、戴”基本上可包括三个方面，即：穿着的状态、穿着是否得体和穿的动作过程。现在就这三个方面谈谈常用的几种表达方式。一、表示衣着的状态表示穿（戴）着什么可以说①，②，③④、⑤等。其中①、②在大部分情...

Windows Phone数据访问技术研究

在移动互联网时代,必须有效解决智能终端设备如何访问关系数据库中的数据问题。Windows Phone给出的解决方案是,首先利用对象关系映射技术为关系数据库建立实体对象模型;然后使用REST风格的WCF数据服务封装实体对象上下文,Windows Azure可作为发布该服务的载体;最后遵循开放式数据协议的规范查询及操作数据。对相关技术进行了较深入的研究,并使用MVVM模式给出了一个具体的实例,论证了该方案的可行性。由于智能终端可以通过开放数据协议访问和操作部署在Windows Azure中的WCF数据服务,结果以XML的形式返回,从而使得Windows Phone数据访问的模式可以扩展到使用其它操作系统的智能终端平台,如Android、IOS等。