一种基于部分可观察马尔可夫决策过程的股票交易策略

近年来涌现了许多把深度强化学习应用到股票交易策略的研究。深度强化学习通常依赖于马尔可夫决策过程建模,但是股票市场中交易策略的制定需要考虑历史交易数据中包含的信息。因此,本文通过部分可观察马尔可夫决策过程对股票市场建模,并采用长短期记忆网络和优势演员评论家算法来构建股票交易策略。通过在道琼斯工业平均指数成份股数据集上进行实验,实验结果表明本文所设计的股票交易策略构建方法可以挖掘隐藏在历史数据中的有效信息,获得稳定且有效的交易策略。

基于部分可观察马尔可夫决策过程的多被动传感器组网协同反隐身探测任务规划

针对反隐身作战需求,提出多被动传感器组网协同战术。为提升反隐身探测效能,引入部分可观察马尔可夫决策过程(POMDP)理论,分析了POMDP任务规划要素,建立起多被动传感器组网协同反隐身探测任务规划POMDP模型。建立了多被动传感器协同控制系统结构,提出了基于无迹卡尔曼滤波(UKF)的信念状态更新方法和基于蒙特卡洛Rollout采样(MCRS)的Q值估计方法,并设计了CCSP基本策略。仿真结果表明,所建立的模型能够实现多被动传感器的高效管理调度,能够控制多被动传感器对隐身目标进行有效探测跟踪,即模型有效性得到了验证。

部分可观察马尔科夫决策过程优化不稳定型心绞痛中西医结合临床治疗方案的建模方法与验证研究

背景部分可观察马尔科夫决策过程(POMDP)是一种解决序列决策问题的数学算法,在医学领域中常应用于复杂治疗方案的动态优化。其在不稳定型心绞痛(UA)中西医结合临床治疗方案优化中的应用已进行了初步尝试。目的详细描述POMDP在UA中西医结合临床治疗方案优化过程中的建模方法并对模型的可靠性做出初步验证。方法收集中国中医科学院西苑医院、中国中医科学院广安门医院、中日友好医院、北京市中医院、通州区中医院、东直门医院、怀柔中医医院、北京大学人民医院2008-2010年2212例UA患者结构化住院病历111060条记录。将UA证候要素类型为气虚、血瘀的患者随机分为测试组732例和验证组732例,对测试组患者应用POMDP得出一组最优治疗方案的核心处方,在验证组患者中筛选符合方案的患者(作为优化组),与不符合方案的患者(作为对照组)进行血瘀证积分、远期终点事件(主要终点事件包括心血管死亡、非致命性心肌梗死、血运重建术,次要终点事件包括脑卒中、因急性冠脉综合征再住院、心功能不全、其他血栓并发症)发生情况的比较,验证方案的临床疗效。结果气虚优化组(n=152)、血瘀优化组(n=127)患者血瘀证积分降分分别为(5.29±2.64)、(4.87±3.04)分,均高于对照组,差异有统计学意义(P<0.05)。气虚优化组、血瘀优化组远期终点事件发生率分别为16.4%(25/152)、12.6%(16/127),与对照组比较,差异无统计学意义(P>0.05)。结论POMDP可以实现UA中西医结合临床治疗方案的优化,模型经验证较为稳定可靠,可尝试为其他疾病临床方案的制定提供更为细化、深入的优化方案。

基于部分可观察马尔可夫决策过程的受控无线网络系统动态资源分配

研究了受控无线网络的动态资源分配。针对传统无线通信传输模型的局限性随着无线通信系统架构的发展日益凸显的问题,提出了一种引入反馈控制策略的受控无线网络模型。该模型结合部分可观察马尔可夫决策过程(POMDP),将用户接收功率与数据传输误码率作为反馈观测对象,对通信小区内基站天线开启数与用户接入数进行动态资源最优匹配。仿真结果表明,这种方法能够有效提升系统传输能效性与可靠性,降低传输误码率,改善系统资源动态匹配控制性能。

基于非负矩阵分解更新规则的部分可观察马尔可夫决策过程信念状态空间降维算法

针对求解部分可观察马尔可夫决策过程(POMDP)规划问题时遭遇的"维数诅咒",该文提出了一种基于非负矩阵分解(NMF)更新规则的POMDP信念状态空间降维算法,分两步实现低误差高维降维。第1步,利用POMDP的结构特性,将状态、观察和动作进行可分解表示,然后利用动态贝叶斯网络的条件独立对其转移函数进行分解压缩,并去除概率为零的取值,降低信念状态空间的稀疏性。第2步,采用信念状态空间值直接降维方法,使降维后求出的近似最优策略与原最优策略保持一致,使用NMF更新规则来更新信念状态空间,避免Krylov迭代,加快降维速度。该算法不仅保证降维前后值函数不发生改变,又保留了其分段线性凸特性。实验结果表明,该算法具有较低误差率和较高收敛性。

基于部分可观察马氏决策过程的频谱接入方法

在次用户无法准确掌握信道被占用情况下,为了减少对主用户的干扰,提出了一种基于部分可观察马尔科夫决策过程(Partially Observable Markov DecisionProcesses,POMDP)的机会式频谱接入方法.该方法把次用户在每个决策时刻从多个信道中选择其中一个信道进行接入这一过程模型化为一个无限阶部分可观察马尔科夫决策过程.仿真结果表明,通过不断从外界环境中学习,次用户总可以按照目标函数最大准则选择满意的频谱空穴.该模型为动态频谱接入提供了思路.

学生观察过程中思维模式初探

一、问题的提出观察是思维的窗口,'是智慧的最重要的能源.'据对初一班级的九十多名学生调查,观察事物时,学生绝大部分感到无从下手、不甚得法.因此,研究学生观察事物过程中的思维规律,引起学生学会观察,显得十分重要.我们概括了'学生观察事物过程中的思维模式',供学生应用,并对试验效果作了初步的摸索.所谓'观察过程中的思维模式',是教师引导学生在观察事物过程中概括出来的,一种普遍适用于观察的思维框架.目的在于让学生凭借这个模式,进行有条理的观察.我们把这个模式概括为:初步观察,对被观察事物作结构局部分解→进一步观察,深入分析事物特点→根据对象特点,确定观察的中心→选择能表达中心的局部。

经历观察过程 发展空间观念——“从前面、右面、上面观察简单的物体”教学设计

教学内容苏教版《数学》四年级上册第32—33页例1。学情分析苏教版教材以培养学生的观察能力为目的,编排了"观察物体"单元。本节课主要教学从前面、右面和上面观察简单的物体,学生在二年级已经学习了从前后左右等不同位置观察物体,初步掌握了观察物体的方法,这是学习本单元内容的直接基础。

利用可在手掌中熔化的金属镓改进“观察冰的熔化过程”实验

知识来源于生活,知识也来源于实验.通过学生的动手操作,再结合观察与思考,把抽象的理论知识内化为浅显的知识,易于接受,是我们教学的一种理想化方式.在初中阶段要在学生头脑中建立起＂晶体的熔化过程是温度始终保持不变,但需要不断吸热＂这一规律,那么观察晶体的熔化过程这一实验将是至关重要的,但实际上却因为原实验方案操作不易,成功率低,现象不明显等原因,难以真正体现实验的作用,无法让学生真正理解规律.笔者针对该实验的不足进行了创新：用金属镓作为熔化晶体;用温度传感器代替普通温度计;用温水加热替代酒精灯加热,从而实现装置简化、操作简单、现象明显,真正达到此实验所希望的目的.

儿童发展理论是行为观察与分析的依据和路径

在儿童行为观察中,儿童发展理论在观察的整个过程中都发挥着作用。儿童发展理论如此重要,原因在于人的主观情感、利益常常会导致主观臆测,进而影响客体的观察。主观的人需要儿童发展理论来支持和指导观察与分析。将儿童发展理论渗入行为观察与分析中,才能接近客观事实:儿童发展理论体现了不同的理论意图;理论有助于丰富观察的视角、厘清观察问题;理论可以导向科学的观察过程;理论可以对观察结果加以解释和预测。

观察值驱动的广义INAR(1)过程的经验似然推断

整值时间序列分析作为时间序列分析的重要组成部分,被广泛地应用于社会生活的各个领域。文章提出了一类观察值驱动的广义INAR(l)过程,推导了该模型的概率统计性质,并利用经验似然的方法研究了该模型的参数估计问题,给出了模型参数的极大经验似然估计量及其渐近分布。通过一系列的仿真实验,验证了经验似然方法的有效性。最后利用所提出的模型拟合了一组犯罪数据。

在自主游戏中培养儿童的思维力

【案例描述】笔者在中班区角内投放了一套新玩具——四维拼搭积木,主要考查幼儿的逻辑思维、空间思维能力。对于中班4—5岁的幼儿来说,我不确定这套玩具难度多大,孩子们会如何接纳这套玩具,也不确定孩子们在摆弄玩耍的过程中会出现哪些问题。因此,投放伊始,我对操作这套玩具的孩子进行跟踪观察。在观察过程中,幼儿明明每次进入区域后都直接去拿这套玩具,因此成了我的观察对象。

观察与发现——人教版四年级上册第二单元习作设计

【教学过程】 一、明确要求,直接写 1.根据发现结果,直接写出语篇。 师：请大家看看题目,本次要求我们写自己观察中的发现。 近来,你留心观察了什么事务？是怎么观察的？有什么新发现？在观察过程中有什么有趣的事情？仔细回忆一下,把你最想告诉别人的内容写下来。题目自定。

不确定性环境下的自动驾驶汽车行为决策方法

在真实驾驶环境中,由于感知数据的噪声和其他交通参与者难以预测的行为意图,自动驾驶汽车如何在高度交互的复杂驾驶环境中考虑不确定性因素的影响,做出合理的决策,是当前决策规划系统须解决的主要问题之一。本文提出了一种不确定性环境下的自动驾驶汽车行为决策方法,为消除不确定性的影响,将行为决策过程转化为部分可观察马尔可夫决策过程(POMDP)。同时为解决POMDP模型计算复杂度过高的问题,首次将复杂网络理论应用于自动驾驶汽车周围微观的驾驶环境,对自动驾驶汽车驾驶环境进行动态建模,实现了车辆节点间交互关系的有效刻画,并对重要车辆节点进行科学筛选,用于指导自车的行为决策,实现对关键车辆节点的精准识别和决策空间的剪枝。在仿真环境中验证了所提方法的有效性,实验结果表明,与现有最先进的行为决策方法相比,所提出的方法拥有更高的计算效率,且拥有更好的性能和灵活性。

依据儿童心理 指导儿童观察

儿童观察事物有以下特点: 1.无意性占优势。他们对事物最初的观察主要是客体(客观事物)激起的,而不是主体(学生)发出的,并且观察活动持续时间短,极易受客体的变化及主体当时的情绪、兴趣的影响,常常出于好奇被对象的某一突出特点所吸引,而将教师提出的观察要求置于脑后。 2.粗略而不精细。儿童观察事物往往比较笼统,没有重点,见大不见小,见动不见静,见显不见隐,带有明显的冲动性,观察过程中缺乏思考。

思维导图与小学科学概念重建的融合——以《观察树叶》一课为例

小学生的观察和认知能力尚比较薄弱,利用思维导图帮助其梳理原有的认知结构,并呈现其观察过程,可使学生的新旧知识发生相互作用,达到重建概念的目的,这是小学科学探究活动的内涵之一。如何把思维导图有机融入探究过程,帮助学生有效重建科学概念,提升探究过程实效,本文以《观察树叶》一课试论如下：

小学科学观察类课型研究与实施策略

在小学科学课中,以＂观察为主＂组织教学过程的课属于观察课,它是一种指导学生有目的、有计划地利用感官对自然现象、物体特征及属性、动植物生长及其他习性等进行系统地观察,以获得知识、经验,并培养观察、分析、比较和概括能力的教学活动。这种教学活动具有直观形象的特点,它能使学生获得深刻的、真实可信的感性认识,从而提出问题、发现规律。

一种用于部分可观察随机域的情感计算模型

在计算机游戏中,富有情感可以使非玩家角色表现得更加真实,同时增加游戏的趣味性以吸引更多的游戏爱好者参与。在部分可观察不确定环境提出一种基于规划的情感计算模型。首先,基于部分可观察马尔科夫决策过程提出一种成本约束的目标导向行为规划技术用于规划智能体行为;其次,在规划执行过程中结合评价与再评价的双层评价理论计算生成情感;最后,结合特定情境设计两组对比实验。实验表明该模型能够提高智能体的逼真度且更加吸引玩家。

培养小学教学能力系列讲座之七——培养学生的观察能力

一、做好观察的准备工作做好观察的准备工作,是培养学生观察能力的基础.(一)准备好教具和学具(二)使学生明确观察目的.意义和任务一般应在观察前让学生明确观察什么,为什么观察等.