Recent Progress in Reinforcement Learning and Adaptive Dynamic Programming for Advanced Control Applications

Reinforcement learning(RL) has roots in dynamic programming and it is called adaptive/approximate dynamic programming(ADP) within the control community. This paper reviews recent developments in ADP along with RL and its applications to various advanced control fields. First, the background of the development of ADP is described, emphasizing the significance of regulation and tracking control problems. Some effective offline and online algorithms for ADP/adaptive critic control are displayed, where the main results towards discrete-time systems and continuous-time systems are surveyed, respectively.Then, the research progress on adaptive critic control based on the event-triggered framework and under uncertain environment is discussed, respectively, where event-based design, robust stabilization, and game design are reviewed. Moreover, the extensions of ADP for addressing control problems under complex environment attract enormous attention. The ADP architecture is revisited under the perspective of data-driven and RL frameworks,showing how they promote ADP formulation significantly.Finally, several typical control applications with respect to RL and ADP are summarized, particularly in the fields of wastewater treatment processes and power systems, followed by some general prospects for future research. Overall, the comprehensive survey on ADP and RL for advanced control applications has d emonstrated its remarkable potential within the artificial intelligence era. In addition, it also plays a vital role in promoting environmental protection and industrial intelligence.

Fault-tolerant Strategies and Their Design Methods for Application Software

The key to software reliability is fault-tolerant design ofapplication software.New fault-tolerant strategies andtheir design methods for application software under vari-ous computer system are introduced.It has such advan-tages as simple hardware platform,independent fromapplication,stable reliability.lastly,some technicalproblems are discussed in details.

Deploying a Deep Learning-based Application for an Efficient Ther­mal Energy Storage Air-Conditioning(TES-AC)System:Design Guidelines

Facility management and maintenance of the Thermal-Energy-Storage Air-Conditioning(TES-AC)system is a tedious task at a large scale mainly due to the charging load that can increase energy consumption if needed to be charged at peak hours.Besides,maintenance of TES-AC at a large scale gets complex as it contains many sensor data.By utilizing deep learning techniques on the sensor data,charging load prediction can be made possible,so facility managers can prepare in advance.However,a deep learning-based application will be unusable if it is not deployed in a user-friendly manner where facility managers can benefit from this application.Hence,this research focuses on gathering design guidelines for a deep learning-based application and further validates the design considerations with a developed application for efficient human-computer interaction through qualitative analysis.The approach taken to gather design guidelines demonstrated a positive correlation between expert-suggested features and the user-friendly aspect of the application as 67.08%of participants found the features suggested by experts to be most satisfactory.Furthermore,it evaluates user satisfaction with the advanced developed application for TES-AC according to the gathered design guidelines.

Two Singapore public healthcare AI applications for national screening programs and other examples

This article explains how two AI systems have been incorporated into the everyday operations of two Singapore public healthcare nation‐wide screening programs.The first example is embedded within the setting of a national level population health screening program for diabetes related eye diseases,targeting the rapidly increasing number of adults in the country with diabetes.In the second example,the AI assisted screening is done shortly after a person is admitted to one of the public hospitals to identify which inpatients—especially which elderly patients with complex conditions—have a high risk of being readmitted as an inpatient multiple times in the months following discharge.Ways in which healthcare needs and the clinical operations context influenced the approach to designing or deploying the AI systems are highlighted,illustrating the multiplicity of factors that shape the requirements for successful large‐scale deployments of AI systems that are deeply embedded within clinical workflows.In the first example,the choice was made to use the system in a semi‐automated(vs.fully automated)mode as this was assessed to be more cost‐effective,though still offering substantial productivity improvement.In the second example,machine learning algorithm design and model execution trade-offs were made that prioritized key aspects of patient engagement and inclusion over higher levels of predictive accuracy.The article concludes with several lessons learned related to deploying AI systems within healthcare settings,and also lists several other AI efforts already in deployment and in the pipeline for Singapore's public healthcare system.

MS-Office高级应用中的微课程设计研究

作为新型教学模式,微课程打破传统课程资源结构,以碎片化方式满足学生对知识的获取,但是交互性不足成为微课程设计的显著弊端。文章以多媒体制作软件中MS-office高级应用为例,探讨微课程的设计与开发,并从教学引导、微课程设计、交互式训练、交互式评测等环节进行说明。

一种分布式会议管理系统的设计与实现

基于现代会议管理的需求,设计和实现一种C/S和B/S混合部署的会议管理系统。包括会议管理服务中心和若干个会议现场,会议管理服务中心包括数据服务器、应用服务器、Web服务器、通信网关和出口路由器;会议现场包括若干个便携式电脑、RFID(Radio Frequency Identification)读卡器、二维码阅读器、信息显示发布设备、现场WLAN设备及用户终端。使用RIA(Rich Internet Application)技术优化了B/S界面,应用RFID对会议过程中的细节进行监控,借助SAAS(Software as a Service)模式实现会议管理按需配置和快速部署。该系统显著提高了会议管理效率。

基于OBE理念的高级语言程序设计课程改革与实践

针对高级语言程序设计课程的特色与难点,结合OBE教育理念,以提高学生的实际应用能力和综合素质为目标,从课程思政、教学模式、教学设计和综合性评价方式等多个环节进行课程的教学改革。在提高教学质量的同时,注重培养学生解决实际问题的能力,帮助学生树立正确的人生观和价值观,为后续学习提供更多动力与支撑。

计算机专业师范生研究性学习能力的培养探究

随着教育体制改革和教师教育的发展,高等师范教育对师范生的创新能力和研究性学习能力也提出了更高的要求。高级语言程序设计课程是培养计算机类师范生创新能力的重要载体,在高级语言程序设计课程教学中提出了“教师创设问题情境——教师引导分析——学生探究演练——知识应用与提高的研究性教学方法”。该研究性教学方法以教师的科研项目为依托,引导师范生自主学习和探究知识,旨在达到师范生知识应用、迁移和重构的教学目标,实现师范生创新能力和研究性学习能力的培养。

大语言模型驱动的交互式建筑设计新范式——基于Rhino7的概念验证

随着社会对建筑设计质量要求越来越高,建筑设计软件也变得越来越专业和复杂。现在的设计软件不仅学习成本高,而且交互模式复杂。大语言模型(LLM)的最新突破使计算机清晰地理解人类自然语言指令,并准确生成代码语言具有可行性,有望为人与软件的交互范式提供新思路。因此,本文提出了LLM驱动的交互式建筑设计新范式--将设计师通过多次键鼠操作与设计软件交互转变为LLM根据设计师自然语言指令生成并执行API调用脚本的方式;提出了技术路线并验证了其在建筑设计场景落地的可能性。该技术路线包括:①LLM根据用户指令从API库中搜索与任务相关的API;②LLM基于指令和候选API摘要信息编写程序脚本并运行;③LLM根据来自软件环境、用户等反馈改进优化所编写的程序脚本。通过Rhino7设计软件、GPT-4和CodeLlaMa完成多个设计任务,测试当前LLM是否具备执行该技术路线各关键环节的能力。测试结果不仅证明了LLM驱动的交互式设计范式在建筑设计场景已初具落地前景,也为技术落地提供经验和建议。该设计范式的落地可以降低软件的使用门槛和学习成本,提高设计师工作效率;有望在未来的建筑设计软件中发挥重要作用。

四川盆地双鱼石区块特深井井身结构设计与适用性评价研究

四川盆地双鱼石区块震旦系特深井存在5个套管必封点和2个复杂风险点,井身结构设计存在较大难度。文章在调研国内外已钻特深井井身结构情况的基础上,分析认为双鱼石震旦系特深井所需套管层序多、强度高,现有国内外特深井井身结构方案无法在双鱼石区块震旦系特深井直接应用,需要自主研发。根据国内外现有钻井技术条件,文章建立了2套不使用膨胀管的适合特深井的套管和钻头尺寸匹配模型,并结合邻区钻探经验和本区块的地质特征,设计出适合双鱼石震旦系特深井的井身结构方案;然后对该井身结构开展了套管柱强度校核、水力学、钻柱力学及钻机作业能力的评价,对现有部分套管、钻杆等不满足安全钻井要求的情况,优化设计定制了专用套管、钻杆。研究结果表明,使用该套井身结构方案,作业过程中钻机负荷最大为6 856 kN,现有ZJ120型钻机及配套的70 MPa钻井泵可满足施工需求,配套设计的套管、钻柱、水力参数满足井下安全作业的需求,具有可实施性,可为国内相似区块的特深层勘探开发提供技术参考。

基于微信小程序的计算机课程教学设计与实践

阐述基于微信小程序的计算机类课程教学的特点,包括能够弥补计算机类课程传统教学模式的问题、较强的多样性。探讨基于微信小程序的计算机类课程教学设计与实践,由此推送知识点和学习资源、完成教学活动和师生互动、完善教学评价机制。

临床研究项目申请书的撰写与立项

临床研究是基于临床实践提出科学问题并据此开展科学研究的一种重要形式,是医务工作者从事科学研究获取经费的重要来源,近年来在我国特别是“北上广深”等地区具有广泛影响。如工程师建造大楼需要设计图纸一样,医务工作者开展临床研究也需要一份参考,这份参考就是临床研究项目申请书。临床研究项目申请书撰写是申请科研项目的主要方式,一份好的项目申请书是叩开科学研究大门的敲门砖,也是通向临床研究科研之路的第一步。临床研究项目申请书通常包括申报人基本信息、项目书正文、立项意见等部分。而正文部分是临床研究项目申请书撰写的重点内容,通常包括立项依据、研究内容、技术路线、研究目标、创新性、预期成果、经费预算、项目组成员等内容。本文从临床研究选题切入,重点介绍项目申请书撰写时各个部分需要注意的细节要点,以期为临床医务工作者撰写临床研究项目申请书提供参考。

计算机程序设计的多应用型开发思考

本文指出随着计算机技术的快速发展,计算机程序设计已经从单一应用转变为多应用型开发。这种转变不仅可以推动编程语言和设计方法的演进,还能催生更为复杂和高效的计算机管理系统。本文首先回顾计算机程序的历史演变,突出编程语言的不断演化和程序设计方法的转变;其次分析计算机管理系统的两个主要方面:计算机信息管理系统和计算机应用管理系统;最后探讨其在电子商务、工业和医疗领域的具体应用,以期为未来的发展提供借鉴。

坚硬K2灰岩顶板水压致裂强制放顶设计与应用

【目的】铁新煤业9226工作面回采后端头区域坚硬K2灰岩顶板难以正常垮落,在工作面后方悬露较大空顶区域,威胁工作面作业安全,需要对其进行水压致裂强制放顶处理。【方法】针对9226工作面端头长距离悬顶带来的安全隐患,根据9226工作面坚硬K2灰岩顶板工程地质条件,通过理论计算方法设计9226工作面超前水压预裂参数,确定超前水压预裂实施流程,开展现场试验和观测。【结果】结果表明,水压致裂放顶技术解决了9226工作面后方厚硬石灰岩顶板难以及时垮落的问题,保证了工作面推进速度。【结论】本研究为水压致裂技术在类似条件煤炭开采中的推广应用奠定了基础。

情感化视角下益智游戏APP界面设计研究

本文探讨了情感化设计理论在益智游戏APP界面设计中的应用方法,旨在有效缓解人们的生活压力。首先,简要介绍了情感化设计的概念及其实践应用;其次,分析手机游戏界面的发展历程、情感化设计意义以及情感设计层次理论;最后,结合案例总结本能层、行为层和反思层在益智游戏APP界面的情感化设计方法。本文通过不断优化游戏APP的情感界面来吸引用户、缓解焦虑,提高学习和工作效率及幸福指数。

支气管动脉化疗栓塞术在晚期非小细胞肺癌患者中的应用效果

目的探讨支气管动脉化疗栓塞术(BACE)+重组人血管内皮抑制素+程序性死亡受体1(PD-1)抑制剂在晚期非小细胞肺癌(NSCLC)患者中的应用效果。方法根据治疗方法的不同将60例晚期NSCLC患者分为A组(n=28)和B组(n=32),A组患者接受静脉化疗+重组人血管内皮抑制素+PD-1抑制剂治疗,B组患者接受BACE+重组人血管内皮抑制素+PD-1抑制剂治疗。比较两组患者的临床疗效、生活质量改善情况、T细胞亚群(CD3^(+)、CD4^(+)、CD8^(+)、CD4^(+)/CD8^(+))水平及不良反应发生情况。结果B组患者治疗总有效率、生活质量改善率均高于A组,不良反应总发生率低于A组,差异均有统计学意义(P﹤0.05)。治疗后,两组患者CD3^(+)、CD4^(+)水平及CD4^(+)/CD8^(+)均高于本组治疗前,CD8^(+)水平均低于本组治疗前,B组患者CD3^(+)、CD4^(+)水平及CD4^(+)/CD8^(+)均高于A组,CD8^(+)水平低于A组,差异均有统计学意义(P﹤0.05)。结论BACE+重组人血管内皮抑制素+PD-1抑制剂治疗晚期NSCLC患者安全有效,能够改善患者的生活质量和T细胞亚群水平,降低不良反应发生率。

美好生活记录APP设计与实现

生活中有很多美好的事情转瞬即逝。为了实现记录和分享生活的目的,本文设计了一种生活记录应用程序。该生活记录应用程序采用了以Android Studio作为集成开发环境的原生App开发方法,主要包括了平台设计、平台实现以及系统测试。测试的结果表明,该App可以较好地满足用户分享美好、交流生活的需求。

先进材料在机械设计中的轻量化和高强度解决方案

本文深入研究了先进材料在现代机械设计中的应用,重点关注轻量化和高强度解决方案,通过分析轻质材料和高强度材料的特性及其在关键行业(如航空、汽车、建筑等)的应用,展示了这些材料如何有效地提升性能、增加能效,并对环境产生积极影响。通过案例分析,强调了先进材料在满足现代机械设计需求中的关键作用,特别是在实现经济效益和环境可持续性方面。

新工科背景下应用型大学程序设计类课程混合式考试模式研究

针对应用型大学程序设计类课程的考试模式,分析了传统理论笔试与新兴在线评测式考试的侧重点与相关性。两种考试模式各自侧重于不同的能力考察,分别只能反映学生能力的一个侧面。为适应新工科教育理念和应用型人才培养的需求,提出并实践混合式考试模式,同时为此设计了一个综合考试系统。实践表明,这种混合式考试模式能更好地体现学生对程序设计类课程知识的综合掌握程度,该考试系统为混合式考试模式的执行提供了有力保障。

在J2EE项目中使用Struts对MVC模式的研究与实现

介绍了一种目前在J2EE平台上应用日益广泛的Web应用程序框架——Struts,以及Struts所基于的MVC(Model-View-Controller,模型-视图-控制器)设计模式。通过在Web页面中使用Struts框架定义的标签,实现页面表示层与事务/数据层的分离,从而使页面更加简洁、易于管理。最后,以一个实际J2EE项目为例,说明如何使用Struts构建Web应用程序,实现MVC模式。