Considering the recent developments in deep learning, it has become increasingly important to verify what methods are valid for the prediction of multivariate time-series data. In this study, we propose a novel method...Considering the recent developments in deep learning, it has become increasingly important to verify what methods are valid for the prediction of multivariate time-series data. In this study, we propose a novel method of time-series prediction employing multiple deep learners combined with a Bayesian network where training data is divided into clusters using K-means clustering. We decided how many clusters are the best for K-means with the Bayesian information criteria. Depending on each cluster, the multiple deep learners are trained. We used three types of deep learners: deep neural network (DNN), recurrent neural network (RNN), and long short-term memory (LSTM). A naive Bayes classifier is used to determine which deep learner is in charge of predicting a particular time-series. Our proposed method will be applied to a set of financial time-series data, the Nikkei Average Stock price, to assess the accuracy of the predictions made. Compared with the conventional method of employing a single deep learner to acquire all the data, it is demonstrated by our proposed method that F-value and accuracy are improved.展开更多
姿态控制系统是卫星系统中重要的组成部分,由于其高昂的造价,发生故障会引发恶劣的影响。随着航天科技的发展,卫星姿态控制系统也逐渐复杂,其可能发生故障的概率也随之增大。针对传统神经网络故障诊断结果缺少置信度、鲁棒性较差以及易...姿态控制系统是卫星系统中重要的组成部分,由于其高昂的造价,发生故障会引发恶劣的影响。随着航天科技的发展,卫星姿态控制系统也逐渐复杂,其可能发生故障的概率也随之增大。针对传统神经网络故障诊断结果缺少置信度、鲁棒性较差以及易发生过拟合的缺点,在对贝叶斯统计和深度学习理论研究的基础上,提出了一种基于贝叶斯线性层与贝叶斯卷积层的Bayesian Le Net结合的网络模型。通过对卫星姿态控制系统飞轮部件的故障数据分析和处理,进而采用该模型对故障仿真,并与贝叶斯全连接神经网络与传统Le Net进行对比,实验结果表明:在飞轮可能发生的三种故障前提下,上述网络模型准确率较高,过拟合现象较轻。验证了上述网络模型的有效性。展开更多
深基坑挡土墙是工程实践中常用的支护结构,对限制深基坑变形和预防工程事故起着重要的作用。深基坑工程往往会布置多个不同深度的测点,然而现有研究大多只预测了单个测点的未来侧移,浪费了其余测点的监测数据。以杭州市某深基坑工程为背...深基坑挡土墙是工程实践中常用的支护结构,对限制深基坑变形和预防工程事故起着重要的作用。深基坑工程往往会布置多个不同深度的测点,然而现有研究大多只预测了单个测点的未来侧移,浪费了其余测点的监测数据。以杭州市某深基坑工程为背景,建立基于贝叶斯优化的多输出长短期记忆(Long short term memory,LSTM)神经网络模型,在保证模型最优性能的情况下,采用历史监测数据输入对深基坑的多个测点进行预测,并单独提取墙体每日最大侧移预测值进行分析。研究结果表明:结合贝叶斯优化的多输出LSTM神经网络模型在深基坑墙体多测点侧移预测方面展现出理想的预测效果,模型R^(2)达到了0.94,每日最大侧移预测值的模型R^(2)为0.91,略低于整体预测。展开更多
多任务学习是一种联合多个任务同时学习来增强模型表示和泛化能力的手段,任务之间的相关性是多任务学习的基本因素.为解决任务差异的内在冲突会损害部分任务的预测的问题,提出一种基于相关性学习层(correlation learning layer,CLL)的...多任务学习是一种联合多个任务同时学习来增强模型表示和泛化能力的手段,任务之间的相关性是多任务学习的基本因素.为解决任务差异的内在冲突会损害部分任务的预测的问题,提出一种基于相关性学习层(correlation learning layer,CLL)的多任务学习模型,并将该模型作为新的代理模型应用于贝叶斯优化算法中,以期解决昂贵的优化问题.在传统的多任务学习网络后面增加相关性学习层,使已经完成初步共享学习的任务在该层进行优化共享,令多个任务所学习到的知识充分交互起来.根据不同的基于参数的共享机制,构建带有相关性层的LeNet和径向基函数(radial basis function,RBF)多任务学习模型,在多任务版本的美国国家标准与技术研究所(Mixed National Institute of Standards and Technology,MNIST)数据集和任务相关性可控制的综合数据集上进行实验,验证了所提出的基于相关性层的多任务学习模型的有效性.将所提多任务学习网络作为代理模型应用于贝叶斯优化算法中,不仅能减少模型对目标问题的评价次数,还能成倍地扩充训练数据数量,进而提升模型的性能.展开更多
文摘Considering the recent developments in deep learning, it has become increasingly important to verify what methods are valid for the prediction of multivariate time-series data. In this study, we propose a novel method of time-series prediction employing multiple deep learners combined with a Bayesian network where training data is divided into clusters using K-means clustering. We decided how many clusters are the best for K-means with the Bayesian information criteria. Depending on each cluster, the multiple deep learners are trained. We used three types of deep learners: deep neural network (DNN), recurrent neural network (RNN), and long short-term memory (LSTM). A naive Bayes classifier is used to determine which deep learner is in charge of predicting a particular time-series. Our proposed method will be applied to a set of financial time-series data, the Nikkei Average Stock price, to assess the accuracy of the predictions made. Compared with the conventional method of employing a single deep learner to acquire all the data, it is demonstrated by our proposed method that F-value and accuracy are improved.
文摘姿态控制系统是卫星系统中重要的组成部分,由于其高昂的造价,发生故障会引发恶劣的影响。随着航天科技的发展,卫星姿态控制系统也逐渐复杂,其可能发生故障的概率也随之增大。针对传统神经网络故障诊断结果缺少置信度、鲁棒性较差以及易发生过拟合的缺点,在对贝叶斯统计和深度学习理论研究的基础上,提出了一种基于贝叶斯线性层与贝叶斯卷积层的Bayesian Le Net结合的网络模型。通过对卫星姿态控制系统飞轮部件的故障数据分析和处理,进而采用该模型对故障仿真,并与贝叶斯全连接神经网络与传统Le Net进行对比,实验结果表明:在飞轮可能发生的三种故障前提下,上述网络模型准确率较高,过拟合现象较轻。验证了上述网络模型的有效性。
文摘深基坑挡土墙是工程实践中常用的支护结构,对限制深基坑变形和预防工程事故起着重要的作用。深基坑工程往往会布置多个不同深度的测点,然而现有研究大多只预测了单个测点的未来侧移,浪费了其余测点的监测数据。以杭州市某深基坑工程为背景,建立基于贝叶斯优化的多输出长短期记忆(Long short term memory,LSTM)神经网络模型,在保证模型最优性能的情况下,采用历史监测数据输入对深基坑的多个测点进行预测,并单独提取墙体每日最大侧移预测值进行分析。研究结果表明:结合贝叶斯优化的多输出LSTM神经网络模型在深基坑墙体多测点侧移预测方面展现出理想的预测效果,模型R^(2)达到了0.94,每日最大侧移预测值的模型R^(2)为0.91,略低于整体预测。
文摘多任务学习是一种联合多个任务同时学习来增强模型表示和泛化能力的手段,任务之间的相关性是多任务学习的基本因素.为解决任务差异的内在冲突会损害部分任务的预测的问题,提出一种基于相关性学习层(correlation learning layer,CLL)的多任务学习模型,并将该模型作为新的代理模型应用于贝叶斯优化算法中,以期解决昂贵的优化问题.在传统的多任务学习网络后面增加相关性学习层,使已经完成初步共享学习的任务在该层进行优化共享,令多个任务所学习到的知识充分交互起来.根据不同的基于参数的共享机制,构建带有相关性层的LeNet和径向基函数(radial basis function,RBF)多任务学习模型,在多任务版本的美国国家标准与技术研究所(Mixed National Institute of Standards and Technology,MNIST)数据集和任务相关性可控制的综合数据集上进行实验,验证了所提出的基于相关性层的多任务学习模型的有效性.将所提多任务学习网络作为代理模型应用于贝叶斯优化算法中,不仅能减少模型对目标问题的评价次数,还能成倍地扩充训练数据数量,进而提升模型的性能.
