Mixture of Experts(MoE)regression models are widely studied in statistics and machine learning for modeling heterogeneity in data for regression,clustering and classification.Laplace distribution is one of the most im...Mixture of Experts(MoE)regression models are widely studied in statistics and machine learning for modeling heterogeneity in data for regression,clustering and classification.Laplace distribution is one of the most important statistical tools to analyze thick and tail data.Laplace Mixture of Linear Experts(LMoLE)regression models are based on the Laplace distribution which is more robust.Similar to modelling variance parameter in a homogeneous population,we propose and study a new novel class of models:heteroscedastic Laplace mixture of experts regression models to analyze the heteroscedastic data coming from a heterogeneous population in this paper.The issues of maximum likelihood estimation are addressed.In particular,Minorization-Maximization(MM)algorithm for estimating the regression parameters is developed.Properties of the estimators of the regression coefficients are evaluated through Monte Carlo simulations.Results from the analysis of two real data sets are presented.展开更多
为解决不同人员相同操作的个体差异以及同一人员不同时间相同操作差异的问题,提出一种基于混合专家系统(mixture of experts,MoE)和长短期记忆神经网络(long short-term memory,LSTM)的倒闸操作识别方法MoE-LSTM。基于MoE对LSTM进行集成...为解决不同人员相同操作的个体差异以及同一人员不同时间相同操作差异的问题,提出一种基于混合专家系统(mixture of experts,MoE)和长短期记忆神经网络(long short-term memory,LSTM)的倒闸操作识别方法MoE-LSTM。基于MoE对LSTM进行集成,学习不同来源数据的特征分布。采集加速度动作数据构建倒闸操作数据集,基于滑动窗口对动作序列进行切分;将动作序列输入到MoE-LSTM中,由不同LSTM独立学习不同动作的时序依赖;通过门控网络选择对当前输入分类较好的LSTM的输出作为动作识别结果。仿真结果表明:不同LSTM对来自不同时空的动作数据都有擅长分类的特征空间。展开更多
大语言模型(large language model,LLM)通过处理和理解自然语言数据,实现高质量的信息检索、知识提取等功能,为中医药研究提供了新机遇。基于中医药大模型发展现状,梳理了LLM开发过程中的数据存储与处理方法,概述了检索增强生成、混合...大语言模型(large language model,LLM)通过处理和理解自然语言数据,实现高质量的信息检索、知识提取等功能,为中医药研究提供了新机遇。基于中医药大模型发展现状,梳理了LLM开发过程中的数据存储与处理方法,概述了检索增强生成、混合专家模型、人类反馈强化学习、知识蒸馏等人工智能方法,归纳了LLM训练微调与性能评价方法。针对中医药数据的特点,从高质量数据集构建、多领域专家系统融合、信息快速提取、训练与调优等方面入手,提出了中医药LLM的构建策略,并分析了LLM在中医药领域的具体应用场景,为中医药领域LLM的构建和应用提供参考,推动中医药现代化和智能化发展。展开更多
基金the National Natural Science Foundation of China(11861041,11261025).
文摘Mixture of Experts(MoE)regression models are widely studied in statistics and machine learning for modeling heterogeneity in data for regression,clustering and classification.Laplace distribution is one of the most important statistical tools to analyze thick and tail data.Laplace Mixture of Linear Experts(LMoLE)regression models are based on the Laplace distribution which is more robust.Similar to modelling variance parameter in a homogeneous population,we propose and study a new novel class of models:heteroscedastic Laplace mixture of experts regression models to analyze the heteroscedastic data coming from a heterogeneous population in this paper.The issues of maximum likelihood estimation are addressed.In particular,Minorization-Maximization(MM)algorithm for estimating the regression parameters is developed.Properties of the estimators of the regression coefficients are evaluated through Monte Carlo simulations.Results from the analysis of two real data sets are presented.
文摘为解决不同人员相同操作的个体差异以及同一人员不同时间相同操作差异的问题,提出一种基于混合专家系统(mixture of experts,MoE)和长短期记忆神经网络(long short-term memory,LSTM)的倒闸操作识别方法MoE-LSTM。基于MoE对LSTM进行集成,学习不同来源数据的特征分布。采集加速度动作数据构建倒闸操作数据集,基于滑动窗口对动作序列进行切分;将动作序列输入到MoE-LSTM中,由不同LSTM独立学习不同动作的时序依赖;通过门控网络选择对当前输入分类较好的LSTM的输出作为动作识别结果。仿真结果表明:不同LSTM对来自不同时空的动作数据都有擅长分类的特征空间。
文摘大语言模型(large language model,LLM)通过处理和理解自然语言数据,实现高质量的信息检索、知识提取等功能,为中医药研究提供了新机遇。基于中医药大模型发展现状,梳理了LLM开发过程中的数据存储与处理方法,概述了检索增强生成、混合专家模型、人类反馈强化学习、知识蒸馏等人工智能方法,归纳了LLM训练微调与性能评价方法。针对中医药数据的特点,从高质量数据集构建、多领域专家系统融合、信息快速提取、训练与调优等方面入手,提出了中医药LLM的构建策略,并分析了LLM在中医药领域的具体应用场景,为中医药领域LLM的构建和应用提供参考,推动中医药现代化和智能化发展。
