Application of Maximum Entropy Principle to Studying the Distribution of Wave Heights in A Random Wave Field

Based on the maximum entropy principle, a probability density function (PDF) is derived for the distribution of wave heights in a random wave field, without any more hypothesis. The present PDF, being a non-Rayleigh form, involves two parameters: the average wave height H— and the state parameter γ. The role of γ in the distribution of wave heights is examined. It is found that γ may be a certain measure of sea state. A least square method for determining γ from measured data is proposed. In virtue of the method, the values of γ are determined for three sea states from the data measured in the East China Sea. The present PDF is compared with the well known Rayleigh PDF of wave height and it is shown that it much better fits the data than the Rayleigh PDF. It is expected that the present PDF would fit some other wave variables, since its derivation is not restricted only to the wave height.

Maximum Entropy Distribution Function and Uncertainty Evaluation Criteria

Marine environmental design parameter extrapolation has important applications in marine engineering and coastal disaster prevention.The distribution models used for environmental design parameter usually pass the hypothesis tests in statistical analysis,but the calculation results of different distribution models often vary largely.In this paper,based on the information entropy,the overall uncertainty test criteria were studied for commonly used distributions including Gumbel,Weibull,and Pearson-III distribution.An improved method for parameter estimation of the maximum entropy distribution model is proposed on the basis of moment estimation.The study in this paper shows that the number of sample data and the degree of dispersion are proportional to the information entropy,and the overall uncertainty of the maximum entropy distribution model is minimal compared with other models.

RESEARCH OF PINYIN-TO-CHARACTER CONVERSION BASED ON MAXIMUM ENTROPY MODEL

This paper applied Maximum Entropy (ME) model to Pinyin-To-Character (PTC) conversion in-stead of Hidden Markov Model (HMM) that could not include complicated and long-distance lexical informa-tion. Two ME models were built based on simple and complex templates respectively, and the complex one gave better conversion result. Furthermore, conversion trigger pair of y A → y B cBwas proposed to extract the long-distance constrain feature from the corpus; and then Average Mutual Information (AMI) was used to se-lect conversion trigger pair features which were added to the ME model. The experiment shows that conver-sion error of the ME with conversion trigger pairs is reduced by 4% on a small training corpus, comparing with HMM smoothed by absolute smoothing.

Subjectivity in Application of the Principle of Maximum Entropy

Complete prior statistical information is currently required in the majority of statistical evaluations of complex models. The principle of maximum entropy is often utilized in this context to fill in the missing pieces of available information and is normally claimed to be fair and objective. A rarely discussed aspect is that it relies upon testable information, which is never known but estimated, i.e. results from processing of raw data. The subjective choice of this processing strongly affects the result. Less conventional posterior completion of information is equally accurate but is computationally superior to prior, as much less information enters the analysis. Our recently proposed methods of lean deterministic sampling are examples of very few approaches that actively promote the use of minimal incomplete prior information. The inherited subjective character of maximum entropy distributions and the often critical implications of prior and posterior completion of information are here discussed and illustrated, from a novel perspective of consistency, rationality, computational efficiency and realism.

月球探测器鲁棒环形山检测及光学导航方法

针对月球探测器环形山检测方法受光照影响、鲁棒性差的问题,本文提出一种基于极大熵阈值三值化的鲁棒环形山检测算法。采用不同滤波核对图像进行去噪平滑,然后对处理后的图像进行极大熵阈值分割、将图像信息三值化,去除图像对光源的敏感性,同时最大程度保留图像信息;提出一种归一化多指标约束环形山匹配和拟合方法完成环形山提取,将环形山提取算法应用于光学导航中进行打靶实验验证算法实时性表现。仿真结果表明:与传统基于形态学或自适应边缘检测的方法相比,本文方法在较大尺度条件下提取出连续、光滑的环形山边缘,有效环形山数量提升35%以上,同时实时性更好、计算消耗降低40%;基于鲁棒环形山提取的光学导航算法实时性更好。

语义通信的数学理论

自从1948年经典信息论诞生以来,在其指导下,现代通信技术已经逼近了理论性能极限,例如信息熵H(U)、信道容量C=max_(p(x))I(X;Y)以及率失真函数R(D)=min_(p(x|x):Ed(x,x)≤D)I(X;X)。长期以来,由于经典信息论只研究语法信息,限制了通信科学的进一步发展。近年来,研究语义信息处理与传输的通信技术获得了学术界的普遍关注,语义通信开辟了未来通信技术发展的新方向,但还缺乏一般性的数学指导理论。为了解决这一难题,构建了语义信息论的理论框架,对语义信息的度量体系与语义通信的理论极限进行了系统性阐述。首先,通过深入分析各类信源的数据特征,以及各种下游任务的需求,总结归纳出语义信息的普遍属性——同义性。由此指出语义信息是语法信息的上级概念,是许多等效或相似语法信息的抽象特征,表征隐藏在数据或消息背后的含义或内容。将语义信息与语法信息之间的关系命名为同义映射,这是一种“一对多”映射,即一个语义符号可以由许多不同的语法符号表示。基于同义映射f这一核心概念,引入语义熵H_(s)(U)作为语义信息的基本度量指标,表示为信源概率分布与同义映射的泛函。在此基础上,引入上/下语义互信息I^(s)(X;Y)(I_(s)(X;Y)),语义信道容量C_(s)=max_(f_(xy))max_(p_((x)))I^(s)(X;Y)以及语义率失真函数R_(s)(D)=min_({f_(x),f_(x)})min_(p(x|x):Ed_(s)(x,x)≤D)I_(s)(X;X),从而构建了完整的语义信息度量体系。这些语义信息度量是经典信息度量的自然延伸,都由同义映射约束,如果采用“一对一”映射,则可以退化为传统的信息度量。由此可见,语义信息度量体系包含语法信息度量,前者与后者具有兼容性。其次,证明了3个重要的语义编码定理,以揭示语义通信的性能优势。基于同义映射,引入新的数学工具——语义渐近均分(AEP),详细探讨了同义典型序列的数学性质,并应用随机编码和同义典型序列译码/编码,证明了语义无失真信源编码定理、语义信道编码定理和语义限失真信源编码定理。类似于经典信息论,这些基本编码定理也都是存在性定理,但它们指出了语义通信系统的性能极限,在语义信息论中起着关键作用。由同义映射和这些基本编码定理可以推断,语义通信系统的性能优于经典通信系统,即语义熵小于信息熵H_(s)(U)≤H(U),语义信道容量大于经典信道容量C_(s)≥C,以及语义率失真函数小于经典率失真函数R_(s)(D)≤R(D)。最后,讨论了连续条件下的语义信息度量。此时,同义映射转换为连续随机变量分布区间的划分方式。相应地,划分后的子区间被命名为同义区间,其平均长度定义为同义长度S。特别是对于限带高斯信道,得到了一个新的信道容量公式C_(s)=B log[S^(4)(1+P/N_(0)B)],其中,平均同义长度S表征了信息的辨识能力。这一容量公式是经典信道容量的重要扩展,当S=1时,该公式退化为著名的香农信道容量公式。综上所述,语义信息论依据同义映射这一语义信息的本质特征,构建了语义信息的度量体系,引入新的数学工具,证明了语义编码的基本定理,论证了语义通信系统的性能极限,揭示了未来语义通信的巨大性能潜力。

基于改进ORB特征的图像处理方法

针对传统的ORB(Oriented fast and rotated brief)算法在运算速度以及精度方面有时难以满足某些应用场合实际要求,在特征点提取阶段,利用金字塔光流法提取特征点并划分有效及无效区域特征点,从而降低特征点匹配个数和提高后续运算特征点匹配速度;在特征点匹配阶段,将传统算法中的欧氏距离改为曼哈顿距离,再用MLESAC算法来剔除误匹配点。将SURF(Speeded up robust features)算法、SIFT(Scale-invariant feature transform)算法、ORB算法和改进后的ORB算法对光照条件不同、模糊度不同以及尺度大小不同的两张图像进行处理,改进后的ORB算法无论是在匹配速度还是匹配精度方面相比于传统ORB算法都有了明显改善。

基于MaxEnt模型的石柱县马尾松毛虫害风险空间分布估测

【目的】精准掌握重庆市石柱土家族自治县马尾松毛虫害的风险范围,为及时有效地防治虫灾提供有力依据。【方法】选取60个马尾松毛虫分布点的数据,结合该县马尾松区域的地形、气候和人为因子,用MaxEnt模型估测该县的马尾松毛虫害风险。通过环境因子的百分比贡献率、置换重要性和环境因子响应曲线,探讨该县马尾松毛虫适宜生境条件。利用该模型的“训练遗漏、预测面积和阈值达到平衡”的阈值和“阈值熵与原始分布熵相等”的阈值对风险区进行风险分级,将该区域的马尾松毛虫害风险等级划分为低风险、中风险和高风险,并通过地理信息系统统计各个风险区的区域面积。通过该模型AUC均值验证估测精度,以及对比该县2022年马尾松毛虫飞防的区域内各风险区面积占比,对风险分级效果进行验证。【结果】1)年均降水量、月均潜在蒸散发量、距居民点距离和海拔为影响该县马尾松毛虫生存的主要环境因子。2)MaxEnt模型的训练和测试的AUC均值分别为0.92与0.87,标准差为0.013,小于0.05,表明模型的结果为优,预测结果的可靠性高,可用于该县马尾松毛虫害风险估测;通过对比2022年石柱县春季马尾松毛虫的飞防区域,面积占比高达99.05%,表明高风险区分布与其实际分布高度一致,分级效果好。3)该县马尾松毛虫害高风险区主要集中于临溪镇、悦崃镇、鱼池镇、河嘴乡和万朝镇等;王场镇、龙沙镇、王家乡、西沱镇、黎场乡、沿溪镇和万朝镇的高风险区面积占各自乡镇马尾松区域面积高达90%以上。【结论】研究表明,石柱县的马尾松毛虫害高风险区主要集中在西部和北部的乡镇,通过对乡镇间与乡镇内高风险区分布的统计分析,更全面地了解了马尾松毛虫的风险区分布,可为马尾松毛虫的针对性防治与监管提供科学依据。

基于最大信息系数法和邓熵的D-S证据理论改进

物联网中大量传感器采集的数据存在不确定性,针对D-S证据理论在处理冲突证据时融合决策结果与事实相悖的问题,文章提出一种新的基于改进D-S证据理论的多传感器数据融合算法,首先使用最大信息系数法计算证据间的可信度;然后结合信息熵对证据的不确定度进行分析,以确定新的权重;最后使用Dempster组合规则得到融合结果。算例分析表明,文章所提方法能有效融合冲突证据,较经典算法有较高的基本概率分配。将所提方法用于传感器数据处理,不仅能降低数据中存在的不确定性,还能有效处理D-S理论中的冲突问题,从而得到较为准确的融合结果。

基于MaxEnt与ArcGIS的中国角茴香生态适宜性区划研究

利用最大熵模型(MaxEnt)和地理信息系统(ArcGIS),结合相关生态因子,对角茴香的生态适宜性范围进行预测和分析。收集角茴香在中国的205个经纬度信息,结合19项生态因子应用MaxEnt模型和ArcGIS对角茴香的潜在适生分布区进行分析。影响角茴香潜在分布的主要生态因子包括,最冷季节降水量、最冷季节平均温度、最暖季节降水量、昼夜温差与年温差比值等。当前气候条件下,角茴香高度适宜生长的区域主要集中在北京、河北北部、山西、河南、陕西和内蒙古南部等,面积约为77.4×104 km2;未来气候条件下,适生区将向东北部和西部扩张。该研究预测的结果与角茴香实际分布区域相符,为角茴香的可持续利用和角茴香的引种栽培提供重要的理论依据。

基于MaxEnt模型的湖北烟区潜在适宜性分布及其环境特征分析

为全面评价生态气候因子对湖北省烟叶生长发育的影响,利用2008—2020年中国气象局陆面数据同化系统(CMA land data assimilation system,CLDAS)数据集和其他环境因子,基于最大熵模型(MaxEnt),利用湖北省西部烟区实际种植点位模拟湖北省烟区的潜在适宜性分布,并评估影响适宜性分布的主导环境因子。结果显示:MaxEnt模型对烟草适宜性分布的模拟预测精度较高(AUC=0.854)。海拔(650~1750 m)、土壤类型(黄壤)、团棵期平均最低气温(8.9~15.0℃)、旺长期平均气温(16.0~22.9℃)、成熟期平均气温(18.8~25.6℃)是影响湖北烟草分布的主导环境因子。烟草的高适生区主要分布在恩施、十堰和襄阳南部及宜昌东南部,占湖北省总面积的18.2%,80%区域的海拔为700~1350 m、团棵期平均最低气温11.2~14.5℃、旺长期平均气温19.2~22.8℃、成熟期平均气温22.0~25.4℃。在所有环境因子中,海拔高度起决定性作用,温度则是影响烟草生长发育的重要气象因子。研究表明,本研究结果与湖北烟区实际空间分布基本相符。

基于极大熵方法的反向散射通信资源分配算法

针对因反向散射通信节点存在重叠、混乱分布情况,导致通信效率降低、资源分布不均匀问题,提出基于极大熵方法的反向散射通信资源分配算法。以资源累积奖励期望作为目标函数,利用极大熵方法求得资源节点在不同状态下的局部最优值,采用贝尔曼迭代逐次递归求解资源分配最大熵值参数。基于分配信息熵概念,根据信息熵与资源均匀性间的正比关系,将反向散射通信不同区域节点的信息熵值和时延变化参数作为约束条件。将反向散射系数、传输功率、反射端子载波数的实时状态输入约束函数,获取最优资源分配因子,按照分配因子对通信参数逐一调试直至满足最佳资源分配条件。实验结果证明,所提方法性能表现优异,应用后通信系统能效得到了明显改善,资源分配效果更优。

Information Worth of MinMaxEnt Models for Time Series

In this study, by starting from Maximum entropy (MaxEnt) distribution of time series, we introduce a measure that quantifies information worth of a set of autocovariances. The information worth of autocovariences is measured in terms of entropy difference of MaxEnt distributions subject to different autocovariance sets due to the fact that the information discrepancy between two distributions is measured in terms of their entropy difference in MaxEnt modeling. However, MinMaxEnt distributions (models) are obtained on the basis of MaxEnt distributions dependent on parameters according to autocovariances for time series. This distribution is the one which has minimum entropy and maximum information out of all MaxEnt distributions for family of time series constructed by considering one or several values as parameters. Furthermore, it is shown that as the number of autocovariances increases, the entropy of approximating distribution goes on decreasing. In addition, it is proved that information worth of each model defined on the basis of MinMaxEnt modeling about stationary time series is equal to sum of all possible information increments corresponding to each model with respect to preceding model starting with first model in the sequence of models. The fulfillment of obtained results is demonstrated on an example by using a program written in Matlab.

Information Theory Model for Radiation

Information based models for radiation emitted by a Black Body which passes through a scattering medium are analyzed. In the limit, when there is no scattering this model reverts to the Black Body Radiation Law. The advantage of this mathematical model is that it includes the effect of the scattering of the radiation between source and detector. In the case when the exact form of the scattering mechanism is not known a model using a single scattering parameter is derived. A simple version of this model is derived which is useful for analyzing large data.

信息熵原理探讨及其在二元系统的应用

信息熵通常用以衡量随机变量的不确定性,在物理学、统计学、信息论等领域发挥着重要作用,帮助我们理解和解释各种现象。与热力学中的熵不同,信息熵呈现一定的秩序性,这与熵所代表的无序和复杂性形成鲜明对比。以二元统计模型为例,探讨信息熵与随机事件之间的联系,定量描述信息熵的演化过程,揭示信息熵秩序性的本质规律。

基于最大熵的新型冠状病毒代际间隔分布估计

传染病代际间隔τ对于探究病毒传播规律具有重要的理论与实用价值,而通常其概率分布函数是未知的。因此,尝试利用最大熵方法推断代际间隔分布函数的最概然形式,详细分析了全球20个国家4986个新型冠状病毒病例信息,在充分考虑样本多样性的基础上估计了该病毒代际间隔的总体均值和方差,然后基于此方法推定了全球新型冠状病毒代际间隔分布函数并以此计算了中国的基本再生数。研究结论有助于进一步客观地分析病毒传播特征,为制定常态化疫情防控对策和相关领域研究提供重要的参考价值。

优势加权互信息最大化的最大熵分层强化学习

近年来,深度强化学习在控制任务中取得了显著的效果.但受限于探索能力,难以快速且稳定地求解复杂任务.分层强化学习作为深度强化学习的重要分支,主要解决大规模问题.但是仍存在先验知识设定的不合理和无法有效平衡探索与利用等难题.针对以上问题,提出优势加权互信息最大化的最大熵分层强化学习(Maximum Entropy Hierarchical Reinforcement Learning with Advantage-weighted Mutual Information Maximization,HRLAMIM)算法.该算法通过优势函数加权重要性采样与互信息最大化,解决由策略引起的样本聚类问题,增加内部奖励来强调Option的多样性.同时,将奖励引入最大熵强化学习目标,使策略具有了更强的探索性和更好的稳定性.此外,采用Option数量退火方法,不仅减少了先验知识对性能的影响,还平衡了算法的探索与利用,并获得了更高的样本效率和更快的学习速度.将HRL-AMIM算法应用于Mujoco任务中,实验表明,与传统深度强化学习算法和同类型的分层强化学习算法相比,HRL-AMIM算法在性能和稳定性方面均具有较大的优势.进一步通过消融实验和超参数敏感性实验,验证了算法的鲁棒性和有效性.

挑流泄洪雾化的水滴联合信息熵数学模型

当挑流水舌高速冲击下游水面时,在下游空间会形成大量的运动水滴,如何确定这些水滴粒径的分布已成为一个重要的科学问题。气象上各类降雨滴谱常用Gamma分布来拟合,在泄洪雾化水滴粒径分布的建模中,也多采用Gamma分布来模拟其滴谱分布,但是这种方法缺乏物理意义,而且计算的精度不高。为克服Gamma分布的不足,基于最大熵增方法,提出了一种在非平衡开放体系下的水滴宏观和微观的联合信息熵分布模型,并建立误差函数的方法对模型参数进行求解。计算结果表明,本文构建的联合分布模型的计算结果与实验数据吻合最好,在不同工况下,联合模型计算结果比Gamma、传统最大熵分布计算的结果决定系数分别高3.5%、25.3%,均方根误差分别低72.4%、79%。在不同的工况下,液滴平均直径之间存在等成正比关系,为泄洪雾化粒径分布的预测提供了理论基础。

基于Shannon熵与声发射信号的CBN砂轮性能监测方法研究

为了在磨削加工过程中能够有效判别CBN(Cubic Boron Nitride)砂轮的磨削性能,提出了一种基于Shannon熵理论与声发射信号的CBN砂轮性能监测方法。首先,利用声发射传感器采集CBN砂轮磨削加工过程中的声发射信号,基于最大信息熵对CBN砂轮磨削加工过程中的声发射信号进行概率密度估计,获得磨削加工过程中声发射信号的最大熵概率密度分布。然后,通过分析研究CBN砂轮在修整过后循环磨削以及不同直径剩余磨削时的声发射信号特征,根据交叉熵原理分析CBN砂轮不同磨削性能时声发射信号最大熵概率密度分布,并通过设定交叉熵阈值来辨别磨削加工过程中CBN砂轮的磨削性能。最后,为验证该方法的实用性,在某工厂CBN砂轮磨削产品生产线上进行大量实验研究,结果表明,该方法对CBN砂轮磨损状态及CBN砂轮剩余寿命进行有效监测,验证了该方法监测CBN砂轮在磨削加工过程中磨削性能的有效性。

飞机整体驱动发电机可靠性与维修策略探究

针对飞机整体驱动发电机可靠性分析手段缺乏、故障样本小且维修策略相对保守的问题,提出了以历史故障数据为驱动的贝叶斯和马尔可夫链融合的可靠性分析方法。首先,利用蒙特卡洛方法对故障数据预处理以增大样本空间,并通过最大信息熵法求解飞机整体驱动发电机的先验分布;其次,利用马尔可夫链方法对复杂后验分布进行解算;最后,以可靠性为中心给出飞机IDG的维修建议。经过数值仿真软件计算后得IDG的累计失效函数参数估计误差分别为0.1213和0.0013,误差较小。仿真结果表明,提出的可靠性分析方法适用于小样本空间的飞机IDG可靠性分析,并根据结果给出了维修建议。