基于字词融合的低词汇信息损失中文命名实体识别方法

中文命名实体识别(CNER)任务是一种自然语言处理技术,旨在识别文本中具有特定类别的实体,如人名、地名、组织机构名等,它是问答系统、机器翻译、信息抽取等自然语言应用的基础底层任务。由于中文不具备类似英文这样的天然分词结构,基于词的NER模型在中文命名实体识别上的效果会因分词错误而显著降低,基于字符的NER模型又忽略了词汇信息的作用,因此,近年来许多研究开始尝试将词汇信息融入字符模型中。WC-LSTM通过在词汇的开始字符和结束字符中注入词汇信息,使模型性能获得了显著的提升。然而,该模型依然没有充分利用词汇信息,因此在其基础上提出了基于字词融合的低词汇信息损失NER模型LLL-WCM,对词汇的所有中间字符融入词汇信息,避免了词汇信息损失。同时,引入了两种编码策略平均(avg)和自注意力机制(self-attention)以提取所有词汇信息。在4个中文数据集上进行实验,结果表明,与WC-LSTM相比,该方法的F1值分别提升了1.89%,0.29%,1.10%和1.54%。

粗糙集的信息损失及其多阶定义

粗糙集的模型众多,但缺乏对这些模型的信息损失研究.针对粗糙集模型的信息损失问题,提出了一种计算信息损失的方法,根据信息损失的不同将粗糙集模型分为3类:零阶粗糙集、一阶粗糙集和二阶粗糙集.首先,针对粗糙集模型,给出了计算信息损失的方法;其次,定义了比零阶粗糙集信息损失少的一阶粗糙集,并定义了它们的属性约简;最后,定义了无信息损失的二阶粗糙集,并给出了其属性约简的定义.研究成果为研究粗糙集模型提供了一个新的视角,并为粗糙集和粒计算的研究者提供一些启示.

线性离散系统最小信息损失动态状态估计原理及其在热网中的应用

综合能源系统作为未来能源系统的发展趋势,可以有效地助力我国“双碳”目标的实现。状态估计作为能量管理系统的基础核心,在综合能源系统领域变得日益重要。无论是热网还是气网,其动态过程的建模最后都可以转化为线性离散系统的形式。因此,该文从信息科学的视角对线性离散系统动态状态估计的理论基础进行研究。根据最小信息损失(minimuminformationloss,MIL)决策原理,提出通用的线性离散系统MIL动态状态估计新原理,建立MIL动态状态估计模型,分析不同时刻噪声相关性、不同噪声概率分布类型对该模型的影响,在理论上证明全信息滚动时域估计、多断面加权最小二乘、多断面加权最小绝对值等常用估计方法均为MIL动态状态估计在一定假设下的特例。进一步以热网为例对该原理进行验证,建立热网状态空间模型和热网MIL动态状态估计模型,对该模型在考虑不同噪声概率分布类型、不同时刻噪声相关性、预测信息等方面的普适性进行验证。

电力系统中基于信息量损失最小的决策原理

作为电力信息学的基础理论之一 ,将电力系统的分析决策过程看成是一个广义的信息重建过程。针对电力系统中普遍的概率型信息 ,从传统的信息理论出发 ,建立了广义的信道模型 ,提出了基于信息量损失最小的决策原理 ,推导了信息量及信息损失量的计算方法。介绍了在能量管理系统(EMS)的网络拓扑错误辨识中的原理性应用实例 ,通过科学的量化 ,将网络拓扑错误辨识问题转变成新颖的优化决策模型的求解问题。研究表明 。

最小信息损失综合短期负荷预测(二):算法和算例

该文引入信息理论分析电力系统的负荷预测以及可再生能源出力预测,将其描述为信息决策过程,并提出了短期负荷预测中的最小信息损失(minimization of information loss,MIL)综合模型,利用历史负荷与预测误差的分布情况在信息损失最小的原则下求解最可能的负荷取值。针对MIL综合模型中概率分布的估计问题,文中应用了正态分布参数估计和Parzen窗估计2种不同的方法,给出了各自的算法和实现方案。算例部分通过用实际电网负荷数据和实际风力发电出力数据进行测试,研究了MIL综合模型结构与参数对预测结果的影响,并在与传统综合模型的比较中显示了新模型的优越性。

属性约简准则与约简信息损失的研究

属性约简是粗糙集的重要研究内容,信息熵是度量信息量的方法.在研究绝对约简和几种相对约简的基础上,归纳出属性约简的一般准则.定义了基于条件属性信息熵的属性约简和基于联合熵的属性约简,研究了几种属性约简与绝对约简之间的关系.定义了基于条件属性信息熵的约简信息损失,澄清了属性约简不损失信息的含糊观念,指出了属性约简只是在约简准则意义下不损失信息,在信息熵意义下可能损失信息.为进一步研究粗糙集、粒计算中属性约简与分类夯实了信息论基础.

电力系统最小信息损失状态估计的信息学原理

状态估计作为能量管理系统(EMS)和实时电力市场的基础和核心,正在变得日益重要。该文从信息科学的新视角,对电力系统状态估计的数学基础进行了研究。根据最小信息损失(MIL)决策原理,提出了能够适用于各种概率分布的通用的 MIL 状态估计新原理。并在理论上证明了加权最加权最小二乘(WLAV)估计法都是MIL 状态估计的特例,将传统状态估计方法在信息学的意义上统一起来,赋予了传统状态估计方法全新的信息学内涵。在 MIL 意义上,针对次输电系统和配电系统状态估计中普遍采用的电流幅值量测,得到了大电流是 WLS 估计法的近似条件。用算例比较了 MIL 和 WLS 状态估计的估计结果,进一步验证了 WLS 法在非正态分布时的近似条件。

主成分分析中的信息损失及其效率估计

首先阐明了主成分分析中信息损失的不可避免性,接着提出了对主成分进行效率统计的概念,并构造了效率统计量,最后模拟了该统计量的分布,得到了一般性的结论。

最小信息损失综合短期负荷预测(一)—理论

该文引入信息理论分析电力系统的负荷预测,将其描述为信息决策过程,并提出了短期负荷预测中的最小信息损失(minimization of information loss,MIL)综合模型,利用历史负荷与预测误差的分布情况在信息损失最小的原则下求解最可能的负荷取值。针对MIL综合模型中概率分布的估计问题,文中应用了正态分布参数估计和Parzen窗估计2种不同的方法,给出了各自的算法。

信息传递中的信息损失认知与技术分析

本文从考察信息传递的一般过程出发,从认知、技术、社会3个方面对信息传递中的信息损失作了深入分析,提出信息模型和内容识别机制设计的重要任务之一就是最大限度地减少和避免信息的传递损失。

基于信息损失量估计的匿名图构造方法

首先分析了在进化的社会网络序列中,攻击者利用节点度信息,通过识别目标节点的方法对局部社会网络进行攻击过程,分析了利用k匿名方法对该类攻击进行隐私保护时存在的信息损失问题,针对该问题,提出了一种基于信息损失量估计的k匿名图流构造方法,通过子图节点属性泛化、子图内部结构的泛化控制图重构的信息损失,通过禁止子图内部扰动阻止网络攻击。定义匿名过程中由于图重构造成的节点和结构信息损失的估算方法,建立了基于贪婪聚类算法的网络节点的k匿名聚类算法,根据信息损失估计实现匿名分组,在进化的社会网络中以最小信息损失量构造匿名社会网络,在医疗诊断数据集上的实验表明所提方法能够较理想地控制信息损失量。

深度学习降维过程中的信息损失度量研究

深度学习是当前智能识别、数据挖掘等领域最重要的研究方向,通过组合低层特征,形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示.数据降维是深度学习过程中最为常见的一种过程,通过降维,能够去除数据间的相关性,便于提取更为有用的数据特征,提升识别率,加快识别速度.数据降维过程中,必然导致数据信息的损失,如何统计运用这个信息损失,目前还少有相关文献进行研究.通过对栈式自编码器深度学习算法进行研究,提出一种深度学习降维信息损失度量方法,将香农信息理论运用到降维信息损失度量中,计算深度学习降维过程中信息损失量,并研究其与算法性能的关系,为深度学习算法的改进提供数据支撑.

水资源配置方案综合评价中的信息损失测度研究

水资源配置的多属性特征使得在方案综合评价中依据不同的聚合方法,能够获得不完全一致的方案排序结果。本文从水资源配置方案评价的决策矩阵及方案排序结果中的信息量大小入手,利用信息熵理论和斯皮尔曼等级相关系数提出衡量水资源配置方案综合评价中信息损失的香农斯皮尔曼测度。并构造由2种权重(熵权法权重、证据理论权重)与3种评价模型(简单加权法、模糊优选法、TOPSIS)组合而成的6种综合评价模型。最后,将香农斯皮尔曼测度运用到天津市水资源配置方案综合评价过程中的信息损失的衡量,并与文献中的综合评价模型所得结果进行比较。结果表明,采用证据理论权重-模糊优选评价模型所得评价结果的绝对信息损失和相对信息损失最小。通过水资源配置方案综合评价中的信息损失测度研究,能够使得水资源配置方案综合评价过程更加透明,并为决策部门选取理想的水资源配置方案综合评价方法提供决策支持。

基于交叉格莱姆矩阵的最小信息损失模型降阶方法

运用信息论的原理和方法研究以状态空间形式描述的线性定常系统的模型降阶问题.应用线性定常系统及其对偶系统的稳态状态信息熵规范了系统能控性信息和能观性信息的定义形式.基于交叉格莱姆矩阵的系统信息属性,定义了交叉格莱姆信息.通过分析系统稳态状态信息熵的信息描述形式,揭示了交叉格莱姆信息的状态物理含义.在基于最小信息损失的模型降阶过程中以交叉格莱姆信息损失最小为目标,提出了新的模型降阶方法———CGMIL方法.理论分析和仿真结果表明,交叉格莱姆信息是包含系统能控性信息和能观性信息的综合信息描述形式,CGMIL方法与基于最小信息损失的模型降阶方法相比能够获得更好的降阶性能.

采用最小信息损失方法的汽车主动悬架控制器降阶研究

针对汽车悬架系统控制器阶数高、工程上难以实现的问题,建立了整车7自由度主动悬架模型,考虑人体对振动的敏感频段,设计了H∞加权控制器,以保证闭环系统稳定且具有较好的抗干扰性能。基于最小信息损失方法对20阶主动悬架控制器进行降阶研究。通过对降阶前后主动悬架闭环控制系统频域特性和乘坐舒适性的对比表明,将20阶主动悬架控制器降至8阶后,控制器状态的能控与能观信息损失之和小于50%,且悬架控制系统仍具有十分相近的控制性能。

相异敏感度下最小信息损失增量优先的隐私保护方法

针对不同敏感值的隐私保护程度需求,提出一种敏感度计算方法,将敏感值进行等级划分,再对不同等级的敏感值设定不同的敏感度;给出一种隐私保护原则(ε,k)-sensitivity来控制等价类中敏感度的分布情况,使得等价类中高敏感度的元组不会过多而造成隐私泄露;提出一种最小信息损失增量优先算法(minimum information loss increment first,MILIF)来实现隐私保护的要求。研究结果表明:所提出的方法在降低少量时间和保持数据效用的前提下,充分提高了数据表抵御敏感性攻击的能力。

基于信息损失最小的预警卫星传感器调度模型

科学合理地调度预警卫星传感器资源是提高弹道导弹预警作战效能的重要手段。在预警卫星传感器资源(主要是凝视探测器)有限而进攻弹道导弹目标数量较多时,利用最小信息损失准则,将传感器调度问题转化为最优访问路径问题进行建模研究,满足了导弹预警资源调度的需要,仿真结果验证了模型的可靠性和可用性。

信息传递中的损失研究

信息在其传递过程中会出现一些损失。

风电功率多采样间隔下损失信息度量及对预测影响研究

从采样间隔的角度分析风电功率的波动特性,提出波动标准差和信息熵指标,以此来衡量采样间隔变化后损失的信息量,分析其与多步滚度预测误差之间的关系。以吉林西部某风电场的实测数据为例,利用所提出的指标进行研究,给出合理的风电功率多步滚动预测模式下的采样间隔推荐值。

基于最小信息损失准则的降阶LQG控制器设计

从信息论的角度出发,研究了LQG控制器降阶问题。在考察系统内部状态信息描述的基础上,提出了两种基于交叉格莱姆矩阵最小信息损失的LQG控制器降阶方法。将由这两种方法得出的降阶LQG控制器分别与全阶LQG控制器、基于最小K-L信息距离的降阶控制器进行仿真对比研究,比较各闭环系统的控制性能。仿真结果表明,提出的降阶控制器能较好地逼近全阶控制器实现闭环系统性能。