基于生成式摘要模型和知识蒸馏算法的铁路调度命令解析算法研究

随着铁路信息化的发展,利用算法自动解析大量铁路调度命令(简称:调令)的重要性日益凸显。文章提出了一种基于生成式摘要模型和知识蒸馏算法的铁路调令解析算法,该算法利用生成式摘要模型端到端解析铁路调令,拥有较高的精度和较强的鲁棒性,适应写法多样的调令。采用知识蒸馏算法等多种轻量化策略,设计了新的损失函数和多种模型初始化策略,精简模型尺寸,提升算法速度。该算法在铁路调令数据集上取得了21.6342的Rouge-2分数,推理时间达103 ms,为铁路调令解析技术在铁路场景中的部署提供了参考。

安全性可控的生成式文本隐写算法

生成式文本隐写算法通过对候选池中的单词进行控制性选择映射来隐藏秘密信息,通常包含3个模块:文本生成模型、候选池概率分布截断和隐写嵌入算法。由于不同时刻文本生成模型输出的概率分布差异巨大,现有算法通常采用top-k或top-p对候选池单词的概率分布进行截断,以减少低概率的生成词,提高生成文本的安全性。当文本生成模型输出的候选池概率分布过于集中(over-concentrated)或过于平坦(over-flat)时,原有的top-k或top-p截断方式不足以应对概率分布的变化,容易产生概率较低的词或忽略概率较高的词,导致生成文本的安全性指标出现异常。针对此类问题,提出了安全性可控的生成式文本隐写算法,在候选池中根据秘密信息控制性选择生成词时,所提算法基于困惑度和KL散度的参数约束,动态进行候选池概率分布的截断,使候选池中所有单词都满足参数约束,提高了生成文本的安全性。实验结果表明,所提算法生成的隐写文本困惑度和KL散度可控;在相同KL散度情况下,生成文本的困惑度较现有算法下降最高达20%~30%;可以同时控制困惑度和KL散度,在指标合理的情况下,使生成的文本同时满足困惑度和KL散度两个指标。在使用3种文本隐写分析算法检测生成的隐写文本时,检测准确率均在50%左右,表现出很好的统计安全性。