自然语言处理领域中的词嵌入方法综述

词嵌入作为自然语言处理任务的第一步,其目的是将输入的自然语言文本转换为模型可以处理的数值向量,即词向量,也称词的分布式表示。词向量作为自然语言处理任务的根基,是完成一切自然语言处理任务的前提。然而,国内外针对词嵌入方法的综述文献大多只关注于不同词嵌入方法本身的技术路线,而未能将词嵌入的前置分词方法以及词嵌入方法完整的演变趋势进行分析与概述。以word2vec模型和Transformer模型作为划分点,从生成的词向量是否能够动态地改变其内隐的语义信息来适配输入句子的整体语义这一角度,将词嵌入方法划分为静态词嵌入方法和动态词嵌入方法,并对此展开讨论。同时,针对词嵌入中的分词方法,包括整词切分和子词切分,进行了对比和分析;针对训练词向量所使用的语言模型,从概率语言模型到神经概率语言模型再到如今的深度上下文语言模型的演化,进行了详细列举和阐述;针对预训练语言模型时使用的训练策略进行了总结和探讨。最后,总结词向量质量的评估方法,分析词嵌入方法的当前现状并对其未来发展方向进行展望。

人工智能在土木工程领域的应用研究现状及展望

作为新一代产业变革的核心驱动力,人工智能是全面提高土木工程领域数字化、自动化、信息化和智能化的重要方法。为全面了解人工智能在土木工程中的发展及应用,定性分析了人工智能的基本研究领域,定量分析了人工智能在土木工程设计、制造、养维护阶段的研究现状,利用CiteSpace可视化工具深入挖掘人工智能在土木工程中存在的问题、发展瓶颈和研究趋势,并给出相应的解决办法及研究思路。通过文献综述发现,土木工程领域已展开了大量人工智能研究,但各阶段智能化发展不均衡,实际应用也存在一定局限性,需深入探索神经网络、大数据、深度学习等智能技术在土木工程全生命周期的交叉融合,促进土木工程领域人工智能研究的协同发展。

基于平行测试的认知自动驾驶智能架构研究

在大数据、云计算和机器学习等新一代人工智能技术的推动下,自动驾驶的感知智能在近年来得到显著的提升与发展.然而,与人类驾驶过程中隐含的以自我目的实现为引导的自探索性和自主性相比,现阶段自动驾驶技术主要以辅助驾驶功能为主,还停留在以被动感知、规划与控制为主的初级智能自动驾驶阶段.为实现车辆智能从数据驱动的环境感知、辅助决策、被动规划到知识驱动的场景认知、推理决策、主动规划的提升,亟需增强车辆自身对复杂外界信息归纳提炼、推理决策、评价估计等类人能力.首先回顾自动驾驶关键技术演化及其应用发展历程;随后分析测试对车辆智能评估的效用;然后基于平行测试理论,提出自动驾驶车辆认知智能训练、测试与评估空间的构建方法,并设计基于平行测试的认知自动驾驶智能训练框架.该项研究工作预期能为推动自动驾驶从感知智能向认知智能的升级提供可行的技术支撑与实现路径.

多机协同智能发展战略研究

多个自主智能系统通过信息、行为交互构成的多机协同智能,代表着未来智能系统的必然发展趋势,是我国新一代人工智能规划部署的主攻方向,也是支撑国防、社会安全的核心技术和推动制造业由大到强的必由之路。开展突破多机协同智能技术发展研究,对于推动我国军事智能、智能产业高质量发展、加快工业转型升级具有重要意义。本文基于多机协同智能系统当前面临的难以适应复杂任务这一挑战,从基础理论和核心关键技术两个层面出发,系统地梳理了多机协同智能的研究现状,分析了制约基础理论与关键技术发展的主要瓶颈性问题,并以多机协同智能制造为典型应用,剖析理论与技术发展中存在的问题。研究认为,多机协同智能将朝着人机群组智能的方向发展,为抢占发展先机,需及早布局人机群组智能的基础理论探索,加速核心技术突破,并加快应用示范。

“生成式人工智能”(AIGC)及其哲学意蕴

从“生成式的AI”或“生成式的人工智能”(AIGC)的角度看,需要关注“自然生成”“人工智能生成”“社会生成”或“伦理生成”之间的关联和区分。人工智能具有确定性与生成性,它从一个侧面体现了being与becoming的沟通和统一。从传统意义上的人禽之辨到人机之辨,体现了重要的转换,但二者在本质上都关乎何为人的追问。人工智能所体现的理性具有非原创的意义,人所具有的理性推论能力作为人的本质,则具有原创性。相对于人而言,AI作为一种机器,归根到底还是属于“器”,只具有工具意义,不具有独立的人格,也难以获得伦理主体的地位。此外,人工智能主要表现为人的创造的一种结果,真正的原创意义上的智能只有人才具有。从这一意义上说,只有人才是原始的创造者,把人工智能看作比人更高级的动物,并不合乎事实。人工智能发展可以取代很多人的工作,这在本质上如同在近代工业的发展过程中,机器不断取代手工操作,二者情形相近,原理也一致。从更深远的意义上说,这也是人不断地走向人性化的社会、达到真正自由存在形态的一个环节或前提。科技的发展可以使我们对世界的细节、对某些方面越来越深化,但是总体上对世界的把握离不开哲学。另一方面,科学发展具有自主之性或惯性,后者需要哲学为其提供价值引导。

基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著提升,相较于最优对比模型最高分别提升4.7%和5.3%。

情感对话技术综述

情感对话技术着眼于对话机器人的“情商”,旨在让对话机器人具有像人类一样观察、理解和表达情感的能力.这项技术可以看作是情感计算和对话技术的交叉,兼顾对话机器人的“智商”和“情商”,从而实现对用户的精神陪伴、情感慰藉和心理疏导.结合对话中情感的特点,对情感对话技术进行全面解析:1)规划对话场景下的情感识别、情感管理、情感表达等3个重要的技术点,并拓展多模态场景下的情感对话技术.2)介绍情感对话4项关键技术的最新研究进展,并总结这些技术面临的主要挑战和可能解决方案.3)介绍情感对话技术的数据资源.4)分析情感对话技术的难点,展望其未来发展方向与前景.

多智能体深度强化学习研究进展

深度强化学习(Deep Reinforcement Learning,DRL)在近年受到广泛的关注,并在各种领域取得显著的成功.由于现实环境通常包括多个与环境交互的智能体,多智能体深度强化学习(Multi-Agent Deep Reinforcement Learning,MADRL)获得蓬勃的发展,在各种复杂的序列决策任务上取得优异的表现.本文对多智能体深度强化学习的工作进展进行综述,主要内容分为三个部分.首先,我们回顾了几种常见的多智能体强化学习问题表示及其对应的合作、竞争和混合任务.其次,我们对目前的MADRL方法进行了全新的多维度的分类,并对不同类别的方法展开进一步介绍.其中,我们重点综述值函数分解方法,基于通信的MADRL方法以及基于图神经网络的MADRL方法.最后,我们研究了MADRL方法在现实场景中的主要应用.希望本文能够为即将进入这一快速发展领域的新研究人员和希望获得全方位了解并根据最新进展确定新方向的现有领域专家提供帮助.

层级引导的增强型多目标萤火虫算法

针对多目标萤火虫算法在求解过程中易产生振荡和聚集现象,导致开发能力较弱、求解精度不佳的问题,提出一种层级引导的增强型多目标萤火虫算法(hierarchical guided enhanced multi-objective firefly algorithm,HGEMOFA)。构建层级引导模型,利用非支配排序获得不同层级个体,用优势层个体引导劣势层个体进化,明确引导方向,解决了进化过程中出现的振荡,减少了聚集现象的出现,增强了算法收敛性;引入莱维飞行扰动最优层个体,增强算法的全局搜索能力;每代进化完成后,对当前种群采用变异机制,增强算法的局部开发能力;把变异后的种群和前一代种群合并进行环境选择,筛选出和前一代种群规模相同的子代,避免优势解丢失。实验结果表明:HGEMOFA能有效增强解的收敛性和多样性。

人工智能风险治理:模式、工具与策略

人工智能技术在近二十年飞速迭代,由此产生的风险治理挑战呼唤治理模式与治理工具的创新。规制型治理、创新型治理、自治型治理、市场导向型治理、集中式治理、敏捷治理是目前较为成熟的风险治理模式,法律规制、伦理规范、数据算法、社会场景等领域的新兴风险催生更具体、更灵活的风险治理工具,以适应新涌现的风险治理需求。中国坚持人工智能技术创新与风险治理的协同改进和动态均衡,逐步向敏捷治理模式转变,各具体领域的风险治理工具呈现全面性、及时性、精准性的特征。中国应从治理理念更新、多元主体协同、强度刚柔并济、工具灵活有效、追求可信目标等方面提升风险应对能力,并将国家、政府、企业、公众纳入风险治理模式构建全过程,实现治理工具在各领域的多维组合性使用。

基于Nadam-TimeGAN和XGBoost的时序信号故障诊断方法

为了提高故障诊断模型在数据不平衡场景下的诊断性能和模型泛化能力,提出了一种基于Nadam-TimeGAN和XGBoost的时序信号故障诊断方法。首先对比基于LSTM和GRU的TimeGAN模型,选取性能更优的GRU网络作为TimeGAN模型的组成单元,然后采用Nadam优化算法对TimeGAN模型的各组件进行优化,即构建Nadam-TimeGAN模型用以数据扩充,最后构建一个平衡的数据集输入XGBoost集成学习模型进行分类训练。实验选取转辙机动作电流数据集进行验证性实验,选取MFPT轴承数据集和CWRU轴承数据集进行泛化性实验,并与8种方法进行对比,结果表明,所提方法在准确率、召回率以及F1-score这3种评价指标上均高于其他方法,从而验证了所提方法在不平衡数据故障诊断方面的有效性和泛化性。

基于多样真实任务生成的鲁棒小样本分类方法

随着大数据、计算机与互联网等技术的不断进步,以机器学习和深度学习为代表的人工智能技术取得了巨大成功,尤其是最近不断涌现的各种大模型,极大地加速了人工智能技术在各个领域的应用.但这些技术的成功离不开海量训练数据和充足的计算资源,大大限制了这些方法在一些数据或计算资源匮乏领域的应用.因此,如何利用少量样本进行学习,也就是小样本学习成为以人工智能技术引领新一轮产业变革中一个十分重要的研究问题.小样本学习中最常用的方法是基于元学习的方法,这类方法通过在一系列相似的训练任务上学习解决这类任务的元知识,在新的测试任务上利用元知识可以进行快速学习.虽然这类方法在小样本分类任务上取得了不错的效果,但是这类方法的一个潜在假设是训练任务和测试任务来自同一分布.这意味着训练任务需要足够多才能使模型学到的元知识泛化到不断变化的测试任务中.但是在一些真正数据匮乏的应用场景,训练任务的数量也是难以保证的.为此,提出一种基于多样真实任务生成的鲁棒小样本分类方法(DATG).该方法通过对已有少量任务进行Mixup,可以生成更多的训练任务帮助模型进行学习.通过约束生成任务的多样性和真实性,该方法可以有效提高小样本分类方法的泛化性.具体来说,先对训练集中的基类进行聚类得到不同的簇,然后从不同的簇中选取任务进行Mixup以增加生成任务的多样性.此外,簇间任务Mixup策略可以减轻学习到与类别高度相关的伪判别特征.同时,为了避免生成的任务与真实分布太偏离,误导模型学习,通过最小化生成任务与真实任务之间的最大均值差异(MMD)来保证生成任务的真实性.最后,从理论上分析了为什么基于簇间任务Mixup的策略可以提高模型的泛化性能.多个数据集上的实验结果进一步证明了所提出的基于多样性和真实性任务扩充方法的有效性.

基于模糊三支区间集半概念知识提取方法研究

为了解决只需要考虑属性区间集到对象区间集的问题,将经典半概念理论引入三支区间集中,对于一个模糊形式背景,定义了面向属性的模糊区间集半算子,用此算子得到模糊AE-区间集半概念;讨论了该类半概念的偏序关系和格结构,进而得到求同一形式背景下模糊AE-区间集半概念全体的算法。对偶地,得到模糊OE-区间集半概念定义和其格结构,以及寻找模糊OE-区间集半概念全体的算法。所得结果有助于拓展概念格和区间集理论的应用范围,也为知识提取提供了一种有益的方法。

多舱共配绿色车辆路径问题的改进变邻域搜索算法

针对社区团购前置仓配送场景中“多中心、高时效、多品类、高排放”难题,本文提出多车场带时间窗的绿色多舱车车辆路径问题(MDMCG-VRPTW),构建混合整数线性规划模型,并设计改进的变邻域搜索算法(IVNS)实现求解.采用两阶段混合算法构造高质量初始解.提出均衡抖动策略以充分探索解空间,引入粒度机制以提升局部搜索阶段的寻优效率.标准算例测试结果验证了两阶段初始解构造算法和IVNS算法的有效性.仿真实验结果表明,模型与算法能够有效求解MDMCGVRPTW,且改进策略提高了算法的求解效率和全局搜索能力.最后,基于对配送策略和时效性的敏感性分析,为相关配送企业降本增效提供更多决策依据.

面向不同类型概念漂移的两阶段自适应集成学习方法

大数据时代,流数据大量涌现.概念漂移作为流数据挖掘中最典型且困难的问题,受到了越来越广泛的关注.集成学习是处理流数据中概念漂移的常用方法,然而在漂移发生后,学习模型往往无法对流数据的分布变化做出及时响应,且不能有效处理不同类型概念漂移,导致模型泛化性能下降.针对这个问题,提出一种面向不同类型概念漂移的两阶段自适应集成学习方法(two-stage adaptive ensemble learning method for different types of concept drift,TAEL).该方法首先通过检测漂移跨度来判断概念漂移类型,然后根据不同漂移类型,提出“过滤-扩充”两阶段样本处理机制动态选择合适的样本处理策略.具体地,在过滤阶段,针对不同漂移类型,创建不同的非关键样本过滤器,提取历史样本块中的关键样本,使历史数据分布更接近最新数据分布,提高基学习器有效性;在扩充阶段,提出一种分块优先抽样方法,针对不同漂移类型设置合适的抽取规模,并根据历史关键样本所属类别在当前样本块上的规模占比设置抽样优先级,再由抽样优先级确定抽样概率,依据抽样概率从历史关键样本块中抽取关键样本子集扩充当前样本块,缓解样本扩充后的类别不平衡现象,解决当前基学习器欠拟合问题的同时增强其稳定性.实验结果表明,所提方法能够对不同类型的概念漂移做出及时响应,加快漂移发生后在线集成模型的收敛速度,提高模型的整体泛化性能.

面向复杂物流配送场景的车辆路径规划多任务辅助进化算法

在现代社会中,复杂物流配送场景的车辆路径规划问题(Vehicle routing problem,VRP)一般带有时间窗约束且需要提供同时取送货的服务.这种复杂物流配送场景的车辆路径规划问题是NP-难问题.当其规模逐渐增大时,一般的数学规划方法难以求解,通常使用启发式方法在限定时间内求得较优解.然而,传统的启发式方法从原大规模问题直接开始搜索,无法利用先前相关的优化知识,导致收敛速度较慢.因此,提出面向复杂物流配送场景的车辆路径规划多任务辅助进化算法(Multitask-based assisted evolutionary algorithm,MBEA),通过使用迁移优化方法加快算法收敛速度,其主要思想是通过构造多个简单且相似的子任务用于辅助优化原大规模问题.首先从原大规模问题中随机选择一部分客户订单用于构建多个不同的相似优化子任务,然后使用进化多任务(Evolutional multitasking,EMT)方法用于生成原大规模问题和优化子任务的候选解.由于优化子任务相对简单且与原大规模问题相似,其搜索得到的路径特征可以通过任务之间的知识迁移辅助优化原大规模问题,从而加快其求解速度.最后,提出的算法在京东物流公司快递取送货数据集上进行验证,其路径规划效果优于当前最新提出的路径规划算法.

面向知识结构分析的模糊概念格模型

知识空间理论使用数学语言对学习者进行知识评价与学习指导,属于数学心理学的研究范畴.技能与问题是构成知识空间的两个基本要素,深入研究两者之间的关系是知识状态刻画与知识结构分析的内在要求.在当前的知识空间理论研究中,没有明确建立技能与问题之间的双向映射,从而难以提出直观概念意义下的知识结构分析模型,也没有明确建立知识状态之间的偏序关系,不利于刻画知识状态之间的差异,更不利于规划学习者未来的学习路径.此外,现有的成果主要集中在经典的知识空间,没有考虑实际问题中数据的不确定性.为此,将形式概念分析与模糊集引入知识空间理论,建立面向知识结构分析的模糊概念格模型.具体地,分别建立知识空间与闭包空间的模糊概念格模型.首先,建立知识空间模糊概念格,并通过任意两个概念的上确界证明所有概念的外延构成知识空间.引入粒描述的思想定义技能诱导的问题原子粒,由问题原子粒的组合判定一个问题组合是否是知识空间中的一个状态,进而提出由问题组合获取知识空间模糊概念的方法.其次,建立闭包空间模糊概念格,并通过任意两个概念的下确界证明所有概念的外延构成闭包空间.类似地,定义问题诱导的技能原子粒,由技能原子粒的组合判定一个技能组合是否是闭包空间中某一知识状态所需的技能,进而提出由技能组合获取闭包空间模糊概念的方法.最后,通过实验分析问题数量、技能数量、填充因子以及分析尺度对知识空间与闭包空间规模的影响.结论表明知识空间模糊概念不同于现有的任何概念,也不能从其他概念派生而来.闭包空间模糊概念本质上是一种面向属性单边模糊概念.在二值技能形式背景中,知识空间与闭包空间中的状态具有一一对应关系,但这种关系在模糊技能形式背景中并不成立.

ChatGPT与经济增长:影响机制与政策框架

以ChatGPT为代表的生成式人工智能具有广泛的应用领域,通过垂直和横向互补性拓展创新与生产率提升空间,对经济持续增长具有重要作用。具体而言,ChatGPT将推动科技进步进入加速期,提高劳动生产率,形成高效率的新产业,使数据、算法等要素更好地发挥作用。我国应根据ChatGPT在技术、经济等方面的特点,出台数据、资金、人工智能基础设施、落地应用等方面的政策,更好发挥类ChatGPT模型对经济的增长效应。

论NFT数字作品的权属特点与规则适用

NFT是一种技术,它通过对数字客体进行标识、登记和固定,使其具有可支配性和特定性。数字作品经过NFT处理后,其“物”的特性得到了强化,从而在一定程度上超出了债权客体的范畴,更接近于物权客体的特征。虽然NFT数字作品的铸造和交易应该适用物权规则,但在占有和处分这些作品的过程中,其登记性和非同质性特点却十分鲜明。因此,传统物权规则在应用于该种新型物时需要进行内部调整,同时还需要与外部规则相适配。NFT与区块链登记公示的高度绑定有别于传统的动产物权登记和著作权自愿登记,它应该比照不动产而非动产物权登记机制进行规范,并明确该登记行为在著作权规则中的地位。NFT通过独特识别符形成的非同质性,与同质化代币相比存在巨大差异,因此在适用货币化、证券化规则时应该更加谨慎。

“智慧+食品监管”:发展历程、应用现状与未来方向

大食物观为食品产业的未来发展提出了新的需求。随着食品产业的扩大和升级,影响食品安全的因素将变得越来越复杂,因而带来更为艰巨的食品安全风险防控任务。只有保障业态安全,食品产业才能健康和顺利发展。当前,有限的监管资源和力量与食品产业中繁重复杂的监管任务之间的矛盾日益凸显,传统的监管手段和方式难以满足食品产业的高质量发展需求。数据驱动下的计算机科学和智能技术为食品监管提供了技术切入点。在食品产业链中,实时采集各种信息形成“数据智能”,发展食品行业的智慧监管技术,有助于建设规范有序、协同高效的食品产业生态环境,为食品行业高质量发展提供保障。介绍了食品产业中智慧监管从初始到繁荣的发展历程,分析了智能技术在食品全产业链和食品监管体系数字化建设中的应用,指出了以安全为底线,以品质监测、营养分析、风味评估为新导向的食品智慧监管未来发展方向,探讨了食品行业智慧监管面临的机遇和挑战,希望为食品监管的智能化和高质量发展提供技术参考。