网络大模型专题导读

OpenAI公司基于“Scaling Law”哲学,通过堆叠算力,使用模块化易于扩展且擅长捕捉长距离依赖关系的Transformer神经网络,构建了自回归、生成式的千亿以上参数量大模型,在多个人工智能(AI)领域取得了SOTA效果。目前,OpenAI正在通过图像、视频等一系列多模态学习,力图实现“World Model”“World Simulator”,以建立物理世界映射。它的实战成果给全世界AI从业者提供了一种目前看来行之有效且朝向通用人工智能(AGI)发展的方法论和技术路线。

生成式大模型承载网络架构与关键技术探索

生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访问(RDMA)的确定性网络传输技术是未来的重点研究方向。

融合时序门控图神经网络的兴趣点推荐方法

现有的大多数兴趣点(point of interest,POI)推荐系统由于忽略了用户签到序列中的顺序行为模式,以及用户的个性化偏好对于POI推荐的影响,导致POI推荐系统性能较低,推荐结果不可靠,进而影响用户体验。为了解决上述问题,提出一种融合时序门控图神经网络的兴趣点推荐方法。运用时序门控图神经网络(temporal gated graph neural network,TGGNN)学习POI embedding;采用注意力机制捕获用户的长期偏好;通过注意力机制融合用户的最新偏好和实时偏好,进而捕获用户的短期偏好。通过自适应的方式结合用户的长期和短期偏好,计算候选POI的推荐得分,并根据得分为用户进行POI推荐。实验结果表明,与现有方法相比,该方法在召回率和平均倒数排名这两项指标上均有较为明显的提升,因此可以取得很好的推荐效果,具有良好的应用前景。

融合时间感知和多兴趣提取网络的序列推荐

针对序列推荐任务中的时间动态性和多重兴趣建模问题,提出一种时间感知的项目嵌入方法,用于学习项目之间的时间关联性。在此基础上,提出一种融合时间感知和多兴趣提取网络的序列推荐(time-aware multi-interest sequence recommendation,TMISA)方法。TMISA采用自注意力序列推荐模型作为局部特征学习模块,以捕捉用户行为序列中的动态偏好;通过多兴趣提取网络对用户的全局偏好进行建模;引入门控聚合模块将局部和全局特征表示动态融合,生成最终的用户偏好表示。实验证明,在5个真实推荐数据集上,TMISA模型表现出卓越性能,超越了多个先进的基线模型。

融合深度神经网络和方面感知的可解释推荐方法

为提升推荐结果的准确性和可解释性,提出一种融合深度神经网络和方面感知的可解释推荐方法。针对评分数据的稀疏性问题,综合考虑显式和隐式评分数据,通过深度神经网络的矩阵分解模型学习用户和物品的潜在特征;通过无监督的方面提取模块来学习用户和物品的方面特征;将潜在特征和方面特征统一到预测层进行评分预测;针对生成解释质量低且缺乏个性化的问题,在评分预测的基础上,采用提取的主题词和预定义的神经模板相结合生成推荐理由,提高解释的生成质量。实验表明,提出的方法不仅能准确预测用户对物品的评分,还能够生成具有解释性的推荐理由,且生成的解释质量优于对比方法。

时间反转OFDM系统中增强安全性能的功率分配与人工噪声设计

时间反转技术特有的时空聚焦特性使其具有抗窃听能力.本文对提高时间反转正交频分复用系统安全性能的优化方案进行研究.首先,通过应用时间反转预滤波的时空聚焦特性来提高合法接收端相对于窃听端的信号强度;然后,以最大化保密速率为目标对子载波的功率分配进行优化.为进一步提升系统保密传输能力,利用循环前缀提供的自由度实现零空间人工噪声,在对窃听端形成有效干扰的同时,不对合法接收端造成影响.通过对子载波功率分配和人工噪声协方差阵进行联合优化,最大化系统的保密传输速率.仿真结果表明,所提优化方案能显著提高系统的保密速率.

智能反射表面辅助的非正交多址接入系统用户分组、波束赋形与相移的优化

该文研究智能反射表面(IRS)辅助的多天线非正交多址接入(NOMA)网络中用户分组、发送波束赋形、相移等的联合优化问题。系统中1个分组分配1个波束并在组内进行连续干扰消除检测。该文提出一种不依赖于发送波束赋形和IRS相移的用户分组配对策略,将用户分组与其他优化分离,显著降低了优化问题求解的难度和计算复杂度。进一步,联合优化基站发送波束赋形、功率分配和IRS相移矩阵,最小化基站的总发送功率。原始优化问题是一个多变量相互耦合的非凸优化问题,利用松弛变量、连续凸逼近、半定松弛、交替迭代优化等方法将原问题转化为凸问题并求解。仿真结果显示,相较于1个用户1个波束的方案,所提方案在基站天线数较少时性能更优,而在天线数较多时也与该对比方案非常接近,但所提方案的优化计算复杂度更低。而对比采用不同分组算法、随机IRS相移方案、最大比发射方案,以及无IRS的方案,所提方案的性能始终更优。

时间反转直扩通信系统及性能分析

时间反转传输技术的空时聚焦特性能够有效地提升通信系统的性能.本文设计了一种将时间反转技术应用于直扩通信系统的方案,并对多径衰落信道下单用户和多用户系统的接收信干噪比、系统容量、误比特率等性能进行了理论分析与仿真验证.理论与仿真结果表明,通过时间反转预处理,直扩通信系统的性能得到了改善,且优于复杂度较高的多通道Rake接收的系统,且多径数目越多,优势越明显.

膀胱尿路上皮癌中KDM6A突变与预后和免疫微环境的分析

目的通过生物信息学分析结合临床样本检测,寻找膀胱尿路上皮癌(BLCA)中关键基因的突变和机制探讨。方法下载TCGA(406例肿瘤组织和19例癌旁组织)和GTEx(21例癌旁组织)数据库中全部BLCA病例数据集的基因突变数据、转录组数据和临床数据。收集BLCA手术临床样本共32例,实时荧光定量聚合酶链反应(PCR)检测基因表达。结果91.42%的患者存在突变,其中错义突变、单核苷酸变异和C>T突变为主要突变类型,突变排在前5位的基因分别为TP53(47%)、TTN(45%)、KMT2D(29%)、MUC16(28%)、KDM6A(26%)。TCGA和临床样本中,KDM6A突变型表达水平均显著高于野生型(P=0.008、0.007)。KDM6A野生型的总体生存期(OS)和无进展生存期(PFS)均大于突变型(P=0.028、0.035)。进一步研究发现,KDM6A的表达与CD8+T细胞(r=0.22,P=0.039)、巨噬细胞(r=0.31,P=0.032)和内皮细胞(r=0.26,P=0.002)水平均呈显著正相关。结论BLCA中KDM6A的突变与预后和免疫微环境密切相关,KDM6A突变可能是BLCA的潜在治疗靶标。

唐宏、尹丹作品选

唐宏,1980年生,本科,四川美术学院研究生课程班在读,研究方向为艺术设计,现为四川工商职业技术学院设计艺术系讲师。

融合卷积收缩门控的生成式文本摘要方法

在深度学习技术的推动下,基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一,尤其在生成式文本摘要任务中取得显著效果。然而,现有的采用循环神经网络的模型存在并行能力不足和时效低下的局限性,无法充分概括有用信息,忽视单词与句子间的联系,易产生冗余重复或语义不相关的摘要。为此,提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器,提取不同层次的文本表征得到上下文编码,采用卷积收缩门控单元调整编码权重,强化全局相关性,去除无用信息的干扰,过滤后得到最终的编码输出,并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式预训练Transformer(GPT)的解码模块3种不同的解码器,加强编码器与解码器的关联,以此探索能生成高质量摘要的模型结构。在LCSTS和CNNDM数据集上的实验结果表明,相比主流基准模型,设计的TCSG、ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0,验证了该方法的有效性和可行性。

融合对话连贯记忆的角色一致性回复生成方法

现有的对话系统研究往往忽略了对话过程中的角色一致性问题,这可能会导致对话前后的角色不匹配现象,从而降低用户的对话体验,同时,对话过程中的前后连贯性问题也备受人们所关注。为了解决以上问题,提出了一种融合对话连贯记忆的角色一致性回复生成方法。通过角色扩展模块将原始数据集进行角色扩展,得到角色扩展数据集;通过数据提取模块将相关度较高的角色信息与对话历史进行提取,并从中去除冗余信息,得到训练数据集;在回复生成模块中引入角色一致记忆模块和对话连贯记忆模块,使得对话模型在对话过程中始终保持对角色信息以及对话历史的记忆特性,促使其生成对话连贯的角色一致性回复。在Persona-Chat数据集上的实验结果表明,该方法生成的回复在对话连贯性以及角色一致性方面都得到了一定的提升。

融合情感意图和情感原因的共情回复生成方法

共情对话是对话系统研究中的一个重要领域,然而,现有的共情对话研究往往更关注情绪依赖的响应生成,却忽略对话过程中的情感意图信息和情感原因信息,这可能导致生成的共情回复过于通用化或共情性较低,从而降低用户的体验,为了提高共情回复生成的质量,提出了一种融合情感意图和情感原因的共情回复生成方法。通过意图预测模块提取情感意图信息。通过情感原因检测模块提取情感原因信息。在回复生成模块进行意图嵌入和情绪嵌入,并引入情感原因门控机制和复制机制,动态地选择情感原因信息和情感意图信息,促使模型生成与意图相关并且情感合适的共情回复。在EmpatheticDialogues数据集上的实验表明,该方法生成的回复在多样性和共情性方面得到了一定的提升。

融合主题预测和情感推理的共情回复生成方法

越来越多的研究开始聚焦于共情回复生成,然而现有的研究往往只关注于影响共情的表面情感因素,却忽略了对话中主题的变化和情感背后的原因,这将会导致生成的共情回复与主题不相关或共情性不足,从而降低用户的交互体验。因此提出一种融合主题信息和深层次情感信息的共情回复生成方法。通过主题预测模块进行受上下文控制的主题预测,得到一个候选主题词序列;通过情感推理模块预测出对话上下文的情感标签和检测出对话上下文中与情感原因相关的词,得到一个情感原因词标签序列;在回复生成模块中引入主题词门控注意力机制和情感原因词标签门控注意力机制,动态地选择出用于生成共情回复的主题词和情感原因词,促使对话模型生成主题相关且情感共鸣的共情回复。在数据集EmpatheticDialogues上的实验表明,该方法生成的回复的内容更加丰富、主题更加相关、情感更加共鸣。

超密集网络中基于改进DQN的接入选择算法

在超密集网络环境中,各个接入点密集部署在热点区域,构成了复杂的异构网络,用户需要选择接入合适的网络以获得最好的性能。如何为用户选择最优的网络,使用户自身或网络性能达到最佳,称为网络接入选择问题。为了解决超密集网络中用户的接入选择问题,综合考虑网络状态、用户偏好以及业务类型,结合负载均衡策略,提出了一种基于改进深度Q网络(deep Q network,DQN)的超密集网络接入选择算法。首先,通过分析网络属性和用户业务的偏好对网络选择的影响,选择合适的网络参数作为接入选择算法的参数;其次,将网络接入选择问题利用马尔可夫决策过程建模,分别对模型中的状态、动作和奖励函数进行设计;最后,利用DQN求解选网模型,得到最优选网策略。此外,为了避免DQN过高估计Q值,对传统DQN的目标函数进行优化,并且在训练神经网络时,引入了优先经验回放机制以提升学习效率。仿真结果表明,所提算法能够解决传统DQN的高估问题,加快神经网络的收敛,有效减少用户的阻塞,并改善网络的吞吐能力。

世界男排强队二传分配球与“进攻”对比分析研究

随着现代排球的快速发展,“快、高、多变”的进攻打法在男子排球比赛中表现得尤为显著,二传“分配球”与“进攻”能力高低是一个球队能否获胜的关键所在。本文以2023年世界男排联赛为研究对象,用VNL官方比赛录像材料对前四强决赛队伍进行二传分配球与进攻效果分析。结果表明:①从二传的分配情况来看,日本、美国、意大利、波兰等世界男排的顶尖队伍都是以横向前排三号位掩护后的二、四号位为核心,然后纵向到前排掩护后的一、六号位后攻。②在进攻打法上,世界男排强队中的日本队以前排快攻掩护后的低弧度拉开和后攻为主,意大利、波兰队和美国队以高打强攻结合快攻掩护后二进攻为主。③数据分析结果可见,世界排球队在进攻效率方面,波兰队的扣球得分率最大,意大利的扣球失误率最大;而美国、日本多是在拦网集中的情况下采用扣球过渡后进行重新组织,每一支队伍的进攻得分与失分均成正比。

多级度量网络的小样本学习

小样本学习的分类结果依赖于模型对样本特征的表达能力,为了进一步挖掘图像所表达的语义信息,提出一种多级度量网络的小样本学习方法。将输入图像的特征向量放入嵌入模块进行特征提取;将经过第二层卷积及第三层卷积得到的特征描述子分别进行图像-类的度量以获得图像关系得分,对第四层卷积得到的特征向量进行全连接并将其做图像-图像的度量从而得到图像从属概率;通过交叉验证对2个图像关系得分以及1个图像从属概率进行加权融合并输出分类结果。实验结果表明在miniImageNet数据集上,该方法5-way 1-shot准确率为56.77%,5-way 5-shot准确率为75.83%。在CUB数据集上,该方法5-way 1-shot及5-way 5-shot准确率分别上升到55.34%及76.32%。在Omniglot数据集上准确率同传统方法相比也有一定提升。因此,该方法可有效挖掘图像中所表达的语义信息,显著提高小样本图像分类的准确率。

基于GIS服务的遥感影像智能识别系统研究与应用

为解决水利行业遥感影像智能识别系统样本制作效率低、影像检测成果使用和管理不便、用户体验差、缺乏可靠水安全地形要素AI智能提取系统的问题,开展基于GIS服务的遥感影像智能识别系统研究。基于WebGIS、数据库、大数据、互联网、人工智能等技术,研究构建遥感影像大数据管理与发布、样本数据集自动化生产与管理系统。在U-Net模型的基础上引入影像预处理和栅格转矢量模块,添加2个残差块以加深网络,从而得到D-Unet模型,并用于地形要素提取。结果表明:基于GIS服务的遥感影像智能识别系统能够实现对多源卫星、无人机遥感影像的高效管理,以及样本数据集生产的自动化,在地形要素识别方面具有较高精度,且具有较好的用户体验。

土地托管、劳动力分化对农户家庭收入的影响研究--基于6省1933户农户的实证

研究目的:探讨土地托管服务对农户家庭收入的影响机理,从土地托管视角考察三大粮食区域农户的土地、劳动力资源配置对家庭整体经济福利的影响。研究方法:最小二乘法、工具变量法、分位数回归和中介效应模型。研究结果:(1)土地托管服务对农户家庭收入有显著正向影响,该收入分配效应表现出个体异质性和区域差异性;(2)劳动力分化能促进土地托管服务的发展和农户家庭经济福利的提升,是土地托管服务促进农户家庭增收的有效路径。研究结论:(1)完善土地托管服务市场和劳动力就业市场以提升农户的家庭经济福利;(2)加强政策帮扶,保障资源禀赋较弱农户的土地托管服务需求;(3)因地制宜,加强各粮食生产区域之间土地托管服务的经验交流。

基于QoS保障的低轨卫星星座设计

低轨卫星星座设计是部署低轨卫星网络的前提和关键。然而,不均匀的地面用户分布和不合理的卫星资源配置对卫星网络的服务质量提出了重大挑战。针对以上问题,通过构建服务质量(QoS)指标体系,提出了一种基于QoS保障的低轨卫星星座设计方法。首先,建立了低轨卫星网络模型和星座覆盖模型,通过星间链路的建链准则来定义星座抗毁性指标。其次,通过建立用户链路以及定义用户匹配度来分析星座对目标区域用户的资源匹配情况。接着,建立了以QoS指标为约束最大化效费比的低轨卫星星座设计优化问题,定义的QoS指标包括信噪比、误码率、抗毁性以及星座覆盖率和用户匹配度。此外,通过遗传禁忌智能算法求得了所设计的低轨卫星星座的轨道参数。仿真结果表明,提出的低轨卫星星座设计方案在满足指定QoS约束的同时具有最大星座效费比。