基于多模态大语言模型的攻击性模因解释生成方法

随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能.

开源多模态大语言模型初探

【目的】本文旨在总结开源多模态大语言模型(Multimodal Large Language Model,MLLM)的最新进展,探索其在新闻领域的落地实践。【方法】首先,笔者介绍了MLLM的研究背景,对典型的开源和闭源模型在不同测试基准上的表现进行了对比,然后解析了模型架构,包括其组成部分和工作原理,接着探讨了训练策略以及所需要的数据,最后展望了应用场景和研究方向。【结果/结论】通过本文的分析,可以了解到开源MLLM在赶超闭源商业模型上的潜力和发展方向,以及在新闻领域广阔的应用前景,同时为采编业务全流程提供强大的语言理解和生成能力,未来可以结合实际场景开展相关技术的落地实践。

多模态大语言模型对开源声像信息研究的影响

开源声像信息研究作为国防科技信息研究的组成部分,在自媒体与短视频爆发的现阶段重要性愈发凸显。大模型浪潮爆发后,深入探析多模态大语言模型对开源声像信息研究工作的影响具有重要意义。通过研究梳理多种多模态大语言模型技术特点和应用场景特点,提出在开源声像信息研究中的潜在应用方向,为开源声像信息研究工作提供参考。现阶段多模态大语言模型距离直接落地应用还有差距,但其将是重塑重构声像信息研究工作的重要推手,其生成特性也为开源声像信息研究带来极大挑战,开源声像信息研究进入转型升维的战略机遇期。

大语言模型在电催化领域中的应用

大语言模型作为现代科技的杰出代表,已经在社会的各个领域产生了深远影响.这些模型由数十亿个神经元相互连接构建而成,集成了人类至今为止的丰富知识,具备与全球各地人们进行流畅、精确对话的卓越能力.其类人智能特性不仅使其能够应对现代社会的各种挑战,更在多个科学领域中展现出巨大的应用前景.然而,目前大语言模型广泛应用的潜力尚未被完全挖掘.本文旨在深入探讨现代大语言模型在电催化领域的潜在应用,以期阐明这些人工智能驱动的模型如何助力科研人员深化对催化学科的理解,并推动催化剂的智能设计.通过对大语言模型在电催化领域应用的系统研究,我们期望能够为未来的科研工作提供新的思路和方法.本文首先分析了传统的实验法和多尺度模拟方法在催化研究中的局限性,包括资源消耗大、实验周期长、研究进展缓慢以及受人类自身能力限制等问题.随后,着重探讨了大语言模型在电催化研究中的显著优势,如突破人类认知界限、理论上具备无限知识累积能力等.尽管大语言模型展现出巨大的潜力,但仍面临泛化能力与领域专业性之间的权衡、文本限制等挑战.为应对这些挑战,本文进一步介绍了多模态大语言模型的发展及其在电催化研究中的具体应用,包括与实验者的直接互动、基于实验反馈的持续优化、预训练模型的微调以及结合视觉编码器实现多模态数据融合等.最后,强调了多模态大语言模型在光谱分析、实验路径设计、过渡状态搜索、分子结构设计、催化剂优化和问题诊断等方面的巨大潜力.总之,多模态方法在催化领域具有广泛的应用前景,能够整合多种数据源,为催化剂设计、反应机理研究和反应条件优化提供强大的工具和技术支持.最后,本文展望了大语言模型在科学研究中的作用和未来发展趋势.大语言模型在知识积累和效率提升方面展现出了出色的能力,但在创造全新知识方面,或许还无法与科学先驱相提并论.展望未来,大语言模型应当与实验和模拟方法深度融合,以增强其预测能力和多模态学习能力.通过这样的结合,大语言模型将能够更全面地辅助科学研究者,进而推动科学研究更迅速地发展.这一发展趋势不仅有助于提升科学研究的效率和准确性,还将为科学领域带来更多的创新和突破.

GPT-4模型的已知风险、控制策略及其启示

对OpenAI发布的技术文件深入分析,发现GPT-4大语言模型存在3类12种风险,分别是对人的误导(幻觉、虚假信息、有害内容、用户过度依赖)、对社会秩序的挑战(社会偏见、侵犯隐私、破坏网络安全、与其他系统交互进行“算法合谋”、主动寻求资源)以及对国家经济和安全的影响(劳动力替代、常规和非常规武器扩散、加速国家竞争)。本文总结OpenAI采取的多种风险防控举措,如制定严格的使用规则、数据集和预训练后干预,设置细粒度个性化的内容分类器,以及寻找漏洞的“赏金猎人计划”等,并进一步提出对生成式人工智能采取分层治理、对大语言模型进行较长时间(半年以上)的对抗性测试以及细化合规免责制度以给新兴技术发展留下试错空间等建议。

平行旅游:基础智能驱动的智慧出游服务

旅游作为一种满足人们对不同生活体验和知识需求的活动,对经济、文化等领域都产生了深远影响。随着物联网、多模态大语言模型等技术的迅速发展,传统的旅游业难以满足人们智能化以及个性化的旅游需求。为此,以平行智能为理念,基于ACP方法与多模态大语言模型提出了虚实交互的个性化旅游服务系统,通过构建旅游大模型,并结合检索增强生成方法和多智能体协作系统,打造个性化旅游服务的新范式。此外,探讨了平行旅游的应用生态,从“行”“住”“食”“衣”4个方面对整个旅游生态进行拓展,分析了其他行业与个性化旅游服务的融合。平行旅游将为旅游行服务业的发展带来全新可能。

人工智能驱动慢性阻塞性肺疾病精准诊疗研究进展

[背景]慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)是一种全球常见的慢性呼吸系统疾病,其早期精准诊断和治疗对患者生活质量有着重大影响.近年来,人工智能(artificial intelligence,AI)技术在医疗领域的快速发展,为COPD早期精准诊疗开辟了新的思路.[进展]本文梳理了AI技术在COPD诊疗中的应用现状,尤其是AI单模态和多模态模型的应用研究进展.单模态模型专注于单一类型的数据源,显示了其早期诊断和监测能力;而多模态模型通过融合来自医学影像、生物医学数据、电子病历等多源信息,进一步提升了对COPD患者病情的全面理解和个性化精准治疗,具有更加广阔的应用前景.[展望]AI技术在COPD早期诊断、区分疾病严重程度、预测急性加重、治疗、管理监测及康复等方面展示出独特的优势.尤其是当前通用AI、生成式AI以及多模态大语言模型等前沿AI技术的快速发展,必将大力促进医生更加精确地诊断疾病,制定更加个性化的患者治疗方案,大幅度地提高临床治疗效果和患者生活质量.

铁路局集团公司运输调度安全管理关键技术及应用研究

铁路运输调度指挥过程中的安全管理是守好铁路运输安全的第一道大门,铁路调度指挥音视频安全检查和数据检索分析等调度安全管理的核心工作还主要依靠手动方式来完成,亟需利用新技术、新应用提升调度安全管理的效率和水平。首先研究智能语音分析、智能视频分析和多模态大语言模型等关键技术并设计其在调度安全管理中的应用技术路线;其次分析构建铁路调度指挥安全管理应用需要实现的业务目标;最后按照业务目标要求,详细设计调度人员及安全风险管理、调度语音识别、调度用语考核、调度安全监测、“调度问询”小程序等主要功能。基于人工智能AI音视频分析和多模态大语言模型为铁路智能调度安全管理应用注入新活力,可有效提升调度安全考核、主动监测和智能搜索能力。

基于ChineseBert的中文拼写纠错方法

中文拼写错误主要集中在拼音相似和字形相似两个方面,而通用的预训练语言模型只考虑文本的语义信息,忽略了中文的拼音和字形特征.最新的中文拼写纠错(Chinese Spelling Correction,CSC)方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征,但和直接微调预训练模型相比,改进的模型没有显著提高模型的性能,因为由小规模拼写任务语料训练的拼音和字形特征,和预训练模型获取的丰富语义特征相比,存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上,由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段,基于ChineseBert的CSC方法不仅无须构建额外的网络,还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题,进一步提出SepSpell方法.首先利用探测网络检测可能错误的字符,再对可能错误的字符保留拼音特征和字形特征,掩码对应的语义信息进行预测,这样能降低预测过程中错误字符带来的干扰,更好地处理连续错误问题.在三个官方评测数据集上进行评估,提出的两个方法都取得了非常不错的结果.