期刊文献+
共找到4,235篇文章
< 1 2 212 >
每页显示 20 50 100
基于CLIP和交叉注意力的多模态情感分析模型
1
作者 陈燕 赖宇斌 +2 位作者 肖澳 廖宇翔 陈宁江 《郑州大学学报(工学版)》 CAS 北大核心 2024年第2期42-50,共9页
针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提... 针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提取视频特征向量与文本特征;其次,使用交叉注意力机制将图像特征向量和文本特征向量进行交互,以加强不同模态之间的信息传递;最后,利用不确定性损失特征融合后计算输出最终的情感分类结果。实验结果表明:该模型比其他多模态模型准确率提高5百分点至14百分点,F1值提高3百分点至12百分点,验证了该模型的优越性,并使用消融实验验证该模型各模块的有效性。该模型能够有效地利用多模态数据的互补性和相关性,同时利用不确定性损失来提高模型的鲁棒性和泛化能力。 展开更多
关键词 情感分析 多模态学习 交叉注意力 clip模型 TRANSFORMER 特征融合
下载PDF
基于CLIP与注意力机制的跨模态哈希检索算法
2
作者 党张敏 喻崇仁 +3 位作者 殷双飞 张宏娟 陕振 马连志 《计算机工程与设计》 北大核心 2024年第3期852-858,共7页
针对传统无监督跨模态检索算法提取样本内部与样本之间的关联语义不充分,导致检索准确率低的问题,提出一种基于CLIP与注意力融合机制的无监督跨模态哈希检索算法CAFM_Net。将多模态预训练模型CLIP运用到样本特征提取阶段,从不同维度挖... 针对传统无监督跨模态检索算法提取样本内部与样本之间的关联语义不充分,导致检索准确率低的问题,提出一种基于CLIP与注意力融合机制的无监督跨模态哈希检索算法CAFM_Net。将多模态预训练模型CLIP运用到样本特征提取阶段,从不同维度挖掘数据的相似信息;使用注意力融合机制对提取的特征进行处理,加强显著区域的权重;引入对抗学习的思想设计模态分类器,生成更趋于语义一致性的跨模态数据哈希编码。与现有的代表性哈希方法相比,CAFM_Net在多模态检索任务上准确率提升至少11%与9%。 展开更多
关键词 无监督哈希 跨模态检索 clip 注意力融合 对抗学习 深度学习 TRANSFORMER
下载PDF
基于CLIP模型和文本重建的人脸图像生成方法研究
3
作者 李源凡 张丽红 《测试技术学报》 2024年第2期154-160,共7页
针对文本生成人脸方法中生成图像与文本描述不一致、图像分辨率较低等问题,提出一种跨模态文本生成人脸图像网络框架。首先,采用CLIP预训练模型对文本进行特征提取,通过条件增强模块增强文本语义特征并生成隐藏向量;然后,将隐藏向量通... 针对文本生成人脸方法中生成图像与文本描述不一致、图像分辨率较低等问题,提出一种跨模态文本生成人脸图像网络框架。首先,采用CLIP预训练模型对文本进行特征提取,通过条件增强模块增强文本语义特征并生成隐藏向量;然后,将隐藏向量通过映射网络投影到预训练模型StyleGAN的隐式空间中获得解纠缠隐藏向量,将该向量输入到StyleGAN生成器中生成高分辨率人脸图像;最后,采用文本重建模块将人脸图像重新生成文本,计算重建文本和输入文本之间的语义对齐损失,并将其作为语义监督指导网络训练。在Multi-Modal CelebA-HQ和CelebAText-HQ两个数据集上进行训练与测试,实验结果表明,相比其他方法,该方法能生成更加符合文本描述的高分辨率人脸图像。 展开更多
关键词 文本生成人脸 跨模态 clip预训练 文本重建 文本映射
下载PDF
CLIP170通过TGF-β通路抑制甲状腺乳头状癌的转移
4
作者 马斌媛 许亚鑫 +2 位作者 潘云燕 巫娅妮 高宏伟 《中国肿瘤临床》 CAS CSCD 北大核心 2024年第5期217-223,共7页
目的:研究细胞质连接蛋白170(cytoplasmic linker protein 170,CLIP170)是否影响甲状腺乳头状癌(papillary thyroid cancer,PTC)细胞的转移和侵袭并阐明其机制。方法:通过GEO和TCGA数据分析CLIP170在PTC中的表达水平;通过慢病毒转染技... 目的:研究细胞质连接蛋白170(cytoplasmic linker protein 170,CLIP170)是否影响甲状腺乳头状癌(papillary thyroid cancer,PTC)细胞的转移和侵袭并阐明其机制。方法:通过GEO和TCGA数据分析CLIP170在PTC中的表达水平;通过慢病毒转染技术构建CLIP170敲减细胞,Transwell转移和侵袭实验评估其功能;通过免疫荧光观察CLIP170对细胞肌动蛋白结构的影响;以ELISA方法检测细胞培养基中转化生长因子-β(transforming growth factor-β,TGF-β)1的释放;通过免疫印迹和实时定量荧光PCR方法检测上皮-间充质转化(epithelial-mesenchymal transition,EMT)和TGF-β信号通路分子的表达量并最终在裸鼠肺转移模型中验证。结果:CLIP170在PTC中的表达量比在正常甲状腺组织中的表达量低。功能方面,CLIP170KD在体外和体内均显著增强了PTC细胞的转移;机制方面,CLIP170KD触发了TGF-β通路的激活,促进肿瘤细胞的迁移和侵袭。TGF-β的抑制剂有效抑制了TGF-β活性,并显著逆转CLIP170KD所诱导的肿瘤转移。结论:CLIP170有望成为一种缓解有转移倾向的PTC的治疗靶点。 展开更多
关键词 clip170 甲状腺乳头状癌 转移 上皮间质转化 TGF-β通路
下载PDF
基于CLIP和双空间自适应归一化的图像翻译
5
作者 李田芳 普园媛 +2 位作者 赵征鹏 徐丹 钱文华 《计算机工程》 CAS CSCD 北大核心 2024年第5期229-240,共12页
现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习... 现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习语言-图像预训练(CLIP)的无监督图像翻译模型。首先,引入CLIP相似性损失对图像的风格特征施加约束,以在不使用数据集域标签的情况下增强模型传递图像风格信息的能力和准确性;其次,对自适应实例归一化(AdaIN)进行改进,设计一个新的双空间自适应归一化(DSAdaIN)模块,在特征的风格化阶段添加网络的学习和自适应交互过程,以加强对内容源域信息的保留;最后,设计一个鉴别器对比损失来平衡对抗网络损失的训练和优化过程。在多个公开数据集上的实验结果表明,与Star GANv2、Style DIS等模型相比,该模型可在准确传递图像风格信息的同时保留一定的源域信息,且在定量评估指标FID分数和KID分数上分别提升了近3.35和0.57×102,实现了较好的图像翻译性能。 展开更多
关键词 图像翻译 生成对抗网络 对比学习语言-图像预训练模型 自适应实例归一化 对比学习
下载PDF
Combined Optimal Dispatch of Thermal Power Generators and Energy Storage Considering Thermal Power Deep Peak Clipping and Wind Energy Emission Grading Punishment
6
作者 Junhui Li Xuanzhong Luo +2 位作者 Changxing Ge Cuiping Li Changrong Wang 《Energy Engineering》 EI 2024年第4期869-893,共25页
Peak load and wind energy emission pressure rise more as wind energy penetration keeps growing,which affects the stabilization of the PS(power system).This paper suggests integrated optimal dispatching of thermal powe... Peak load and wind energy emission pressure rise more as wind energy penetration keeps growing,which affects the stabilization of the PS(power system).This paper suggests integrated optimal dispatching of thermal power generators and BESS(battery energy storage system)taking wind energy emission grading punishment and deep peak clipping into consideration.Firstly,in order to minimize wind abandonment,a hierarchical wind abandonment penalty strategy based on fuzzy control is designed and introduced,and the optimal grid-connected power of wind energy is determined as a result of minimizing the peak cutting cost of the system.Secondly,considering BESS and thermal power,the management approach of BESS-assisted virtual peak clipping of thermal power generators is aimed at reducing the degree of deep peak clipping of thermal power generators and optimizing the output of thermal power generators and the charging and discharging power of BESS.Finally,Give an example of how this strategy has been effective in reducing abandonment rates by 0.66% and 7.46% individually for different wind penetration programs,and the daily average can reduce the peak clipping power output of thermal power generators by 42.97 and 72.31 MWh and enhances the effect and economy of system peak clipping. 展开更多
关键词 BESS wind energy deep peak clipping virtual peak clipping wind energy emission grading punishment
下载PDF
Hem-o-lok clip migration to duodenal bulb post-cholecystectomy:A case report
7
作者 Hong-Yan Liu Ai-Hong Yin Zhi Wei 《World Journal of Gastrointestinal Surgery》 SCIE 2024年第5期1461-1466,共6页
BACKGROUND Hem-o-lok clips are typically used to control the cystic duct and vessels during laparoscopic cholecystectomy(LC)and common bile duct exploration for stones in the bile duct and gallbladder.Here,we report a... BACKGROUND Hem-o-lok clips are typically used to control the cystic duct and vessels during laparoscopic cholecystectomy(LC)and common bile duct exploration for stones in the bile duct and gallbladder.Here,we report a unique example of Hem-o-lok clip movement towards the duodenal bulb after LC,appearing as a submucosal tumor(SMT).Additionally,we provide initial evidence of gradual and evolving endoscopic manifestations of Hem-o-lok clip migration to the duodenal bulb wall and review the available literature.CASE SUMMARY A 72-year-old man underwent LC for gallstones,and Hem-o-lok clips were used to ligate both the cystic duct and cystic artery.Esophagogastroduodenoscopy(EGD)2 years later revealed an SMT-like lesion in the duodenal bulb.Due to the symptomatology,the clinical examination did not reveal any major abnormalities,and the patient was followed up as an outpatient.A repeat EGD performed 5 months later revealed an SMT-like lesion in the duodenal bulb with raised edges and a central depression.A third EGD was conducted,during which a Hem-o-lok clip was discovered connected to the front side of the duodenum.The clip was extracted easily using biopsy forceps,and no complications occurred.Two months after the fourth EGD,the scar was surrounded by normal mucosa.CONCLUSION Clinicians should be aware of potential post-LC complications.Hem-o-lok clips should be removed if symptomatic. 展开更多
关键词 Hem-o-lok clip MIGRATION DUODENUM Laparoscopic cholecystectomy Laparoscopic common bile duct exploration Case report
下载PDF
多模态CLIP技术在智能媒资视频内容检索中的应用设计探究
8
作者 邓蕾 《艺术科技》 2024年第12期250-252,共3页
目的:随着短视频和微短剧的流行,高清视频化需求持续增长,媒体数字资产中视频生产素材的检索要求日益提升。文章探讨多模态CLIP技术在智能媒资视频内容检索中的应用设计,结合向量检索技术,实现跨模态检索,精确匹配自然语言描述与视频内... 目的:随着短视频和微短剧的流行,高清视频化需求持续增长,媒体数字资产中视频生产素材的检索要求日益提升。文章探讨多模态CLIP技术在智能媒资视频内容检索中的应用设计,结合向量检索技术,实现跨模态检索,精确匹配自然语言描述与视频内容,快速定位目标视频片段,以优化媒体资源管理,提升视频生产效率和质量。方法:以CLIP技术为核心,结合向量检索技术,构建一个智能媒资视频内容检索系统。该系统通过深度学习的跨模态理解能力,对视频和文本进行高维向量表示,实现图文特征的相似度计算与匹配。在系统设计上,采用业务层、媒体管理应用层、能力中台、数据资源层和技术支撑层的多层架构,集成资源管理、系统管理、智能检索等关键功能。结果:通过应用CLIP技术,成功设计并构建了一个高效智能的视频内容检索系统。该系统在测试数据集上表现出显著的优越性能,提高了视频检索的准确性和效率。在实际应用中,该系统能够准确理解用户查询意图,支持自然语言搜索,并快速返回相关视频片段,极大地提升工作效率,优化用户体验。结论:CLIP技术在智能媒资视频内容检索领域展现出巨大潜力,其出色的视频内容理解和匹配能力能够为媒体资源管理提供有力支持。通过合理的系统设计与技术选型,CLIP技术能够显著提升视频检索的准确性和效率,满足用户多样化的搜索需求。尽管面临存储计算压力、多模态内容异构性等挑战,但通过算法优化、模型调整和实际应用改进,CLIP技术有望在未来发挥更大的作用,推动媒体行业智能化发展。 展开更多
关键词 clip技术 多模态 向量检索 智能媒资 系统设计
下载PDF
一种CLIP自监督学习的多模态睡眠分期方法
9
作者 陈庆端 《自动化与信息工程》 2024年第4期24-29,35,共7页
睡眠分期对睡眠质量评估、睡眠障碍诊断具有重要的意义。针对基于深度学习的睡眠分期存在标签数据少、数据标注困难等问题,提出一种CLIP自监督学习的多模态睡眠分期方法。通过学习无标签数据的特征表示,解决了因标签数据少而导致的模型... 睡眠分期对睡眠质量评估、睡眠障碍诊断具有重要的意义。针对基于深度学习的睡眠分期存在标签数据少、数据标注困难等问题,提出一种CLIP自监督学习的多模态睡眠分期方法。通过学习无标签数据的特征表示,解决了因标签数据少而导致的模型训练效果欠佳的问题。在不同标签数据下,将基于CLIP的多模态自监督学习方法与有监督学习、单模态自监督学习方法SimCLR和TS-TCC进行对比实验。实验结果表明,基于CLIP的多模态自监督学习方法能有效提高睡眠分期的性能。 展开更多
关键词 多模态自监督学习 睡眠分期 clip 单模态自监督学习 有监督学习
下载PDF
基于CLIP生成多事件表示的视频文本检索方法
10
作者 涂荣成 毛先领 +4 位作者 孔伟杰 蔡成飞 赵文哲 王红法 黄河燕 《计算机研究与发展》 EI CSCD 北大核心 2023年第9期2169-2179,共11页
视频-文本检索作为一项被广泛应用于现实生活中的多模态检索技术受到越来越多的研究者的关注.近来,大部分视频文本工作通过利用大规模预训练模型中所学到的视觉与语言之间的匹配关系来提升文本视频间跨模态检索效果.然而,这些方法忽略... 视频-文本检索作为一项被广泛应用于现实生活中的多模态检索技术受到越来越多的研究者的关注.近来,大部分视频文本工作通过利用大规模预训练模型中所学到的视觉与语言之间的匹配关系来提升文本视频间跨模态检索效果.然而,这些方法忽略了视频、文本数据都是由一个个事件组合而成.倘若能捕捉视频事件与文本事件之间的细粒度相似性关系,将能帮助模型计算出更准确的文本与视频之间的语义相似性关系,进而提升文本视频间跨模态检索效果.因此,提出了一种基于CLIP生成多事件表示的视频文本检索方法(CLIP based multi-event representation generation for video-text retrieval,CLIPMERG).首先,通过利用大规模图文预训练模型CLIP的视频编码器(ViT)以及文本编码器(Tansformer)分别将视频、文本数据转换成视频帧token序列以及文本的单词token序列;然后,通过视频事件生成器(文本事件生成器)将视频帧token序列(单词token序列)转换成k个视频事件表示(k个文本事件表示);最后,通过挖掘视频事件表示与文本事件表示之间的细粒度关系以定义视频、文本间的语义相似性关系.在3个常用的公开视频文本检索数据集MSR-VTT,DiDeMo,LSMDC上的实验结果表明所提的CLIPMERG优于现有的视频文本检索方法. 展开更多
关键词 预训练模型 视频文本检索 事件表示 clip模型 Transformer模型
下载PDF
基于堆叠交叉注意力CLIP的多模态情感分析
11
作者 汪召凯 叶勇 汪子文 《黑龙江工业学院学报(综合版)》 2023年第11期97-104,共8页
现有的多模态情感分析方法大多都是采用不同的模型来提取特征,模型之间特征的提取都是独立的过程,并且由于不同模态之间天然跨度较大,导致后续模态也难以有效融合,为了充分利用多模态信息,实现更有效的模态交互。为此提出了SCA-CLIP框架... 现有的多模态情感分析方法大多都是采用不同的模型来提取特征,模型之间特征的提取都是独立的过程,并且由于不同模态之间天然跨度较大,导致后续模态也难以有效融合,为了充分利用多模态信息,实现更有效的模态交互。为此提出了SCA-CLIP框架,即基于对比语言-图像预训练(CLIP)的多模态情绪分析网络。我们使用基于CLIP的编码器从图像和文本中提取强相关的深度表示,之后利用设计的堆叠交叉注意机制对跨模态的信息进行充分的交互以及融合,并且整个模型中通过利用BERT的多头注意力机制来维护可学习向量序列来捕捉有效信息,最后对典型的情绪分析数据集进行了广泛的实验。结果表明,所提出的框架在挖掘多模态情绪分析的关键特征方面具有更好的能力,能实现比原来更好的性能,即在MVSA-Single和MVSA-Multiple上的整体准确率分别提高了2.51%和1.3%。 展开更多
关键词 多模态情感分析 图文交互 BERT clip 注意力机制
下载PDF
Dynamic modeling of fluid-conveying pipes restrained by a retaining clip
12
作者 Bo DOU Hu DING +2 位作者 Xiaoye MAO Sha WEI Liqun CHEN 《Applied Mathematics and Mechanics(English Edition)》 SCIE EI CSCD 2023年第8期1225-1240,共16页
Although most pipes are restrained by retaining clips in aircraft,the influence of the clip parameters on the vibration of the fluid-conveying pipe has not been revealed.By considering the clip width,a new dynamic mod... Although most pipes are restrained by retaining clips in aircraft,the influence of the clip parameters on the vibration of the fluid-conveying pipe has not been revealed.By considering the clip width,a new dynamic model of a fluid-conveying pipe restrained by an intermediate clip is established in this paper.To demonstrate the necessity of the proposed model,a half pipe model is established by modeling the clip as one end.By comparing the two models,it is found that the half pipe model overestimates the critical velocity and may estimate the dynamical behavior of the pipe incorrectly.In addition,with the increase in the clip stiffness,the conversion processes of the first two modes of the pipe are shown.Furthermore,by ignoring the width of the clip,the effect of the flow velocity on the accuracy of a concentrated restraint clip model is presented.When the flow velocity is close to the critical velocity,the accuracy of the concentrated restraint clip model significantly reduces,especially when the width of the clip is large.In general,the contribution of this paper is to establish a dynamic model of the fluid-conveying pipe which can describe the influence of the clip parameters,and to demonstrate the necessity of this model. 展开更多
关键词 fuid-conveying pipe retaining clip natural frequency MODE critical velocity
下载PDF
Dixit Player with Open CLIP
13
作者 Ryan Wei 《Journal of Data Analysis and Information Processing》 2023年第4期536-547,共12页
A computer vision approach through Open AI’s CLIP, a model capable of predicting text-image pairs, is used to create an AI agent for Dixit, a game which requires creative linking between images and text. This paper c... A computer vision approach through Open AI’s CLIP, a model capable of predicting text-image pairs, is used to create an AI agent for Dixit, a game which requires creative linking between images and text. This paper calculates baseline accuracies for both the ability to match the correct image to a hint and the ability to match up with human preferences. A dataset created by previous work on Dixit is used for testing. CLIP is utilized through the comparison of a hint to multiple images, and previous hints, achieving a final accuracy of 0.5011 which surpasses previous results. 展开更多
关键词 Computer Vision AI clip Dixit Open AI Creative Gameplay Open clip Natural Language Processing Visual Models Game AI Image-Text Pairing
下载PDF
监控场景下基于CLIP的细粒度目标检测方法
14
作者 王齐 曾卓夫 +3 位作者 黄小明 费雨欣 陈逸洋 廖家俊 《计算机科学与应用》 2023年第12期2222-2229,共8页
当前,随着国内摄像头数量的迅猛增长,每天所产生的庞大视频数据不仅对人力和物力资源构成了巨大的负担,而且导致了昂贵的成本开支。针对这一问题,本研究聚焦于解决细粒度目标检测领域存在的具体问题。本研究基于深度学习技术,结合Yolov... 当前,随着国内摄像头数量的迅猛增长,每天所产生的庞大视频数据不仅对人力和物力资源构成了巨大的负担,而且导致了昂贵的成本开支。针对这一问题,本研究聚焦于解决细粒度目标检测领域存在的具体问题。本研究基于深度学习技术,结合Yolov4目标检测和CLIP特征分析,提出了一种综合的图像分析方法,以降低视频数据处理的成本。目前,现有的细粒度目标检测方法在处理大规模视频数据时面临着一系列挑战。这些挑战包括但不限于人工标注成本太高,而且无法保证标注的全面性,人工标注不如用户反馈及时有效;泛化能力只太弱,定制化成本太高,大多数AI任务都需要case by case实现。为了解决这些问题,本研究首先利用Yolov4模型对输入图像进行人物检测,以高效地实现目标的准确分割。随后,针对每个分割的人物,本实验采用CLIP模型进行深度特征分析,其泛化能力强且训练语料完全不需要人工标注的特点使捕捉图像和语言之间的语义精准关联。通过本研究的实验结果,本研究验证了该方法在人物检测方面的卓越表现,并展示了在基于CLIP的特征分析中显著的语义一致性。这一创新方法有望显著降低视频数据处理的成本和工作量,为细粒度目标检测领域的进一步研究提供了新的方向。 展开更多
关键词 Yolov4 clip 深度学习 图像检测 特征分析
下载PDF
Posterior reversible encephalopathy syndrome following uneventful clipping of an unruptured intracranial aneurysm:A case report
15
作者 Joseph Hwang Won-Ho Cho +1 位作者 Seung-Heon Cha Jun-Kyueng Ko 《World Journal of Clinical Cases》 SCIE 2023年第19期4723-4728,共6页
BACKGROUND Posterior reversible encephalopathy syndrome(PRES)is characterized mainly by occipital and parietal lobe involvement,which can be reversible within a few days.Herein,we report a rare case of PRES that devel... BACKGROUND Posterior reversible encephalopathy syndrome(PRES)is characterized mainly by occipital and parietal lobe involvement,which can be reversible within a few days.Herein,we report a rare case of PRES that developed after craniotomy for an unruptured intracranial aneurysm(UIA).CASE SUMMARY A 59-year-old man underwent clipping surgery for the treatment of UIA arising from the left middle cerebral artery.Clipping surgery was performed uneventfully,and he regained consciousness quickly immediately after the surgery.At the 4th hour after surgery,he developed a disorder of consciousness and aphasia.Magnetic resonance imaging revealed cortical and subcortical T2/FLAIR hyperintensities in the parietal,occipital,and frontal lobes ipsilaterally,without restricted diffusion,consistent with unilateral PRES.With conservative treatment,his symptoms and radiological findings almost completely disappeared within weeks.In our case,the important causative factor of PRES was suspected to be a sudden increase in cerebral perfusion pressure associated with temporary M1 occlusion.CONCLUSION Our unique case highlights that,to our knowledge,this is the second report of PRES developing after craniotomy for the treatment of UIA.Surgeons must keep PRES in mind as one of the causes of perioperative neurological abnormality following clipping of an UIA. 展开更多
关键词 clipPING Magnetic resonance imaging Posterior reversible encephalopathy syndrome Unruptured intracranial aneurysm Case report
下载PDF
基于CLIP的多模态视频文本检索系统
16
作者 叶柯 陈相余 麻福旦 《计算机应用文摘》 2023年第15期28-30,共3页
计算机视觉(Computer Vision,CV)与自然语言处理(Natural Language Processing,NLP)技术已逐渐趋于成熟,结合视觉和语言的多模态领域技术将成为学界和业界的研究热点。文章使用CLIP预训练模型,结合图像与语言两种模态信息,进一步将图像... 计算机视觉(Computer Vision,CV)与自然语言处理(Natural Language Processing,NLP)技术已逐渐趋于成熟,结合视觉和语言的多模态领域技术将成为学界和业界的研究热点。文章使用CLIP预训练模型,结合图像与语言两种模态信息,进一步将图像拓展至视频,利用FFmpeg处理视频,并对视频与文本信息进行嵌入(embedding)和余弦相似度匹配,从而实现利用纯文本检索视频中符合该文本语义的片段。 展开更多
关键词 多模态 clip FFmpeg处理 文本检索视频
下载PDF
从隐空间认识CLIP多模态模型
17
作者 高焕堂 《电子产品世界》 2023年第5期8-9,16,共3页
1前言AIGC可生成的内容形式包含文本(文句)、图像、音频和视频。它能将文本中的语言符号信息或知识,与视觉中可视化的信息(或知识)建立出对应的关联。两者互相加强,形成图文并茂的景象,激发人脑更多想象,扩大人们的思维空间。其中,最基... 1前言AIGC可生成的内容形式包含文本(文句)、图像、音频和视频。它能将文本中的语言符号信息或知识,与视觉中可视化的信息(或知识)建立出对应的关联。两者互相加强,形成图文并茂的景象,激发人脑更多想象,扩大人们的思维空间。其中,最基础的就是文本(Text)与图像(Image)之间的知识关联。本篇来介绍文本与图像的关联,并以CLIP模型为例,深入介绍多模态AIGC模型的幕后架构,例如隐空间(Latent space)就是其中的关键性机制。 展开更多
关键词 隐空间 知识关联 多模态模型 clip 图文并茂 思维空间 可视化 AIG
下载PDF
金属夹辅助内镜超声引导组织胶注射治疗合并胃肾分流的肝硬化胃静脉曲张患者的效果初探
18
作者 马佳丽 艾正琳 +5 位作者 胡居龙 蒋煜 周玉玲 梁秀霞 魏红山 李坪 《临床肝胆病杂志》 CAS 北大核心 2024年第4期734-738,共5页
目的探讨金属夹辅助内镜超声引导组织胶注射治疗合并胃肾分流的胃静脉曲张患者的效果及安全性。方法纳入2023年2月—2023年6月因肝硬化伴胃静脉曲张于首都医科大学附属北京地坛医院就诊,证实存在胃肾分流(GRS),并接受金属夹辅助内镜超... 目的探讨金属夹辅助内镜超声引导组织胶注射治疗合并胃肾分流的胃静脉曲张患者的效果及安全性。方法纳入2023年2月—2023年6月因肝硬化伴胃静脉曲张于首都医科大学附属北京地坛医院就诊,证实存在胃肾分流(GRS),并接受金属夹辅助内镜超声引导组织胶注射治疗的患者。主要的评价指标是术后曲张静脉减轻或消失情况,次要评价指标为手术完成情况及并发症。结果共11例合并GRS的胃静脉曲张患者纳入研究,男7例,女4例;中位年龄55岁;肝功能Child-Pugh A级1例,Child-Pugh B级7例,Child-Pugh C级3例;分流道最大直径(中位)8 mm,最小直径(中位)4 mm。治疗前靶血管血流中位流速11 cm/s,金属夹阻断后靶血管中位流速5 cm/s;中位组织胶使用量2 mL,聚桂醇使用量均为1 mL。所有患者手术结束后血流信号100%消失,手术成功率100%。随访6周患者均无再出血发生。术后1个月复查胃镜示静脉曲张根除或基本消失9例,静脉曲张改善2例。结论对于合并GRS的胃静脉曲张肝硬化患者,金属夹辅助内镜超声引导组织胶注射治疗是一种可行,安全,有效的方法。 展开更多
关键词 肝硬化 食管和胃静脉曲张 金属夹
下载PDF
基于梯度和语义特征融合的商标图像相似性研究
19
作者 马无锡 《浙江工贸职业技术学院学报》 2024年第2期67-70,83,共5页
图像检索在众多领域中起着不可替代的作用,也是计算机视觉领域重要的研究内容之一,特别是如何在海量的图像中快速检索到准确的图像。从图像特征提取入手,针对商标图像边缘信息丰富的特点,利用CLIP预训练模型,提出了一种CLIP特征和HOG特... 图像检索在众多领域中起着不可替代的作用,也是计算机视觉领域重要的研究内容之一,特别是如何在海量的图像中快速检索到准确的图像。从图像特征提取入手,针对商标图像边缘信息丰富的特点,利用CLIP预训练模型,提出了一种CLIP特征和HOG特征相融合的特征提取方法,并且在两份数据集上进行对比实验,实验结果显示该融合特征优于使用单一特征的方法。基于该方法的有效性,开发了一套简易的商标图像相似性检索系统,可以快速从商标图像库中检索出和输入商标相似性高的图片。 展开更多
关键词 clip HOG 特征融合 图像相似性 商标图像
下载PDF
基于3D线激光传感器的轨道弹条扣件结构缺陷检测方法
20
作者 袁小翠 王咏涛 +2 位作者 刘宝玲 侯迪波 江宗辉 《红外与激光工程》 EI CSCD 北大核心 2024年第7期154-168,共15页
轨道扣件缺陷是铁路安全运行的重大安全隐患,基于二维图像处理方法能检测扣件外观缺陷,但难以检测扣件结构缺陷,提出了一种3D线激光传感器的轨道扣件结构缺陷检测方法。首先,利用3D线激光传感器获取轨道点云,根据扣件高度快速定位扣件... 轨道扣件缺陷是铁路安全运行的重大安全隐患,基于二维图像处理方法能检测扣件外观缺陷,但难以检测扣件结构缺陷,提出了一种3D线激光传感器的轨道扣件结构缺陷检测方法。首先,利用3D线激光传感器获取轨道点云,根据扣件高度快速定位扣件区域点云,利用PointNet++网络对扣件区域点云分割获得弹条点云;其次,将弹条点云映射至二维图像,在二维图像中提取弹条骨架,二维骨架融合至三维点云获得初始骨架,对每个初始骨架点云拟合截面圆,以各截面圆心作为弹条骨架精确表示弹条轮廓及空间结构;最后,提取弹条三维骨架的特征点,根据特征点构造扣压平面和计算弹条缝隙,基于弹条缝隙检测扣件结构缺陷。为了验证文中方法的有效性,以WJ-7、WJ-8、WJ-2型弹条扣件为对象测量弹条缝隙,并将文中方法测量的弹条缝隙与人工使用缝隙尺测量的真实值进行比较,单个扣件的测量误差在0.1 mm内,且文中方法对轨道油污、锈斑及环境有较好的鲁棒性;对批量扣件的结构缺陷检测,当测量误差允许在±0.1 mm时,扣件结构缺陷检测的准确率不低于95%。 展开更多
关键词 轨道扣件 结构缺陷 松紧检测 弹条缝隙 骨架提取
下载PDF
上一页 1 2 212 下一页 到第
使用帮助 返回顶部