自由文本信息抽取技术

信息抽取是从自由文本语料库构建数据库 ,实现情报自动收集的有效途径之一。近十多年来 ,信息抽取技术逐步走向成熟 ,已成为与信息检索相平行的技术之一。对信息抽取技术进行系统的归类、总结 ,已显得较为迫切。在对当前多种主要的信息抽取技术进行分析、比较的基础上 ,结合信息抽取所面临的挑战 。

基于规则的海事自由文本信息抽取方法研究

海事数据的结构化处理是海事安全研究的一个重要步骤。目前,网络上存在着大量的海事相关信息,但多为不同格式的非结构化文档数据,可以采用一种基于规则的海事信息抽取方法,将海事自由文本转化为结构化的数据。通过网络爬虫从海事相关网页中得到待抽取文本数据,根据得到的文本信息定义抽取任务为时间、地点、船名和事故类型4个数据项,再根据抽取任务本身及其常见触发词构建自定义海事词库,用于自由文本的分词和词性标注;通过对大量事故语料的分析总结,编制抽取规则进行海事信息的抽取,形成结构化的海事数据。以长江海事局网站的事故详情为数据源,采用基于规则的抽取方法进行实验。实验结果表明,时间信息抽取的准确率为100%,召回率为91%;地点信息抽取的准确率为94.52%,召回率为69%;船名信息抽取的准确率为97.75%,召回率为86%;事故类型信息抽取的准确率为96.67%,召回率为87%。

基于中文自由文本击键特征的自动欺骗检测模型

研究表明欺骗行为在一定程度上会影响用户击键模式的变化.在互联网社交应用领域,通过击键特征对欺骗行为的检测对网络信息安全建设具有重要意义.然而,现有的欺骗行为检测模型侵入性强,实时性差等问题,限制了其在互联网社交应用领域的应用.针对以上问题,本研究设计了一个实验从短文本中收集了广泛的用户击键特征(单键特征、内容特征、双键特征),分别采用遗传算法(GA)和支撑向量机(SVM)完成特征选择和模型建立,开发出一个用以预测用户欺骗行为的模型(GA-SVM).研究结果表明:该模型能够有效地检测出用户的欺骗行为,获得82.86%的分类准确率;三类击键特征对欺骗行为的检测都有贡献.此外,欺骗者认知负荷和心理压力对击键模式影响也被探讨.

基于归一化编辑距离的自由文本击键特征分类识别方法

针对基于相对距离的自由文本击键特征分类识别方法 (R方法 ),提出了一种基于归一化编辑距离的自由文本击键特征分类识别方法。通过数据收集、预处理、距离计算、归一化处理、分类判定等过程,实现了对中文自由文本击键特征样本进行准确分类识别的方法。实验证明,本方法比R方法的分类正确率更高,识别准确度更好。

基于加权相对距离的自由文本击键特征认证识别方法

基于相对距离的自由文本击键特征认证识别方法(即R方法),提出一种基于加权相对距离的自由文本击键特征认证识别方法。通过收集用户在QQ聊天过程中产生的击键自由文本数据,对用户的击键特性进行分析,提取其中的双键数据信息,计算加权距离、归一化处理及认证判断。分别计算FRR和FAR。实验证明文中所用方法的FRR和FAR都低于R方法,识别准确度更好。

精彩诡辩、自由文本与戏曲文化功能的实现——论眉户剧《张连卖布》及其它

眉户剧《张连卖布》之所以能在无穷无尽的搬演翻唱中成为经典,首先是由于原创者以丑角张连的荒谬诡辩,形成演出时的兴趣触发与审美吸引,从而说明,精彩的原创故事叙述在戏曲中的根本性意义。同时,它又是一个特殊的自由唱本,任由所有喜欢它的演员与观众延伸创造,并在延伸创造中放大着它的传播效应。当然,还因为它在演唱之间融进了丰富的民俗叙说,不仅使其"精彩"诡辩达到极致,而且,使其文化内涵远远超越于一般小戏。这些都值得我们今天以高昂代价打造缺少观众的"大戏"的人们反思。

基于CNN和RNN的自由文本击键模式持续身份认证

个人击键节奏模式具有很难被模仿的特点并可以用于身份认证。根据个人自由文本输入时的击键数据可以学习到个人独有的击键模式。基于对用户自由文本击键输入的检测,能够在不影响用户输入的情况下完成对用户身份的持续认证。该文提出将整体击键数据划分成固定长度的击键序列,并且根据击键的时间特征将击键序列中的击键时间数据转化成击键向量。使用卷积神经网络(convolutional neural networks,CNN)加循环神经网络(recurrent neural networks,RNN)的模型进行个人击键向量序列进行学习,用于身份认证。结果表明:模型使用公开数据集进行实验获得最优拒真率(false rejection rate,FRR)为1.95%,容假率(false acceptance rate,FAR)为4.12%,相等错误率(equal error rate,EER)为3.04%。

基于高维聚类的探索性文本挖掘算法

建立了一种基于高维聚类的探索性文本挖掘算法,利用文本挖掘的引导作用实现数据类文本中的数据挖掘。算法只需要少量迭代,就能够从非常大的文本集中产生良好的集群;映射到其他数据与将文本记录到用户组,能进一步提高算法的结果。通过对相关数据的测试以及实验结果的分析,证实了该方法的可行性与有效性。

临床文本自动去识别方法比较

介绍临床文本自动去识别的常用方法,包括基于规则的方法、机器学习方法、综合方法等,阐述临床文本去识别研究在临床文本实用性、系统一般性和可扩展性等方面存在的挑战,分析今后的研究方向,为该领域研究者提供借鉴。

基于“人工智能”的电子商务大物流模式研究

1.人工智能技术下的电子商务物流1.1电子商务入库自动化管理随着人工智能技术的飞速发展,电子商务相关订单的产品入库也逐渐发展为全自动化模式。自动化收录电子商务的模式已经成为电子商务大物流模式备受关注且拥有发展前景广泛的研究方向[1]。人工智能技术通过机器自动采集数据,与人进行双重联动,提高电子商务订单入库服务的处理效率。加入人工智能技术后,电子商务入库返回给用户订单信息关键词,按匹配排序形成相应的文档列表,还有精准的订单走向数据[2]。电子商务自动入库基于订单自由文本和基于问答的三个阶段,具体如下表所示。

医学影像结构式报告的现状和展望

医学影像结构式报告可以完整、清晰地传递影像检查的信息,提升影像工作的价值。本文综述了结构式报告的理念、构建方式及应用,并对结构式报告的未来发展方向进行了展望。

基于组织机构代码信息进行数据挖掘与属性关联分析的方法初探

本文以涵盖各类单位动态基本信息的全国组织机构代码数据库为基础,依托当前自然语言自动处理技术的成功经验和研究成果,探究实现大规模机构信息自由文本数据的信息抽取、切分词优化、统计分类推断、属性关联分析等方法。为"全国组织机构代码共享平台"实现核心字段动态自动翻译、知识发现、数据质量提高,以及信息自动填补等方面提供关键技术支撑,进而为提高数据库信息利用率提供技术参考,为积极推进国家电子政务信息建设做出有益探索。

跨语言信息检索技术探析

介绍了跨语言信息检索产生的背景和概念,阐述其类型、系统模型和几种主要的跨语言信息检索方法,并对影响跨语言信息检索效果的因素提出了一些解决的方法。

基于“强”规则匹配技术的临床数据处理方法探讨

临床数据处理的关键是如何定义清晰的数据处理边界,建立"强"规则匹配方法,以保证数据提取的准确性及具有极少的"冗余"度,完成"数据"向"信息"的转换,形成应用价值。本文作者及合作团队,通过对国内6所大型三级甲等医院,不同疾病类型临床数据处理方法的研究,解决了信息模型构建、临床专业词库形成、临床信息提取等技术难题,形成了具有较强应用价值的基于大数据的临床质量管理和科研数据支撑系统。比较结果证明,针对信息模型中数据项,原始病历的人工阅读结果与专用信息提取工具结果间的误差能够控制在2%以内。

浅论网络信息资源的开发与组织

分析了网络信息资源开发与组织的原因,论述了网络信息资源的可得性开发、可用性开发和高水平利用性开发三个层次,并对网络信息资源开发的关键环节——网络信息资源组织作了进一步的阐述,指出网络信息资源组织应注意的问题。探讨了网络信息资源导航、推送技术、网络知识挖掘等当前网络信息资源管理研究中的热点问题。

基于AssiStudy的形成性评价系统及学生进程监测

自由文本答案(Free-text Answers)的评价过程不仅耗费教师大量的时间,而且,在将同样的评价标准应用于所有答案时,由于存在诸多困难,可能导致不公平。Assi Study系统由几个模块构成,其研发的主要目的就是用作对学生进行形成性评价的工具,帮助教师设计并评价考试,同时监测学生的进展状况。根据词及其POS标签,该系统能够计算出SA和RA之间的共有语义,自动生成RAs,并运算出近似分值,从而超越了简单的词汇匹配。实验证明,该系统的应用能提高学生的通过率并大大减轻教师阅卷的工作量。

中国法规全文检索系统的开发

本文论述了法规全文检索系统设计思想、系统的特点、主要功能和实现的方法 ,介绍了系统提供的包括自由文本检索、逻辑组合检索、程序检索在内的多种手段和方式 ,以及 B+树索引文件结构 .并进一步分析了采用超文本检索、多 B树结构、汉语词的切分和自动标引等可行方法 .

依存分析和HMM相结合的信息抽取方法

信息抽取是文本信息处理的一个重要环节,当前的信息抽取研究工作大多针对半结构化的文本。针对自由文本,提出一种依存分析和HMM相结合的文本信息抽取算法,该算法在运用依存分析对句子进行浅层句法分析的基础上制定相应规则,形成输入序列,结合HMM易于建立、适应性好、抽取精度较高的优势,实现自由文本的信息抽取。实验结果表明,新的算法在召回率、准确率和正确率指标上均有良好的性能,说明了算法的有效性,为文本信息的抽取提供了新思路。

基于规则的百科人物属性抽取

信息抽取是数据挖掘的一个重要领域,文本信息抽取是指从一段自由文本中抽取出指定的信息并将其结构化数据存入知识库供用户查询或下一步处理所用。人物属性信息抽取是智能人物类搜索引擎构建的重要基础,同时结构化信息也是计算机所能理解的一种数据格式。作者提出了一种自动获取百科人物属性的方法,该方法利用各属性值的词性信息来定位到百科自由文本中,通过统计的方法发现规则,再根据规则匹配从百科文本中获取人物属性信息。实验表明该方法从百科文本中抽取人物属性信息是有效的。抽取的结果可以用来构建人物属性知识库。

Membrane：试水渗透性出版

在线互动社区薄膜(Membrane)作为《纽约时报》研究与发展实验室渗透性出版的最新成果,通过"提示"与"应答"两大操作方式,改善了传统自由文本评论信息冗杂、脱离语境的问题,使得读者与作者、读者与读者得以在具体文本语境下就内容进行更深入的交流,是渗透性出版的有益尝试。