基于SNM改进算法的相似重复记录消除

高质量的数据是构建数据仓库的最重要因素,低质量的数据可能对决策产生不利影响。来自不同数据源的相似重复记录是数据仓库构建中影响数据质量的主要问题之一,在源数据进入数据仓库之前尽可能地消除相似重复记录能很大程度地提高数据质量。为此,比较了现有的相似重复记录消除算法,改进了SNM算法,并通过实验比较了传统SNM方法与改进SNM算法。实验结果显示:在相似重复记录消除方面,SNM改进算法具有明显的优势。

对基于SNM数据清洗算法的优化

对基本邻近排序算法SNM(basic sorted-neighborhood method)进行分析,指出其不足;提出基于SNM算法的一种优化算法,通过采集中南大学冶金矿物工程机构知识库的2 000多条文献记录作为样本数据进行实验研究,对记录的"脏数据"按照DC标准和相关规范进行清洗与排重。研究结果表明:与SNM算法相比,在同样的运算环境下,优化算法在招回率、误识别率和执行时间上有明显优势。

战略生态位管理(SNM)理论研究现状述评及展望

战略生态位管理(SNM)理论做为生态位理论的延伸,对于演化经济学的应用和发展具有重要的意义,目前仍处于发展和探讨之中。对战略生态位管理问题的相关研究分别从战略生态位管理理论的起源、产生和研究现状三方面进行回顾和评述,在此基础上,从基础理论研究、颠覆性技术创新路径、战略性新兴产业培育和发展以及高新区运作管理方面对战略生态位管理的理论研究趋势和应用前景略作展望。

SNM视角下新型研发机构发展质量提升路径与策略

针对当前不少新型研发机构创新效率不高、创新效果不大等发展瓶颈,基于SNM(Strategic Niche Management)理论,从愿景建立、技术选择、网络构建、成果转化和交互学习等5个维度设计了新型研发机构发展质量的提升路径,进而通过凝练国际高水平研发机构的成功做法,给出提升新型研发机构高质量发展的策略建议,旨在为我国新型研发机构的提质增效提供崭新视角和参考借鉴。

新技术成长如何跨越“死亡之谷”——基于SNM视角的颠覆性技术保护空间构建

颠覆性技术的路径演化过程会经历婴儿期、成长期、成熟期和衰退期四个时期,在这四个时期中,新技术成长过程由技术到市场、由市场到产业化会形成两次"死亡之谷"。运用SNM理论为颠覆性技术构建"技术生态位""市场生态位""范式生态位",可实现三个生态位对颠覆性技术成长五阶段的全过程保护,使技术顺利跨越两次"死亡之谷"。

SNM-FP03神经电刺激仪治疗功能性消化不良临床试验研究

[目的]观察并验证SNM-FP03神经电刺激仪刺激内关穴、足三里穴改善功能性消化不良患者临床症状的疗效,建立一种新的治疗方法代替传统的药物和针灸治疗。[方法]以63例符合纳入标准的功能性消化不良患者为研究对象,随机分成实验组32例和对照组31例。实验组采用SNM-FP03神经电刺激仪刺激内关、足三里;对照组采用YM-W型胃动力治疗仪(家用型)刺激胃窦、胃体体表投影处,两组连续治疗14天。针刺前1天及最后1天分别进行各项临床症状评分,并填写汉密尔顿焦虑、抑郁量表。[结果]实验组治疗2周后,总体有效率为83.3%,症状评分由7.10±2.92分降至1.80±1.85分,差异具有统计学意义(P<0.01);症状评分改善值(5.30±2.84分)与对照组(5.00±2.88分)差异无统计学意义(P>0.05);对功能性消化不良的不同亚型疗效相当(P>0.05)。焦虑、抑郁状态影响其治疗效果(r=-0.906,r=-0.612)。病程、体重指数等也与治疗效果低度相关(r=-0.118,r=0.134)。1月后随访,患者症状有不同程度复发,转药物治疗。[结论]经皮神经电刺激内关穴、足三里穴治疗功能性消化不良能明显改善临床症状,安全有效,且方便无创,提高患者的依从性,可作为一种新的治疗方法应用于临床。

基于SNM的企业原始创新管理工具研究

在对国外关于原始创新文献进行梳理的基础上,结合我国实际,分析了如何使用国际常用的SNM管理工具对我国企业原始创新进行有效管理。通过分析指出,在SNM这种有效管理工具的作用下,原始创新的风险可以得到有效控制,进而提高企业原始创新中核心技术的研发成功率。

基于随机牛顿法(SNM)的级联多电平逆变器特定谐波消除

特定谐波消除脉宽调制(SHEPWM)技术,通过计算最优的开关角度,在保证期望基波电压输出的同时有效消除选定的低次谐波,具有开关频率低、波形质量高等一系列优点。为了提高SHEPWM非线性方程组的求解可靠性和快速性,提出了将粒子群优化算法(PSO)与牛顿迭代法相结合的随机牛顿法(SNM),通过Matlab编程求解SHEPWM非线性方程组验证了SNM求解的可靠性和快速性。最后通过搭建单相7电平级联H桥逆变器和三相D型接线11电平级联H桥逆变器仿真实验系统,验证了SNM求解的开关角度能够实现基波控制目标并有效消除选定的低次谐波。

基于SNM理论的战略性新兴产业技术创新联盟运作机理研究

在经济新常态下,战略性新兴产业是促进产业结构转型升级,推动经济发展向创新驱动转变的必然选择。然而,忽视协同创新、产业发展泛化等问题在战略性新兴产业发展过程中显得较为突出。在梳理SNM理论核心内容基础上,运用SNM理论分析战略性新兴产业技术创新联盟技术生态位的网络关系,并从网络视角阐述了联盟技术生态位态势的愿景、力量和知识机制;最后基于SNM理论视角,从宏观、中观和微观三个层面提出联盟的运作策略。

基于SNM网站群监控系统构建与研究

针对网站群监控系统存在分散管理、各自为政、监管工作重复低效、可视性弱及缺乏统一Web监管平台等问题,提出利用VMWare Server和开源软件SNM在Ubuntu Server上构建网站群监控系统。该系统实现了以便携式网络图形(PNG)方式显示出网站群服务器的硬件资源和服务综合运行状态。

基于长度过滤和有效权值的SNM改进算法

异构数据库集成中产生了相似重复记录,但数量是有限的,采用传统的SNM算法进行检测,需要在窗口内对所有记录进行比对,效率不高。针对这一缺陷,提出一种基于长度过滤和有效权值的SNM改进算法,在窗口内根据两条记录的长度比例首先将不可能构成相似重复记录的数据排除在外,减少了记录比较的次数,提高了检测效率;进一步通过设置属性有效性因子和权重比例计算有效权值,利用有效权值进行检测,提高了查全率和查准率。实验证明改进算法在各种性能上均优于SNM算法。

阈值电压对超深亚微米SRAM存储单元SNM的影响

采用基于物理模型的 α指数 MOSFET模型 ,对超深亚微米 (VDSM:Very Deep Submicron) SRAM存储单元的静态噪声容限 (SNM:Static Noise Margin)进行了解析分析 ,分析中考虑了随机工艺涨落造成的VDSM SRAM存储单元阈值失配对 SNM的影响 ,结果与 HSPICE仿真相符 ;文中同时分析了栅宽与 SNM的关系 ,其结论与实验结果一致 ,并给出了 VDSM

改进的SNM中文语义重复记录检测算法

为解决中文数据的重复检测问题,在SNM(Sorted-Neighborhood Method)算法的基础上提出了一种融合《同义词词林扩展版》和中文分词于一体的重复记录检测算法,通过利用《同义词词林扩展版》和Jaccard算法计算词语相似度,同时采用Python中Jieba中文分词的方式对语句进行分词,从而达到优化余弦相似度算法计算语句相似度。改进后的算法能有效的对记录为中文的字段和语句进行重复记录检测。并通过对某辅导机构学生测验信息数据集进行实验,实验结果表明,该算法的查全率及查准率比传统SNM算法有了很大提高。

基于模糊综合评判和长度过滤的SNM改进算法

为了提高数据库的数据质量,需要对相似重复记录进行清洗,基本邻近排序算法是目前常用的清洗算法之一.针对判重过程中属性权值计算主观性过强的问题,提出通过多用户综合评判确定属性权值的方法,该方法能更客观地评判属性的重要性程度.在此基础上,结合属性权值计算两条记录的长度比例,排除不可能构成相似重复的记录,减少了比较次数,提高了检测效率.实验结果表明改进算法在查全率、查准率及时间效率等方面均有所提高.

基于长度过滤和动态容错的SNM改进算法

数据仓库中相似重复记录的清洗对于数据质量影响很大,传统的基本邻近排序算法(sorted-neighborhood method,SNM)时间效率和准确率均不高。针对SNM算法的缺陷,提出了一种基于长度过滤和动态容错的SNM改进算法。根据两条记录的长度比例和属性缺失情况,首先排除一部分不可能构成相似重复记录的数据,减少比较次数,提高检测效率;进一步提出了动态容错法,校准字段相似度评判结果,解决了因属性缺失而误判的问题,提高了准确率。针对实际数据集的实验分析表明,在相同的运算环境下,优化算法在准确率和时间效率上有明显优势。

基于伸缩窗口和等级调整的SNM改进方法

对基本邻近排序算法(basic sorted-neighborhood method,SNM)进行分析,指出其不足,提出了SNM算法的一种改进方法。采用变步长伸缩窗口,动态改变检测窗口大小,避免漏配问题,并减少不必要的比较。采用动态调整等级法,根据记录相似度调整字段等级,并通过等级法将字段等级转换为权重,解决了人为赋予固定权重主观性强、不准确的问题。通过对实际系统中的数据进行测试,验证了方法的有效性和优越性。同时,这两种方法适用于大多数基于排序—合并的相似重复记录检测方法,提高了相应方法的效率和准确度。

基于SNM理论的深圳新零售之城构建

基于SNM理论,深圳已经进入"新零售之城"构建的市场生态位阶段,即构建"新零售之城"的生态网络已经形成。为了实现从"市场生态位"到"范式生态位"的成功跃迁,将深圳建成以人为本的、兼具深度和宽度的新零售之城,深圳应该从构建一致期望、突出深圳特色、培育平台企业、提升业态创新与丰富、促进传统行业转型升级以及加大技术拉动等方面进行推进。

基于SNM算法的大数据量中文商品清洗方法

SNM算法即邻近排序算法,是英文数据清洗最常用的算法[1]。目前为止,因为中英文语义的差异等一些原因,中文数据清洗还未形成完整的理论,现有中文数据清洗算法大多数是基于改编英文数据清洗算法而来的[2～3]。论文介绍数算法,论述该算法的缺陷,针对缺陷进项改进,并提出实际中的应用场景。通过实验结果显示,在相似重复记录消除方面,SNM改进算法具有明显的优势。

基于字段过滤和伸缩窗口的SNM算法优化

数据仓库中的问题数据对数据质量有较大的影响,为了查找和去除这些问题数据,首要的工作是处理相似重复数据,目前针对重复数据清除应用最多的算法是基本邻近排序算法(SNM)。通过分析SNM算法的缺陷,提出了一种改进的SNM算法——ISNM。采用属性区分法计算属性权值,解决了人为主观赋予权值导致的问题;使用字段过滤算法计算2条记录的相似度,减少了窗口内记录属性的比对次数,加快了算法的检测速度;使用可变窗口代替固定大小的窗口,防止记录漏配并减少无用的记录比对。实验结果表明,改进后的ISNM算法在查全率、查准率和运行时间开销上有明显的优势。

基于聚类分组和属性综合权值的SNM改进算法

在处理大量业务数据时,传统的基本临近排序算法(sorted-neighborhood method,SNM)查准率、查全率均不高。针对SNM算法的缺陷,提出了一种基于聚类分组和属性综合权值的SNM改进算法。该算法基于分层思想,首先采用聚类分组的方式将海量数据进行分组,然后对各属性设置综合权值最后再进行相似重复记录的识别。其中聚类分组法能有效减少记录之间的比对次数,提高检测效率;属性综合权值的方法能更加准确反映各属性对记录的贡献度,针对实际数据集的实验分析表明,聚类分组法和属性综合权值法两者结合在提高查准率、查全率等方面均优于传统的SNM算法。