算法偏见背后的数据选择、信息过滤与协同治理

算法驱动的人类智能系统与人工智能系统交互中,数据选择与信息过滤是不容忽视的关键环节,一方面与算法运行的不透明性有关,另一方面也受到人机协同的信息过滤影响。算法偏见已经造成了现实生活中信息圈层之间的分化,并可能延续甚至加剧社会发展多个方面的失衡。因此,有必要审慎地看待算法偏见的影响要素,透视技术本身及其应用过程中的潜在风险和问题,从而为应对人工智能嵌入社会系统过程中所带来的阶段性偏见提供思路。

基于过滤冗余信息相似性的电影推荐算法

现有的基于内容相似性的推荐算法在处理文本内容时,往往忽略了词序和上下文信息的重要性,并且计算复杂度较高。因此,文章提出了一种基于过滤冗余信息相似性的启发式方法,并成功地将该方法应用于电影推荐领域,实现了更精准的推荐效果。与其他算法对比,该算法在预测1部电影时的准确率提升了0.07百分点~0.24百分点,在预测3部电影时的准确率提升了0.05百分点~0.30百分点。以该算法的召回率作为基准(设为100%),在预测1部电影时,其他算法的召回率仅为该算法的2.38%~70.24%;在预测3部电影时,其他算法的召回率仅为该算法的3.78%~84.87%。以上结果证明了该算法的有效性和可行性。

基于跨模态信息过滤的视觉问答网络

视觉问答作为多模态任务,瓶颈在于需要解决不同模态间的融合问题,这不仅需要充分理解图像中的视觉和文本,还需具备对齐跨模态表示的能力。注意力机制的引入为多模态融合提供了有效的路径,然而先前的方法通常将提取的图像特征直接进行注意力计算,忽略了图像特征中含有噪声和不正确的信息这一问题,且多数方法局限于模态间的浅层交互,未曾考虑模态间的深层语义信息。为解决这一问题,提出了一个跨模态信息过滤网络,即首先以问题特征为监督信号,通过设计的信息过滤模块来过滤图像特征信息,使之更好地契合问题表征;随后将图像特征和问题特征送入跨模态交互层,在自注意力和引导注意力的作用下分别建模模态内和模态间的关系,以获取更细粒度的多模态特征。在VQA2.0数据集上进行了广泛的实验,实验结果表明,信息过滤模块的引入有效提升了模型准确率,在test-std上的整体精度达到了71.51%,相比大多数先进的方法具有良好的性能。

基于层次聚类的敏感信息安全过滤模型研究

若恶意信息在网络广泛传播,将严重影响网民的正常上网体验,于是提出基于层次聚类的敏感信息安全过滤模型。对敏感词拆分或者组合,将个体词语组建合成为敏感词短句,利用增量式Rocchio算法明确用户感兴趣内容,凭借层次聚类算法将用户感兴趣信息划分为不同类别;计算每组类别数据集中词频和位置因子,得到目标敏感级别分为绝对禁止、一般敏感和需要审核,最后对照由词表、短句构建的敏感词库,自动识别并去除互联网信息流中的敏感部分。在仿真中,所提方法得到的敏感词分布轨迹与实际轨迹高度拟合,能够证明方法过滤信息精度高,在误判率、漏判率和过滤效率方面也展现出了绝对优势。

面向新能源智能电网的多Agent信息过滤网络安全增强方法

针对新能源智能电网的电力系统状态估计问题,提出一种基于多Agent信息过滤的智能电网安全增强方法,以保护系统状态估计过程不受来自故障设备或网络攻击的错误数据注入的影响。基于多Agent过滤方案进行电网状态估计,各Agent采用基于信任机制的过滤方案,将信任度系数作为所接收到的对应邻接Agent状态值的权重参数。同时,考虑到每个Agent的信任度动态变化的可能性,设计实现Agent信任度更新机制,将Agent的长期行为特征作为量化其信任度的依据。在模拟电网中的仿真实验验证了该方法的有效性,能够应对错误数据注入对电网状态估计的影响。

基于词义特性的电子邮件敏感信息过滤仿真

针对电子邮件敏感信息特征种类多,敏感信息过滤难度大的问题,提出一种基于决策树的过滤算法优化方法。建立电子邮件向量空间模型,给出信息对应词和所属类别向量关系,计算敏感信息中某一代表性词语与类别间的对应关系,通过词频出现概率求得所属类别,提取邮件特征。考虑到敏感信息在不同时间点的词义特性会发生变化,建立决策树,通过映射得到敏感信息与上下文信息串之间的影响关系,对电子邮件中的敏感信息项添加标签,求得属性值参数,按照参数大小设定邮件抗体的成熟度值,用于调整邮件传输通道宽度,实现精准过滤。实验数据证明,所提方法过滤精准度高,所需运算代价小,具有一定的实用价值。

一种基于DFA的短文本信息过滤算法

有关信息过滤的算法应用广泛,随着微信、微博等社交平台的迅速发展,短文本信息在网络通信中占据了主流,针对短文本信息的过滤也越来越重要。通过比较BF算法、KMP算法、AC算法等经典模式匹配算法的优缺点,选择更适合短文本过滤的DFA算法。介绍DFA算法基本原理,提出一种基于DFA的改进算法,改进后的算法通过敏感词预处理和过滤过程优化来提高检测率。实验结果表明,相比于SWDT-IFA算法,改进后的算法对中文对话数据集检测的查准率提高了3%,误报率降低了0.87%,具有较高的应用价值。

基于改进Rocchio的网络信息过滤算法

由于网络上信息内容庞杂,传统基于内容的过滤方法难以建立准确的类别模板,导致信息过滤效果较差,提出基于改进Rocchio的网络信息过滤算法。文章首先利用数据包捕获技术与协议解析技术获取网络文本信息,其次基于改进Rocchio生成类别过滤模板,最后对比待过滤信息与类别模板的相似度,实现网络信息过滤。实验结果显示,设计的网络信息过滤算法的查全率为95.7%、查准率为96.8%,具有较好的过滤效果。

基于朴素贝叶斯算法的信息过滤研究

随着信息量的快速增长,获取和筛选相关信息变得越来越重要。文章研究了基于朴素贝叶斯算法的信息过滤方法。首先,介绍了朴素贝叶斯算法的基本原理,包括贝叶斯定理、朴素贝叶斯分类器及该算法的优缺点。其次,探讨了朴素贝叶斯算法在信息过滤领域的应用,包括信息过滤的分类、文本表示方法、基于朴素贝叶斯的信息过滤模型构建。最后,通过实验评估了该方法在文本分类任务上的性能,包括不同特征表示方法的对比以及与其他分类算法的性能对比。实验结果表明,基于朴素贝叶斯算法的信息过滤具有较好的性能,可以有效分类不同主题的文本。

基于病毒分类挖掘算法的有害信息过滤研究与探索

本文提出了一种改进的基于病毒分类挖掘的有害信息过滤分析方法。该方法采用分类挖掘算法,通过对传输数据进行分类和判断,识别并过滤出存在病毒的有害信息。实验结果表明,该方法能够有效地识别和过滤出存在病毒的有害信息,并提高信息过滤的准确性和效率。

联合作战模式下的信息过滤方法

信息化作战是当前主要作战方式之一,面向弱连接、高实时和资源受限的战场边缘网络环境,以信息化技术为主导建立陆军、海军和空军各兵种间可靠的和互连互通的协同作战模式成为联合作战研究热点。基于信息文本的虚词特征,提出了一种联合作战模式下的信息过滤方法,通过模拟各军兵种在云-边-端协同模式下的信息过滤,既降低了作战资源占用率又保障了作战信息文本的高实时与唯一性。

基于内容理解的不良信息过滤技术研究

针对当前基于内容理解的网络不良信息过滤国内外研究现状,简要介绍了基于内容理解的不良信息过滤技术的相关概念和特点,并对基于内容理解的不良信息过滤关键工作中的主要算法和技术的基本原理及优缺点进行了系统的探讨和分析。最后讨论了当前基于内容的不良信息过滤技术存在的困难和发展趋势。

个性化网上信息过滤智能体的实现

论述了一个Internet网上个性化信息过滤智能体的实现。它采用向量空间模型[3] 作为文档表示的基础 ,通过抽取用户浏览网页的特征 ,使用BP神经网络来学习和跟踪用户的兴趣 ,从而动态了解用户的浏览行为 ,并在用户查询时能有效地过滤出用户感兴趣的信息。

进化式信息过滤方法研究

进化式信息过滤方法从多个角度描述用户的信息需求 ,通过类似自然选择的过程 ,达到系统整体过滤性能的优化 .同时还从面向对象程序设计语言的设计思想中获得启发 ,引入了继承、类树的概念 ,增加了过滤系统的易用性 .这种方法可以缩短训练时间 ,提高过滤质量 。

一种基于内容的信息过滤改进模型

根据过滤系统的不同过滤目的,将信息过滤分为两类:(1)基于满足用户信息需求的用户兴趣过滤;(2)基于保障数据安全和社会安全的安全过滤.在详细分析了这两类信息过滤的异同之后,指出了安全过滤研究的特殊性及其主要研究内容.在现有用户兴趣过滤系统模型的基础上,提出了一个基于内容的信息过滤模型,并对模型中新增模块进行了试验.研究结果表明,新增模块能够很好地实现基于内容过滤系统的高精度,证明了该过滤模型具有一定的实用价值.

利用Bookmark服务进行网络信息过滤

信息过滤 ( information filtering)是解决网络信息查询困难的重要方法 ,其核心技术是用户信息需求的获取和信息匹配算法 .该文从这两方面讨论了在 Internet上进行信息过滤的问题 .在用户信息获取方面 ,提出通过扩展浏览器上的 Bookmark功能 ,跟踪用户信息需求 ,并直接利用用户评价文章来表达用户需求 .在信息匹配方面 ,提出最大间距进行 ranking的算法 .实验表明 ,它比传统算法精度更高 .作为对上述方法的实现 ,设计了 Bookmark服务系统 ,给出其系统框图 。

基于核方法的敏感信息过滤的研究

在深入分析敏感信息过滤任务的特点和难点的基础上,针对现有一般的信息过滤方法的不足,提出了一种利用敏感词的组合信息来改进过滤效果的思想。进而,研究了在核方法的框架下特征共现行为建模的原则并提出了复合ANOVA核来刻画特征组合行为。通过真实信息过滤环境中的测试评估,显示了此敏感信息过滤方法的有效性。

国外信息过滤系统的研究综述

明确了信息过滤系统与相关系统的区别,设计了一个框架,根据多种标准对信息过滤系统进行分类;阐述了相关的过滤方法;描述了信息过滤系统的重要概念和用于实现的技术;讨论信息过滤系统的评估方法及其局限性。最后,文章对信息过滤系统发展方向进行了展望。

信息过滤技术和个性化信息服务

信息过滤技术是指根据用户兴趣帮助用户过滤掉那些他不感兴趣的信息。目前出现许多这方面的应用系统,通过对信息过滤概念的研究和与信息检索概念的比较,抽象出这类系统的一般模型,对其进行多角度的分类并在此基础上研究了信息过滤在个性化信息提供的关键技术。

网络敏感信息自适应多重过滤模型研究

敏感信息过滤是既重要又复杂的任务。针对当前一些敏感信息过滤模型所存在的时间滞后、准确性低、自适应性差等问题,提出了一个敏感信息自适应多重过滤模型。该模型以互联网中文文本媒体为研究对象,采用意见挖据、机器学习、高性能计算和自然语言处理等技术,从整体和语义角度自适应识别敏感信息。对敏感信息自适应多重过滤模型的研究将为舆情监控、商业智能、辅助决策等应用系统开发提供技术支持。