算法偏见背后的数据选择、信息过滤与协同治理

算法驱动的人类智能系统与人工智能系统交互中,数据选择与信息过滤是不容忽视的关键环节,一方面与算法运行的不透明性有关,另一方面也受到人机协同的信息过滤影响。算法偏见已经造成了现实生活中信息圈层之间的分化,并可能延续甚至加剧社会发展多个方面的失衡。因此,有必要审慎地看待算法偏见的影响要素,透视技术本身及其应用过程中的潜在风险和问题,从而为应对人工智能嵌入社会系统过程中所带来的阶段性偏见提供思路。

P-集合与(F|ˉ)-数据选择-发现

P-集合是由内P-集合XFˉ与外P-集合X^F构成的集合对,或者(X^F,X^F)是P-集合。P-集合具有动态特性。P-集合是把动态特性引入到普通有限集合X中,得到的一个新的数学概念与数学模型。利用P-集合,给出F-数据,F-数据选择准则,Fˉ-数据选择定理,并利用这些理论结果,给出F-数据选择的应用。P-集合是研究数据系统的一个新的数学模型。

基于梯度数据选择的跨领域情感分析

情感分析研究往往依赖特定场景的大量标注数据,领域迁移会导致模型需要重新进行训练,因此跨领域情感分析任务应运而生。然而,目前跨领域情感分析方法大多考虑学习域的不变特征,或进行特征适应以处理源领域与目标领域的差距,并没有充分、高效地利用源领域数据,所以需要从数据迁移和利用的角度研究领域适应问题。不同于之前从源领域提取可迁移样本的启发式方法,提出一种通用的可学习的替代方法——梯度数据选择(GDS),可在训练过程中自动分配样本权重,由此使不可迁移的样本很容易在采样过程中被丢弃,而可迁移的样本会被更加频繁地采样到。在英文和中文两个数据集上进行实验,并将GDS应用到BERT、RoBERTa等模型进行通用性分析,实验结果证实了该方法的有效性。

科学数据管理中的数据选择与评价关键要素研究

[目的/意义]为了优化数据资源质量,提高数据管理效率;降低数据管理成本和管理风险,杜绝造假数据的流入,数据收藏和服务机构需要对数据进行选择与评价,进而收集和保留具有长期保存价值的数据集,剔除没有保存价值的数据集。[方法/过程]文章对数据选择与评价的关键构成要素如选择与评价政策、主体职能定位、评价标准和评价决策过程进行了分析研究。[结果/结论]数据选择及评价是数据管理中的一项重要工作,必须厘清相关利益主体的职能定位、建立完善的数据选择与评价政策、评价标准,做出科学的评价决策,才能做好数据选择和评价工作。

树轮—气候响应研究中气象数据选择探究——以贺兰山油松为例

利用贺兰山同时存在高山气象站和山下气象站的条件,在高山气象站旁采集油松树轮样本,建立3种树轮年表,并选用标准年表分别与高山气象站和山下的阿左旗气象站的月降水量和月均温进行相关分析,探究利用山下气象站数据代替山上气候是否可行.结果表明,在贺兰山地区,用山下气象站数据代替高山气候,能较准确地反映树轮与月均温的响应显著的月份;而在反映树轮与月降水的响应关系时,则与真实情况有所差异.因此在树轮—气候的研究中,可以用山下气象站的数据代替山上的月均温,而不能代替月降水来进行相关分析.

海量不完整数据的核心数据选择问题的研究

在大数据时代,越来越多的带有缺失值的数据需要处理,因而数据不完整成为一种常见的数据质量问题.不完整的数据给大数据的查询、挖掘和分析带来了困难.在某些情况下,数据中的很多缺失值是无法被确定的.只能根据用户的需求,在不完整的数据上选择一部分用户感兴趣的核心数据集合,来提高不完整数据的可用性.完整度较高,规模较小,在用户感兴趣的属性上给出更多完整信息的核心数据集合,能够支持高效的查询处理,提高查询结果的准确性和完整性.该文形式化了核心数据选择问题,证明了这至少是一个NP-难问题.由于需要同时优化核心数据集合的完整度、集合的规模以及对于感兴趣属性的覆盖性,现有的基于集合覆盖问题的方法无法解决文中提出的问题.该文提出了一个采用贪心策略,具有理论保证的近似核心数据选择算法ACS.ACS首先判断当前的数据集合是否存在一个满足覆盖性要求的子集合.当这样的子集合存在时,ACS尽量选择完整的元组来组成核心数据集合,当使用完整元组无法满足覆盖性的要求时,ACS选择较少的不完整元组.ACS通过限制选择的次数来获得一个集合大小的上界是运行次数常数倍的子集合,并且保证了对于感兴趣的属性的覆盖比例.通过理论分析可知,ACS能够在近似线性的时间内,找到一个大小至多在给定的大小对数因子内的近似核心数据集合,其中被覆盖的感兴趣的属性的比例至少为(1-1/e),包含的不完整元组的个数至多为给定的核心数据集合的大小,其中e是自然对数的底数.通过在DBLP和NBA球员信息这两个真实数据集合上的实验,表明了所提出的算法ACS的有效性和高效性;通过在规模更大的合成数据上的实验,表明了ACS的良好的扩展性.

基于阴影集数据选择的可拓神经网络性能改进

为了改进可拓神经网络的性能,提出一种基于阴影集的数据选择方法.通过该方法获取用于训练可拓神经网络的训练样本,进而改进可拓神经网络的性能.针对可拓神经网络的特点,选择核数据和边界数据作为可拓神经网络的训练样本;利用基于阴影集的数据选择方法,可以自动获取核数据和边界数据.实验结果表明,与传统可拓神经网络相比,改进的可拓神经网络不仅节约了训练时间,而且网络的泛化能力和分类识别准确度得到了有效提高.

矿山遥感编图中的高分辨率遥感数据选择与比例尺计算方法

通过对青海调查矿区多种高分辨率卫星数据处理后形成的图像进行解译和编图,掌握了合理选择遥感数据信息源、利用制图软件计算遥感影像图比例尺及编制野外调查和成果解译图的技术方法。得出在选择遥感数据时要考虑不同数据的技术参数、性价比及调查区面积;明确了当图像的出图分辨率确定后,其比例尺与图像的空间分辨率、像素大小、文档大小有直接关系,同时建立了计算遥感图像最佳比例尺和最佳出图比例尺的公式和方法;介绍了利用Photoshop和Mapgis软件,编制矿山野外调查用图和遥感解译成果图件的流程及方法。这些工作的完成对青海矿业开发地质环境效应调查起到了积极的指导作用,也充分体现了高分辨率遥感图像在工作条件艰苦地区的优势作用。

基于数据选择模型的IB算法

针对数据对象自身模式特征明确程度的不同给IB(Information Bottleneck)方法数据分析带来的问题,定义一个"基于明确因素"的数据选择模型,使得IB方法可从数据集中选取模式特征较为明确的数据对象并对其进行模式分析,提出DSIB(Data Selection Information Bottleneck)算法.DSIB算法采用数据压缩过程中所产生的信息损失作为数据对象模式特征是否明确的判定条件,使用"边选择边学习"的顺序"抽取-合并"策略来优化DSIB目标函数.实验结果表明:随着数据选择标准的不断提高,DSIB算法在提高数据分析精度的同时所牺牲的召回率较小;与未做选择的数据分析算法相比,DSIB算法可更好地识别出数据中所固有的内在模式.

生命周期清单不确定性分析的主要数据选择

生命周期清单的不确定性的分析,直接影响到生命周期评价结果的可靠性。而生命周期清单中数据量大,不可能定量地分析每个数据的不确定性,所以必须要对生命周期清单数据进行选择,找出对结果不确定性影响大的关键数据进行定量分析。文中提出的选择方法从输入数据对清单结果贡献大小和数据的不确定性大小两个方面考虑,分别对二者进行量化,然后根据分级二维象限图进行判断,选择出需要重点分析的数据。最后将该方法应用于某燃煤电厂的生命周期清单不确定性分析的主要数据选择。

数据选择器在数字电路中的应用

数据选择器是数字集成电路中应用广泛的中规模集成器件,利用数据选择器设计组合逻辑电路具有一定的应用价值,能解决常规门电路设计中存在的不足,提高设计水平。以74LS151为例介绍了数据选择器的工作原理及应用。

基于RT器件的数据选择器和D锁存器设计

以共振隧穿二极管(resonant tunneling diode)和三端共振隧穿器件RTD/HEMT为基本单元,设计了一个全新的1-of-2数据选择器,并以该数据选择器为核心电路,实现了基于RT器件的D锁存器,SPICE仿真结果验证了设计的正确性,为利用RT器件设计时序电路提供了一个简单有效的设计方法。本文所设计的电路具有量子器件的低功耗、高速等优点。

云环境下面向数据密集型应用的数据选择策略研究

云环境下独立任务包数据密集型应用已出现在多个领域。鉴于多数据中心环境和"按需付费"的资源使用模式,这类应用在数据选择方面面临着新的挑战,主要表现为如何从内容相同但位置和访问成本均不同的数据集中选择合适的数据资源作为应用的输入。针对该问题,首先构建云环境和数据选择问题模型。在此基础上,将成本最小化的数据选择过程抽象为带权重集合的覆盖问题,提出一种新的数据选择策略,以在执行效率和经济成本间取得平衡。实验结果显示,提出的数据选择策略在保证成本优化的同时兼顾了执行效率,综合性能良好。

测试数据选择理论20年

本文将测试数据选择理论发展的２０年划分成３个阶段——形成阶段、发展阶段、完善阶段，给出了每一阶段具有代表性的研究成果和特点。

利用译码与数据选择器实现组合逻辑函数法

针对单一逻辑部件难以实现更多变量的逻辑函数问题,提出了一种译码器与数据选择器结合的组合逻辑函数实现方法,给出了组合逻辑函数实现的卡诺图和逻辑电路图,导出n位译码器与m位数据选择器结合实现变量个数为n+m的任意组合逻辑函数的结果,得出利用中规模集成电路数据选择器与译码器组合实现逻辑设计是一种行之有效的方法。

目标图像数据选择性自适应滤波方法仿真

对目标图像进行数据滤波,在提高图像压缩及传输方面具有重要意义。由于目标图像数据噪声密度较大,使得PDE滤波器的加权矩阵不完整。传统的滤波方法主要利用幅值信息计算出数据的概率密度函数,建立加权矩阵,使得加权矩阵数据混乱,导致滤波误差大。提出基于变分PDE的数据选择性自适应滤波方法,首先将连续的PDE离散化,用数字迭代方法产生相应的数字滤波器,对原始噪声数据进行预处理,利用幅值信息获取数据噪声密度函数和目标量测密度函数,给出数据的检测门限,计算其幅值信息似然比,然后组建PDE滤波器的加权矩阵,得到基于变分PDE滤波器频率响应,获取数据选择性自适应滤波器的代价函数,在此基础上完成对目标图像数据选择性自适应滤波。仿真结果表明,所提方法信噪比高,可以有效地提升数据选择性自适应滤波的鲁棒性。

最佳数据选择模型--华生选择任务的理性解释

介绍华生选择任务的Oaksford概率解释模型—最佳数据选择模型。对该模型的数学结构、相关推论、及其心理学意义作了说明。

用MSI数据选择器实现逻辑函数的方法讨论

目的讨论用中规模器件实现组合逻辑函数时,函数变量数小于数据选择器的地址变量数的情况。方法详细阐述了数据选择器的原理及应用,从逻辑函数表达式、真值表和卡诺图3方面进行分析。结果得出用MSI数据选择器设计组合逻辑函数能够实现任意组合逻辑函数,并通过实例验证了其有效性。结论用MSI数据选择器可实现任意组合逻辑函数。

基于1-of-2共振隧穿数据选择器的可置位复位D触发器设计

文章以共振隧穿RT器件为主要器件,设计了上边沿触发的共振隧穿D触发器。该触发器以1-of-2共振隧穿数据选择器为核心电路,带预先置位和复位功能。此共振隧穿数据选择器电路的设计方法还能用于实现其他触发器电路,为采用基于RT器件设计触发器电路提供了一种新的并且有效简单的方法,弥补了共振隧穿电路中只能用MOBILE单元来设计时序电路的单一性,丰富了量子电路中触发器的类型。

基于电流型CMOS电路的新型数据选择器

基于阈算术代数系统的CMOS电路设计技术和方法,根据任意二值三变量函数的最小项规范展开表示,通过和图分解,分别设计实现了8个最小项表达式,进一步组合8个子电路,提出一种新型电流型CMOS数据选择器.Hspice模拟表明该数据选择器具有正确的逻辑功能和良好的瞬态特性,且功耗低、速度快.