基于Data Fabric的多模数据管理方法

随着政府和企业在信息化向数字化演进历程中信息化程度的加深,各类应用系统生成的数据日益多模化、多源化、海量化,这对数据管理造成了新的挑战.为了解决这些挑战,数据管理领域涌现出了许多新的技术和理念,其中Data Fabric (数据编织)便是一种新兴的数据管理技术和方法,它将分布式数据存储、处理和应用整合为一个整体,并提供了一套可视化的接口进行管理.本文首先分析了Data Fabric的技术架构、技术特点、技术价值和对多模数据进行管理与应用的完整流程.其次,提出了基于时序指标的多模多源数据的异常监测方法、基于日志数据的多模多源数据的异常监测方法,它们通过Data Fabric技术的使用,处理速度分别提高了33.3%和42.2%, F1-score分别提高12.2个和14.8个百分点,进一步说明了Data Fabric技术和本文新提出方法的高效性和应用价值.

基于Fabric的海量交易数据上链预处理机制

Hyperledger Fabric是一种国内外广泛使用的联盟链框架,在基于Fabric技术的一些业务中具有协同组织众多、交易操作频繁、事务冲突增加等特点。Fabric采用的多版本并发控制技术能够在一定程度上解决部分交易冲突,提升系统并发性,但其机制不完善,会出现部分交易数据无法正常上链存储的问题。为了实现海量交易数据完整、高效、可信的上链存储,提出一种基于Fabric预言机的数据上链预处理机制。设计海量数据冲突预处理(MCPP)方法,通过检测、监听、延时提交、事务加锁、重排序缓存等方式实现主键冲突交易数据的完整上链。引入数据传输保障措施,在传输过程中利用非对称加密技术防止恶意节点伪造认证信息,确保交易数据链外处理前后的一致性。通过理论分析和实验结果表明,该机制可有效解决联盟链平台中海量交易数据上链时的并发冲突问题,当交易数据规模达到1 000和10 000时,MCPP的时效性比LMLS提高了38%和21.4%,且成功率接近100%,具有高效性和安全性,同时在无并发冲突情况下不影响Fabric系统性能。

基于Hyperledger Fabric与星际文件系统相结合的数据存储框架

利用Hyperledger Fabric和星际文件系统设计了一种新的数据存储框架,使用Hyperledger Fabric的Level DB保存规模较小的状态数据,利用星际文件系统保存账本中大规模的交易数据,并改造了原来的数据存储和数据查询模块。新框架有效扩展了Hyperledger Fabric的存储能力,缓解了记账节点的数据膨胀问题。实验结果表明,新框架在保证安全性的前提下,增加了部分网络延迟,但相对于区块链存储的可扩展性而言,这个代价是可以接受的。

基于区块链的水产交易计量数据采集与传输研究

为解决目前水产交易中手动录入计量数据易篡改、易丢失的问题,本研究提出一种基于区块链技术的水产交易计量数据采集与传输安全模型。首先设计一套基于树莓派的数据采集平台,用于数据的自动采集和录入;其次通过智能合约和共识机制保证所采集交易数据的传输与存储安全;最后,基于区块链技术设计一套水产交易计量数据采集与传输系统,实现水产交易计量数据采集和查询等功能,并基于Hyperledger Fabric平台搭建测试环境进行验证。结果显示,基于区块链技术的数据采集与传输系统可以有效地完成数据采集,保证数据传输与存储过程中的数据安全,数据传输率可达100%,丢包率相比传统传输系统更低。结果表明,本研究所提出的模型有效提高了数据的安全可靠性,提升了水产交易效率,更适合在实际水产交易中使用。

数据编织对图书馆数据治理的影响研究

数据编织是一种数据架构思想,它通过提供一种统一的方法来管理异构数据工具链,将可信数据从所有相关数据源、以精确可理解的方式发送给所有相关数据应用者。论文探讨数据编织对图书馆数据治理的影响,分析图书馆在应用数据编织时面临的机遇和挑战并提出建议。研究发现,数据编织可以帮助图书馆实现馆藏资源管理、提高读者服务质量、支持科学研究、智慧图书馆建设与数据安全保护等方面的应用,提升图书馆的核心竞争力和社会价值。同时,图书馆也需要注意在应用数据编织时解决数据质量、数据安全、数据共享、数据价值等方面的问题,以充分发挥数据编织的优势和潜力。

基于光谱特征和图像处理的真丝织物光泽研究

在评价织物品质与风格时需要对织物的光泽感进行评价,基于图像处理的织物光泽评价技术较其他评价技术具有诸多优点,但在关键的织物图像光泽特征的构建上,仍需要进行研究。本文选用本白色真丝素绉缎织物作为浅色样本,蓝色和黑色真丝素绉缎织物作为深色样本,粉红色和棕色样本验证分析结论。通过真丝织物的光谱数据分析对光泽度主观评价的影响因素,并建立有效的织物光泽图像特征对织物光泽评价。本文通过对真丝织物的光谱数据分析,发现织物的颜色明度与主观评分相关性很低,颜色的色相显著影响主观评分结果。并且织物的波长反射率在530~560 nm改变时,对织物光泽的主观评分影响最大。以此建立的织物光泽图像特征,表明织物表面亮点与整体表面背景亮度的对比度是基于图像处理评价技术的关键之一。

基于Transformer网络特征融合的色纺织物颜色表征模型

针对色纺织物特有的呈色结构以及常用单一颜色测量工具导致的数据特征局限的问题,基于Transformer网络建立多源异构数据融合颜色表征模型。从分光计数据与图像数据中分别提取光谱特征与纹理特征,使用Transformer网络融合多源异构数据特征,充分利用其互补特性,有效完备地表征色纺织物颜色信息。结果表明,本文构建的颜色表征模型能够对在较大变化范围内的染色纤维质量配比差异和由于染色纤维表面不均匀分布的颜色变化进行有效表征;在分光光度仪6、10和25 mm测量孔径下,融合特征差异与纤维配比差异的相关系数均高于85%;相较于单一光谱特征和单一图像特征,本文方法的相关系数提升10%以上,具有理想的鲁棒性。

数字孪生建造——探索信息时代数字建造的新范式

数字孪生建造融合了新一代信息技术和数字建造技术,实现了数字模型与物理建造交互共融的需求,是促进建筑产业升级的重要推手。文章总结了数字孪生建造的起源、内涵和优势,分析了国内外的学术研究现状和发展趋势,并通过代表性案例介绍了数字孪生建造的方法和关键技术。最后以近年来笔者团队进行的两个建造实践为例,具体阐述了数字孪生建造虚实交互的运行机制和实时优化的工作流。以期能够给从事数字化设计与建造的建筑师提供一定的参考和借鉴。

数字化种植导板手术的精确性:非手术因素分析及对策的专家共识

计算机辅助静态导板引导种植手术的标准化流程包括术前检查、数据采集、计算机辅助设计、计算机辅助制作以及种植导板引导手术。其间每一环节产生的误差都可能导致误差的叠加效应,从而影响种植体植入的准确性。然而,临床医师往往关注于外科手术中的误差因素,却忽略了术前阶段的不规范操作导致种植手术产生不可逆转的误差。本文结合国内专家的临床实践与国内外研究进展,从种植导板手术术前检查、数据采集、导板设计、导板制作等方面,对种植导板手术的误差来源进行总结,并制定解决误差的策略,形成专家共识。①术前因素考量:术前应该根据患者口腔情况选择合适的种植导板类型,必要时选用固位螺钉辅助支持式导板;②规范数据采集流程:尽量采用锥形束CT与口外扫描法进行数据采集,建议选择小视野进行CBCT拍摄,同时保持患者头部固定,对于口内带有金属修复体的患者采用配准标记导板,并且合理控制口外扫描的环境温度与光照;③优化计算机辅助设计:建议选用手柄引导的种植系统与封闭式金属套筒,并通过标记物重叠的方式进行图像配准,另外,适当地设计固位螺钉、延伸导板的支持结构、增加导板引导段长度都是减少误差的可行方法;④改进计算机辅助制作:根据不同的打印技术设置最佳的打印参数,选择合适的打印后处理与灭菌方法也是至关重要的。

基于知识图谱构建的面料图像多样化检索系统

为了提高纺织行业筛选面料的效率,满足用户多样化的检索需求,解决面料检索结果单一、耗时久、精度低等问题,通过知识建模将面料的文本信息结构化表示,构建面料图文数据集,导入图数据库中实现面料知识图谱可视化。基于知识图谱构建了面料图像多样化检索系统,该系统将用户提供的检索字段和知识图谱中的面料节点匹配,输出相应面料实体及其一阶近邻实体,实现了面料图像检索多样化。选取了50个文本关键词进行检索试验,结果表明:前8幅图像的查准率为80.7%,mAP值为0.852,平均多样性值为5.8,检索的平均响应时间仅为2.26 s,验证了该系统的有效性和可行性。

基于改进级联卷积神经网络的织物疵点检测

为了改进当前织物检测算法样本数量少、织物疵点检测准确率低和定位精准度差的问题,提出一种端到端的改进的织物疵点检测算法。针对公开数据集样本数量少、样本种类不均衡的问题,采用线下与线上结合的数据增广方式,除了基本的数据增广方法,同时引入复制粘贴以及混合的方式对样本进行扩充与增强;针对特征提取算法提取特征不精确的问题,对特征金字塔进行改进,通过加入可变形卷积、递归特征金字塔、可切换的空洞卷积、全局语义信息的方法扩大感受野、增强语义信息。实验结果验证了算法的有效性,该算法对天池雪浪制造数据集9种布匹疵点进行检测,检测是否具有瑕疵的准确率达到97%以上,疵点定位的平均检测精度为56.7%,样本检测效率为2.4 FPS。相对于基础模型定位精准度提升了10%以上,并且检测效果满足工业上的生产需求。

基于区块链技术的政务数据安全平台研究

为保障数字政府数据安全共享,使用Hyperledger Fabric联盟链置于本地区块链网络,并将联盟链作为主链,选用公有链和2个私有链作为侧链,通过跨链通信协议链接到主链上,提出政务数据安全处理方式和机制。在此基础上,基于区块链的层次结构,采用不同的技术构建数据安全处理平台,实现模拟各个政府部门节点之间的安全、有效、可溯源数据共享。

基于机载LiDAR点云数据的建筑物三维模型重建方法研究

根据建筑物点云的分布特征,提出一种机载LiDAR点云建筑物三维模型重建方法。首先,利用布料模拟滤波算法剔除地面点,实现包含建筑物点云在内的非地面点提取,并利用最大类间方差法提取建筑物点云;其次,使用Alpha Shape算法提取建筑物点云中边缘点,并规则化处理建筑物轮廓线,通过屋顶分割算法提取建筑物屋顶信息;最后,使用SharpGL工具进行建筑物三维模型重建。以某地级市某地区机载LiDAR点云数据为例进行实验,结果表明该方法进行建筑物三维模型重建具有较高的精度与效率,适用于城镇复杂区域建筑物三维模型重建。

基于Fabric架构的区块链机房管理系统设计

近年来高校不断强化信息化建设,现阶段中心化的机房管理系统极易因为各类安全问题导致无法正常使用。针对上述问题,文章结合高校网络实际环境与机房管理具体需求,设计开发了基于区块链架构的机房管理系统。该系统利用基于Fabric架构的区块链技术,使用非对称加密算法、拜占庭算法等技术设计开发具有安全性、可靠性及去中心化特点的机房管理系统。通过实际应用表明,该系统能够在高校局域网环境下对机房设备进行统一管理,并可面向用户开展预约服务,有效提高了机房管理效率,可满足实际应用需求。

浅谈海工管线预制过程管理

海工管线负责介质的输送,其预制质量和完整性直接影响项目的交付进度及系统质量可靠性。本文从管线生产准备、施工场地及人力需求、管线预制工作包的编制、管线施工及主要跟进表、管线的放行及涂装等方面,阐述了管线预制过程管理要点及注意事项。

基于Hyperledger Fabric的生物数据安全管理

针对生物数据的特点和管理中存在的数据不可信性和安全性问题,提出了一种多链多通道结构的系统。用于联盟区块链的分布式操作系统Hyperledger Fabric技术,提出了一种多链结构,包括三条用于记录数据的区块链和一条用于记录操作内容的区块链,利用多通道实现了节点权限的划分,同时将敏感操作记录连接到了区块链上。系统地解决了生物数据中敏感数据的保密性和敏感操作的事后审计问题,实现了对生物数据的管理和操作,保证了数据的安全性和可信性。

基于Fabric的电网采购交易数据平台

我国电网采购交易平台具有交易金额巨大、供应商数量众多、流程管控要求严格的特点.本文提出的电网采购交易数据平台,基于Hyperledger Fabric技术,结合数据库层面的数据哈希计算、数据指纹提取、权限访问控制、数据快速读取等方法,实现了覆盖采购交易数据全生命周期的多级数据防护与数据防篡改,可以有效管控由于采购交易平台各主体间的信息不对称可能导致的信任危机.最后,通过对该策略原型系统的防护性能进行试验分析,验证了该原型系统的可行性.

Hyperledger Fabric中基于层级结构的公钥广播加密方案

针对Hyperledger Fabric联盟链的公开账本上的安全群组通信问题,基于Fabric通道中成员管理的层级结构,提出使用子集覆盖框架下的CS方法和IBE算法相结合的方式构造出适用于联盟链的公钥广播加密方案。该方案改进了CS方法原有的完全二叉树结构,依据Fabric通道内部的组织结构建立了具有层级结构的二叉树;采用类哈夫曼编码方式唯一标志各节点在二叉树中的位置以提高查询速度;引入预留节点和弃用节点,设计了相应的二叉树更新算法以实现成员的动态加入和退出。分析和测试结果表明,该方案为联盟链系统提供了一种高效、安全、细粒度的数据隐私保护方案。

面向追溯主体的果蔬全供应链区块链多链模型研究

面向全供应链环节建立的农产品区块链溯源系统,追溯链中存储面向多个追溯主体的追溯数据,由于各主体追溯数据的差异化,跨供应链环节的数据难以实现共享和访问控制,敏感数据无法差异化保护和验证,风险数据不能针对性监管。因此,面向不同追溯主体的追溯数据并不适合由同一条区块链账本存储。通过分析果蔬全供应链各追溯主体的需求,建立了面向追溯主体的区块链多链追溯架构,利用溯源链实现消费者的溯源需求,通过共享链实现上下游企业间的数据流转,基于隐私链实现企业隐私数据的安全保护与授权共享,利用监管链实现监管部门对所有环节风险数据的管控。本文基于Hyperledger Fabric设计面向追溯主体的果蔬供应链区块链模型并实现了主体链果蔬溯源系统,测试结果表明,溯源链中追溯数据平均查询时间为38.86 ms,获取共享链中已验证的共享数据平均耗时806.80 ms,获取隐私链中已验证的隐私数据平均耗时910.35 ms,获取监管链中已验证的监管数据平均耗时675.90 ms。面向追溯主体建链的追溯系统在满足消费者需求的基础上,实现了供应链各环节追溯数据的数据共享与控制访问,解决了异构数据的存储保护和验证问题,满足了风险追溯数据针对性的监管需求,为果蔬区块链溯源模型设计提供了参考和借鉴。

An Efficient Way of Fabric Simulation

A partide system model is presented for the simulation of fabric draping. The interaction of each partide is based on a refined mass-spring structure. Regarded the fabric material as an orthotropic continuum, the refinement of our model is focused on the construction of mechanical responses of bending and shearing springs by means of a piecewise polynomial approximation of KES-F testing data. In this way, the draping figure of a silk fabric, a wool fabric and a polyester fabric are simulated. The static final shape and animation of simulation proves that our model has developed an efficient technique on real fabric- drape modeling, and the little computation time of the simulation execution on a PC with Celeron 450 CPU may meet the requirement of real-time simulation.