Low-Rank Multi-View Subspace Clustering Based on Sparse Regularization

Multi-view Subspace Clustering (MVSC) emerges as an advanced clustering method, designed to integrate diverse views to uncover a common subspace, enhancing the accuracy and robustness of clustering results. The significance of low-rank prior in MVSC is emphasized, highlighting its role in capturing the global data structure across views for improved performance. However, it faces challenges with outlier sensitivity due to its reliance on the Frobenius norm for error measurement. Addressing this, our paper proposes a Low-Rank Multi-view Subspace Clustering Based on Sparse Regularization (LMVSC- Sparse) approach. Sparse regularization helps in selecting the most relevant features or views for clustering while ignoring irrelevant or noisy ones. This leads to a more efficient and effective representation of the data, improving the clustering accuracy and robustness, especially in the presence of outliers or noisy data. By incorporating sparse regularization, LMVSC-Sparse can effectively handle outlier sensitivity, which is a common challenge in traditional MVSC methods relying solely on low-rank priors. Then Alternating Direction Method of Multipliers (ADMM) algorithm is employed to solve the proposed optimization problems. Our comprehensive experiments demonstrate the efficiency and effectiveness of LMVSC-Sparse, offering a robust alternative to traditional MVSC methods.

基于Multi-View模型的敏捷虚拟企业知识共享模式研究

敏捷虚拟企业的核心在于实现全球信息经济时代的知识共享、综合利用和优化配置及合理流动,其主要特征在于所处的信息化环境和知识协同集成与共享性。敏捷虚拟企业Multi-View维度即对敏捷虚拟企业过程、功能、组织、资源、知识等系统进行描述,各视图之间实现知识共享与关联。基于Multi-View模型分析,敏捷虚拟企业需要构建知识共享环境与过程,并基于分布式对象技术实现敏捷虚拟企业知识共享建模。

Interactive transport of multi-view videos for 3DTV applications

The authors propose a novel method for transporting multi-view videos that aims to keep the bandwidth requirements on both end-users and servers as low as possible. The method is based on application layer multicast, where each end point re- ceives only a selected number of views required for rendering video from its current viewpoint at any given time. The set of selected videos changes in real time as the user’s viewpoint changes because of head or eye movements. Techniques for reducing the black-outs during fast viewpoint changes were investigated. The performance of the approach was studied through network experiments.

Color Correction for Multi-view Video Using Energy Minimization of View Networks

Systems using numerous cameras are emerging in many fields due to their ease of production and reduced cost, and one of the fields where they are expected to be used more actively in the near future is in image-based rendering （IBR）. Color correction between views is necessary to use multi-view systems in IBR to make audiences feel comfortable when views are switched or when a free viewpoint video is displayed. Color correction usually involves two steps： the first is to adjust camera parameters such as gain, brightness, and aperture before capture, and the second is to modify captured videos through image processing. This paper deals with the latter, which does not need a color pattern board. The proposed method uses scale invariant feature transform （SIFT） to detect correspondences, treats RGB channels independently, calculates lookup tables with an energy-minimization approach, and corrects captured video with these tables. The experimental results reveal that this approach works well.

Multi-view video color correction using dynamic programming

Color inconsistency between views is an important problem to be solved in multi-view video systems. A multi-view video color correction method using dynamic programming is proposed. Three-dimensional histograms are constructed with sequential conditional probability in HSI color space. Then, dynamic programming is used to seek the best color mapping relation with the minimum cost path between target image histogram and source image histogram. Finally, video tracking technique is performed to correct multi-view video. Experimental results show that the proposed method can obtain better subjective and objective performance in color correction.

Frame-layer bit allocation for multi-view video coding based on frame complexity estimation

Current multi-view video coding （MVC） reference model in joint video team （JVT） does not provide efficient rate control schemes. This paper presents a rate control algorithm for MVC by improving the quadratic rate-distortion （R-D） model. We reasonably allocate bit-rate among views based on the correlation analysisl The proposed algorithm consists of three levels to control the rate bits more accurately, of which the frame layer allocates bits according to the frame complexity and the temporal activity. Extensive experiments show that the proposed algorithm can control the bit rate efficiently.

Multi-view ladar data registration in obscure environment

Multi-view laser radar （ladar） data registration in obscure environments is an important research field of obscured target detection from air to ground. There are few overlap regions of the observational data in different views because of the occluder, so the multi-view data registration is rather difficult. Through indepth analyses of the typical methods and problems, it is obtained that the sequence registration is more appropriate, but needs to improve the registration accuracy. On this basis, a multi-view data registration algorithm based on aggregating the adjacent frames, which are already registered, is proposed. It increases the overlap region between the pending registration frames by aggregation and further improves the registration accuracy. The experiment results show that the proposed algorithm can effectively register the multi-view ladar data in the obscure environment, and it also has a greater robustness and a higher registration accuracy compared with the sequence registration under the condition of equivalent operating efficiency.

基于多视图表征的虚假新闻检测

社交网络已经成为人们日常生活中获取和分享信息的主要渠道,同时也为虚假新闻的传播提供了捷径。如今,针对网络虚假新闻的检测问题受到学术界的广泛关注,但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方向不同的问题,有待改进。文章提出一种基于新闻内容、用户信息和新闻传播3种视角的多视图表征和检测的模型MVRFD(Multi-View Representations for Fake News Detection),为虚假新闻检测任务提供更全面的视角。首先,利用协同注意力机制表征新闻内容中的多模态信息,使用具有不同方向的图神经网络聚合新闻传播过程中的用户信息和观点信息;然后,利用双协同注意力机制实现多个视角间的信息交互;最后,将新闻内容特征和新闻上下文特征进行融合。在公开数据集上的实验结果表明,文章所提出的模型实现了96.7%的准确率和96.8%的F1值,优于主流的文本处理模型以及基于单视角的检测模型。

基于自适应聚合循环递归的稠密点云重建网络

为了解决弱纹理重建难、资源消耗大和重建时间长等问题,提出了一种基于自适应聚合循环递归卷积的多阶段稠密点云重建网络,即A2R2-MVSNet(adaptive aggregation recurrent recursive multi view stereo net)。该方法首先引入一种基于多尺度循环递归残差的特征提取模块,聚合上下文语义信息,以解决弱纹理或无纹理区域特征提取难的问题。在代价体正则化部分,提出一种残差正则化模块,该模块在略微增加内存消耗的前提下,提高了3D CNN提取和聚合上下文语意的能力。实验结果表明,提出的方法在DTU数据集上的综合指标排名靠前,在重建细节上有着更好的体现,且在BlendedMVS数据集上生成了不错的深度图和点云结果,此外网络还在自采集的大规模高分辨率数据集上进行了泛化测试。归功于由粗到细的多阶段思想和我们提出的模块,网络在生成高准确性和完整性深度图的同时,还能进行高分辨率重建以适用于实际问题。

基于一致性图的权重自适应多视角谱聚类算法

随着移动设备和互联网的普及,多视角数据的采集和分享变得更加容易,其可以从多个视角更准确地描述数据。目前,一些多视角聚类算法忽略了不同视角间的一致性潜在知识和不同视角的重要性。针对该问题,提出一种平衡视角间一致性信息的多视角聚类算法。首先通过调节视角权重学习视角间一致的共享相似度矩阵,提升共享矩阵的一致性,其中相关性强的视角具有的一致性信息更多,视角权重越大,在一致性学习中发挥的作用越大,而差异性大的视角其权重越小,在学习中发挥的作用越小。其次学习视角间的一致性样本嵌入以及不同视角的特征嵌入,并将特征嵌入中包含的多样性特征信息迁移到样本嵌入中,以此促进样本嵌入的一致性表达。在不同视角特征中包含多样性信息,可补充上述共享相似度矩阵学习中单一样本关系的不足。因此,采用二部图协同聚类,通过建立样本数据、样本嵌入和特征嵌入的关系图,学习样本的特征嵌入,并将其迁移到样本嵌入中。最后将图学习、谱聚类和特征嵌入学习整合到统一的框架中进行联合优化,得到最优的样本嵌入。实验结果表明,通过对样本嵌入进行K-means聚类,将该算法运行于5个真实数据集并与7种聚类算法对比,其中在3-Sources、Yale、MRSCV1数据集上的正确率均高于对比算法5%以上,验证了该算法的有效性。

基于二部图的联合谱嵌入多视图聚类算法

多视图聚类在图像处理、数据挖掘和机器学习等领域引起了越来越多的关注.现有的多视图聚类算法存在两个不足,一是在图构造过程中只考虑每个视图数据之间的成对关系生成亲和矩阵,而缺乏邻域关系的刻画;二是现有的方法将多视图信息融合和聚类的过程相分离,从而降低了算法的聚类性能.为此,提出一种更为准确和鲁棒的基于二部图的联合谱嵌入多视图聚类算法.首先,基于多视图子空间聚类的思想构造二部图进而产生相似图,接着利用相似图的谱嵌入矩阵进行图融合,其次,在融合过程中考虑每个视图的重要性进行权重约束,进而引入聚类指示矩阵得到最终的聚类结果.提出的模型将二部图、嵌入矩阵与聚类指示矩阵约束在一个框架下进行优化.此外,提供一种求解该模型的快速优化策略,该策略将优化问题分解成小规模子问题,并通过迭代步骤高效解决.提出算法和已有的多视图聚类算法在真实数据集上进行实验分析.实验结果表明,相比已有方法,提出算法在处理多视图聚类问题上是更加有效和鲁棒的.

基于四叉树先验辅助的多视图立体方法

基于PatchMatch的多视图立体(MVS)方法依据输入多幅图像估计场景的深度,目前已应用于大规模场景三维重建。然而,由于特征匹配不稳定、仅依赖光度一致性不可靠等原因,现有方法在弱纹理区域的深度估计准确性和完整性较低。针对上述问题,提出一种基于四叉树先验辅助的MVS方法。首先,利用图像像素值获得局部纹理;其次,基于自适应棋盘网格采样的块匹配多视图立体视觉方法(ACMH)获得粗略的深度图,结合弱纹理区域中的结构信息,采用四叉树分割生成先验平面假设;再次,融合上述信息,设计一种新的多视图匹配代价函数,引导弱纹理区域得到最优深度假设,进而提高立体匹配的准确性;最后,在ETH3D、Tanks and Temples和中国科学院古建筑数据集上与多种现有的传统MVS方法进行对比实验。结果表明所提方法性能更优,特别是在ETH3D测试数据集中,当误差阈值为2 cm时,相较于当前先进的多尺度平面先验辅助方法(ACMMP),它的F1分数和完整性分别提高了1.29和2.38个百分点。

基于多视角图像形态颜色纹理特征融合的生物量获取

可见光成像以其快速、经济和非破坏性等优势,正成为高通量植物表型和遗传研究的有效工具,但仍有待解决基于可见光图像评估肉眼不可见的产量表型特性。本文针对植物叶片遮挡重叠及变量尺度单一导致图像数据精度受限的问题,提出了一种利用多视角图像融合多类别特征评估高粱地上生物量的技术方法。对15个种质基因的300株高粱进行了双因素(水分和养分)双水平(高和低)试验。基于旋转平台,利用可见光相机对每株高粱等角度间隔自动采集10幅侧视图像和1幅俯视图像,通过植物掩膜图像提取每株高粱形态特征(俯视、侧视投影面积)、颜色特征(RGB像素值)与纹理特征(均值、协方差、同质性等),将多个视角下的信息平均化处理,并基于图像R、G、B像素值构建16个颜色植被指数。结果表明,相对于考虑单一类型变量和单视角下的图像信息,基于多视角平均化图像信息融合形态、纹理、颜色特征能显著增加对高粱地上生物量表型的获取能力。利用SVR、RF、BPNN算法融合21组优化图像数据变量构建高粱地上生物量回归模型,精度最高的RF算法模型测试集决定系数R2为0.881,均方根误差(RMSE)为60.714 g/m^(2),平均绝对误差(MAE)为42.364 g/m^(2)。为进一步优化RF算法模型的参数,选取GA、GS、SSA对RF算法模型进行超参数寻优。结果表明,SSA-RF优化模型测试集R2提升至0.902,RMSE为48.706 g/m^(2),MAE为39.877 g/m^(2)。基于多视角图像形态-颜色-纹理特征融合能从有限的信息中衍生得到更多有效信息用于估测高粱地上生物量,从而为高粱生长监控、胁迫检测、水肥精确施用和良种快速筛选提供理论依据和技术支持。

航班延误特征可视分析方法

为分析航班延误发生规律,提出一种数学模型联合多视图协同的可视分析方法。对SEIR传染病传播模型进行调整,建立航班延误传播模型分析延误的传播特征,在此基础上,运用频繁子图挖掘算法提取延误频繁模式;设计基于中点分割的地图网络图、矩阵热力图和时序图,分析延误的时空分布特征;设计VA-FDC系统用于方法验证。实验结果表明,VA-FDC能够有效分析航班延误时空分布特征,依据航班延误传播模型准确描述延误传播特征,为相关部门有效措施的制定提供借鉴。

自适应相似图联合优化的多视图聚类

相比于单一视图学习,多视图学习往往可以获得学习对象更全面的信息,因而在无监督学习领域,多视图聚类受到了研究者的极大关注,其中基于图的多视图聚类,近年来取得了很大的研究进展.基于图的多视图聚类一般是先从各个视图原始数据学习相似图,再进行视图间相似图的融合来获得最终聚类结果,因此,多视图聚类的效果是由相似图质量和相似图融合方法共同决定的.然而,现有基于图的多视图聚类方法几乎都聚焦在视图间相似图的融合方法研究上,而缺乏对相似图本身质量的关注.这些方法大多数都是孤立地从各视图的原始数据中学习相似图,并且在后续图融合过程中保持相似图不变.这样得到的相似图不可避免地包含噪声和冗余信息,进而影响后续的图融合和聚类.而少量考虑相似图质量的研究,要么相似图构造和图融合过程是直接联立迭代的,要么在预定义相似图过程中提前利用秩约束进一步初始化,要么就是利用相似图存在的一些底层结构来获取融合图的.这些方法对相似图本身改进很小,最终聚类性能提升也十分有限.同时现有基于图的多视图聚类流程也缺乏对各视图间一致性和不一致性的综合考虑,这也会严重影响最终的多视图聚类性能.为了避免低质量预定义相似图对聚类结果的不利影响以及综合考虑视图间一致性与不一致性来提升最终聚类效果,本文提出了一种自适应相似图联合优化的多视图聚类方法.首先通过Hadamard积来获得视图间高质量一致性部分信息,再将每个预定义相似图和这部分信息对标,重构各个视图的预设相似图.这个过程强化了各视图间的一致性部分,弱化了不一致性部分.其次设计了相似图重构改进和图融合联合迭代优化框架,实现了相似图的自适应改进,最终达到相似图和聚类结果共同提升的效果.该方法将相似图改进过程与图融合过程联合起来进行自适应迭代优化,并且在迭代优化中不断强化各视图间的一致性,弱化视图间的不一致性.此外,本文的方法也集成了现有多视图聚类方法的一些优点,自加权以及无需额外聚类步骤等.在九个基准数据集上与八个对比方法的实验验证了本文方法的有效性与优越性.

基于自注意力融合的不完整多视图聚类算法

基于不完整数据的多视图聚类任务已经成为无监督学习领域的研究热点之一。然而大多数基于“浅层”模型的多视图聚类算法通常在面对大规模高维数据时难以提取和刻画视图内的潜在特征结构;同时,堆叠或求平均的多视图信息融合方式忽视了视图之间的差异性,没有充分考虑各视图对构建公共一致表示的不同贡献。针对以上问题,提出一种基于自注意力融合的不完整多视图聚类算法(IMVCSAF)。首先,基于深度自编码器提取各视图的潜在特征,并采用对比学习的方式最大化各视图间的一致性信息;其次,采用自注意力机制对各视图的潜在表示进行重新编码和融合,并全面考虑和挖掘不同视图之间的内在因果性和特征互补性;再次,基于公共一致表示对缺失实例样本的潜在表示进行预测和恢复,从而完整地实现多视图聚类的过程。在Scene-15、LandUse-21、Caltech101-20和NoisyMNIST数据集上的实验结果表明,IMVCSAF在满足收敛性要求的前提下得到的准确率均高于其他对比算法,而在50%缺失率的Noisy-MNIST数据集上,IMVCSAF的准确率比次优的COMPLETER(inCOMPlete muLti-view clustEring via conTrastivE pRediction)算法提高了6.58个百分点。

基于多阶近邻约束的深度不完整多视图聚类方法

多视图聚类是重要的无监督学习方法之一,然而在实际应用中很难获取完整的多视图数据,导致不完整多视图聚类问题.大多数已有的不完整多视图聚类方法只考虑了视图的属性信息,而忽视了数据结构信息对聚类的影响,使提取的特征不能充分表示原始数据的潜在结构.针对以上问题,提出一种基于多阶近邻约束的深度不完整多视图聚类方法.首先,利用具有自注意力机制的深度自编码器获取带有视图间信息交互的深层次隐含特征,并采用加权融合的方式获取视图的公共语义信息;然后,对于不完整多视图中的缺失数据,利用多视图的公共表示进行补全;最后,提出一种多阶近邻约束机制,该机制考虑不完整多视图数据的深层结构信息,利用多视图的互补性构建近似完整的近邻图,引导编码器学习更紧致、更有判别性的高级语义特征.在公共数据集上的实验结果证明了所提方法的有效性.

基于多视角信息融合的公路桥梁车辆荷载时空位置识别

针对现有方法在复杂交通场景下难以准确获取桥上车辆荷载时空分布的问题,提出了一种基于多视角信息融合的车辆荷载时空位置识别方法.首先,开发了vadYOLO-StrongSORT模型,可在单视角下同时检测和跟踪车辆;然后,在图像标定和跨视角车辆匹配基础上,采用自适应加权最小二乘法进行多视角信息融合以修正车辆轨迹;最后,结合车辆轨迹和车轴配置,重构车轴荷载的时空位置分布.通过模型试验评估了所提方法在典型交通场景下的性能.结果表明:相较于基于单视角的车辆位置识别方法,多视角信息融合方法在跟踪稳定性、定位精度和抗遮挡性能上有显著提升;变道场景下,所提方法的最高平均定位误差低于2.0 cm,明显优于单视角方法的17.0 cm;多车遮挡场景下,所提方法的车辆捕获率可达100%,而单视角方法最高仅为72.5%;同时,与其他检测跟踪模型相比,vadYOLO-StrongSORT在试验中取得了最高的识别精度.

三维重建技术中的高效光条提取方法(特邀)

近年来,三维重建技术在工业检测、医疗成像等领域得到了广泛应用。然而,由于被测物体形状的复杂性以及环境噪声等因素的影响,现有的光条提取算法面临着提取速度慢和重建精度差的挑战。为了解决这些问题,对现有技术进行了深入分析,明确了其在处理复杂形状和噪声干扰时的局限性,提出了一种基于三维重建的高效光条提取(ELE-3D)算法。在ELE-3D算法中,通过Sobel算子精确提取图像边缘,进行二值化处理简化图像复杂性,并利用连通域分析区分噪声与条纹。通过设置面积和长宽比阈值,保留关键特征,来确定感兴趣区域(ROI),精确地识别并提取图像中的特定几何特征区域,同时有效抑制背景噪声,不仅提高了图像的质量,还确保了能够专注于分析图像中最关键的部分。实验结果表明,ELE-3D算法有效地提高了光条提取速度,并有效地抑制了噪声的干扰。在保证重建精度的前提下,测量同一物体相比较于传统的算法Steger和灰度重心法,速度分别提高了89.0%和85.3%。