图像拼接的算法研究论文

本文研究了无人机（UAV）遥感图像拼接过程中重叠区域的不匹配问题。为了解决这个问题，首先通过将双重匹配与随机抽样共识（RANSAC）方法相结合来过滤特征点。其次，为了保证每幅图像与全景照片的投影关系的一致性，我们提出了一种局部拼接的方法。为了避免随着图像数量的增加透视变化累积而导致图像倾斜的错误，我们建立了图像旋转坐标系，并将图像之间的关系限制为平移和旋转。用坐标原点的相对位置来表示平移距离，通过迭代求解最优旋转角度。最后，图像的重叠部分通过线性加权融合。通过实验结果验证，本文提出的方法在大量图像的情况下能够保证更快的处理速度和更高的处理精度，从而达到理想的拼接效果。 近年来，随着计算机视觉的不断进步，图像拼接技术在海洋和矿产勘探、遥感勘探、医学成像、效果生成、虚拟现实等方面得到了广泛的应用。许多航拍遥感图像可以通过配备摄像头的无人机在地面拍摄得到。通常，由于无人机飞行高度、相机焦距等因素，单幅图像存在信息量少、全局分辨率低等问题。因此，要获得广角高分辨率的照片，就需要研究全景图像拼接技术。Brown 在 2003 年引入了著名的 AutoSitich 算法，很快就被用于商业产品，如 Photoshop。但是，该算法假定图像的重叠区域没有深度变化。2013 年，萨拉戈萨 J 等人。将图像拆分为密集的网格，并为每个网格使用单个更改，称为网格变形。该方法在一定程度上解决了图像变形、尺寸缩放、重定向等问题。 图像拼接技术一般分为图像几何校正、图像预处理、图像对齐、图像融合四个步骤。由于相机镜头的畸变，需要对无人机的图像进行校正，使得到的图像满足个别地图的投影关系。图像预处理是几乎所有图像处理技术的重要组成部分，包括去噪、灰度变化等。这个过程可以降低匹配难度，提高匹配精度。然而，对于无人机遥感图像的拼接，图像匹配和图像融合是成功的关键。 图像匹配技术是图像拼接的基础。1975年米尔格拉姆提出了计算机拼接技术。于是，在重叠区域寻找最优接缝线就成为一个重要的研究方向。同年，Kuslin 提出了一种相位相关方法，通过傅里叶变化将图像转换到频域，并利用功率谱计算平移。1987 年，Reddy 提出了一种扩展的相位相关方法，该方法可以计算图像的平移和旋转关系并解决图像缩放问题。图像拼接的另一个分支是基于图像特征。1988年Harris提出经典的Harris点检测算法，它使用特定的旋转不变性哈里斯点进行特征匹配。2004 年，Lowe 提出了一种完美的尺度不变特征变换算法（SIFT），对平移、旋转、尺度缩放、不均匀光照等图像领域应用最广泛的技术具有良好的适应性。C Aguerrebere 根据输入图像的 SNR 条件给出的问题难度级别显示不同的行为区域。Wu通过建立模型，将深度学习和进化算法应用于遥感图像的拼接，实现概率意义上的全局优化。 图像融合技术是遥感图像拼接技术中的另一项核心技术，分为像素级融合、特征级融合、决策级融合。像素级融合仍然是现阶段最常用的图像融合方法之一。 对于无人机的遥感图像，存在图像数量多、光照条件多变等问题。每次拼接过程中的小错误都难以避免。随着图像数量的增加，误差不断累积，图像拼接后期会出现图像失真和重影。S Bang 创建高质量全景图，过滤掉视频的模糊帧，选择关键帧，并校正相机镜头失真。Zhang 提出了基于 STIF 的 GA-SIFT 并给出了一种自适应阈值方法来解决计算量大和拼接时间长的问题。李明基于动态规划解决无人机侧视问题寻找最佳接缝线。然而，当图像数量逐渐增加时，现有的拼接算法存在误差累积。 也有一些基于网格变形的图像拼接算法，但计算量太大。在本文中，图像被匹配两次以过滤特征点以提高准确度。拼接问题对应于通过坐标系转换的旋转角度解，应用高斯-牛顿迭代计算最优旋转角度。此外，我们练习局部匹配方法以减少错误并使用加权融合来实现过度平滑。 SIFT特征点不仅在空间尺度和旋转上保持不变，而且在光照和视角变化的条件下，还具有优异的抗干扰能力和良好的稳定性。为了实现空间尺度的不变性，SIFT特征点可以根据物体远看小而模糊，反之大而清晰的特点，建立高斯金字塔模型。差分金字塔 (DoG) 是通过计算金字塔中相邻两层图像之间的差异来获得的。使用函数拟合在 DOG 空间中测试极值。通过对确定场中基于SIFT特征点的梯度信息进行统计，选择加权幅度最大的梯度方向作为主梯度方向。通过将特征点与其主梯度方向相关联，可以解决图像特征点的旋转不变性问题。最后，利用特征点周围像素的信息建立一个128维的向量作为特征点的描述符。 提取特征点后，需要对两幅图像的特征点进行匹配。通过特征点成对匹配，可以计算出两个特征点对应的描述符之间的欧氏距离，选择欧氏距离最小的点作为匹配点对。为了减少不匹配的发生率， 被用作正确匹配的阈值。具有大于 的描述符欧几里得距离的匹配点对被消除。 RANSAC 是特征点匹配中最常用的方法之一。它首先从匹配结果中随机选择四对特征点并计算单应矩阵。其次，根据上一步得到的单应矩阵，计算第一幅图像在第二幅图像中的重投影坐标，并计算该坐标与第二幅图像中匹配点对坐标的距离。通过设置距离阈值记录所有匹配点对中正确匹配特征点对的个数。重复上面的过程，最终留下与最多点对数的正确匹配。 高斯-牛顿迭代是求解非线性最小二乘优化问题的算法之一，可以描述为： 我们选择一个初始值，然后不断更新当前优化变量以减小目标函数值。高斯-牛顿迭代的主要思想是对函数 进行一阶泰勒展开，计算 及其雅可比矩阵 对应的函数值。使用 和 计算 的增量，直到 足够小。 加权平均法是图像融合中简单有效的方法之一。第一幅图像和第二幅图像重叠区域的像素值由两幅图像像素的加权求和得到，表示为： 其中：越接近 img1， 的值越大。 的值从1逐渐变为0，重叠区域从第一幅图像逐渐过渡到第二幅图像，从而实现画面的平滑过渡。照片的加权平均融合因其直观的简单性和快速的运行速度而被广泛使用和图像拼接。 对于两幅图像的拼接，由于无人机的遥感相机通常安装在一个稳定的平台上，通过选择合适的坐标系，将图像对齐问题转化为单幅图像旋转问题，如图1所示。 此外，大多数具有相关高光频的常用相机通常在连续帧之间具有较大的重叠区域。因此，在图像拼接过程中，第 幅图像在全局位置上的投影关系，不仅受第 幅图像的影响，还与 图像相关。为了保证图像变形的一致性，首先将 张图像拼接在一起，然后将结果整合到整幅图像中。大量的实验测试证明，当i设置为3时效果最佳。整个过程如图图2。 图像中的特征点有很多种，本文使用最常见的SIFT特征点。我们提取并匹配两张输入图像的特征点，结果如下所示。 特征点的匹配精度直接影响旋转角度的计算，因此使用前必须对特征点对进行过滤。鉴于过滤特征点的方法很多，本文先将左图与右图进行匹配，再将右图与左图进行匹配。两次相同结果配对的匹配点将被保留。在此基础上，使用RANSAC方法对结果进行优化，成功匹配了上图中的121个特征点。 从无人机拍摄的两张照片之间通常存在旋转和平移。为了独立优化旋转角度，我们首先建立如图 5所示的坐标系。 以图像匹配成功的特征点坐标值的平均值作为该坐标的原点，坐标轴与像素坐标系的两个坐标轴平行。根据公式（3），特征点从图像坐标系转换为图像旋转坐标系： 其中 为滤波后的特征对的总数， 为特征点在原始图像坐标系中的坐标值，并且 是新的值。 在计算图像的旋转角度之前，我们首先需要分析图像的缩放比例。由飞行高度引起的尺寸变化将在轴上具有相同的缩放比例。因此，根据所有特征点与图像旋转坐标系原点的欧氏距离比，可以计算出两幅图像之间的缩放比例，对图像进行缩放和改变。 图像缩放后，计算图像旋转的角度。高斯牛顿迭代的方式计算旋转角度的最优解。首先设置目标函数： 通过迭代选择最优的 使得： 使用误差函数 的泰勒展开进行迭代。 其中 根据 我们可以发现增量值 每次迭代。最终，当我们计算出的 满足条件时，停止迭代过程。可以使用最佳旋转角度和旋转中心来求解图像的变换矩阵。 由于拍摄图像时光线不均匀，连续两张图像之间可能存在一些颜色差异。此外，图像旋转不可避免地存在小误差，因此我们练习线性加权融合以消除两幅图像之间的拼接线和色度变化。图像的重叠是按距离加权的，这样拼接结果自然是从img1到img2过度了。 我们利用OpenCV的功能从遥感图像中提取SIFT特征点并进行匹配。从Stitch拼接功能、基于透视变化的图像拼接结果以及本文的拼接速度的对比可以看出，本文采用的方法具有一定的优越性。 从表1数据可以看出，在拼接少量图像时，三种算法的拼接结果相似，没有出现明显的拼接误差。但是，Stitcher 算法比其他两种拼接方法花费的时间要多得多。 图 11很明显，随着图像数量的增加，基于透视变换的图像拼接算法出现了严重的失配。然而，本文采用的方法取得了比较满意的结果，因为在无人机拍摄的图像中，地面上的所有特征都可以近似地视为在同一平面上。根据透视变换，无人机的远近抖动会引入图像拼接导致错误。图像数量的不断增加会导致错误的积累，从而导致严重的失配。另外，这使得程序中断，从而无法完成所有60幅图像的拼接。假设同一平面上图片的仿射变化会更符合无人机遥感图像的实际情况。最后，可以通过线性加权融合来解决误差问题，以提高拼接效果。考虑到stitch算法耗时过长，本文不会对两者进行比较。 在上面的图 12 中，使用 100 张图像来测试本文中的方法。图像的仿射变换是通过计算围绕图像特征点中心的旋转角度来进行的。变换后的图像采用线性加权融合后，可以得到大量图像数据处理后的结果。拼接自然，符合人类视觉体验。 我们在网络上跑了一组数据，结果如下。 鉴于以上实验结果，该方法具有一定的抗干扰能力，可以高速运行。与高度集成的Stitcher和基于透视变换的图像拼接结果相比，我们可以发现，基于透视变化的图像拼接结果随着图像数量的增加而逐渐变差。然而，尽管拼接效果很好，但 Stitcher 需要更长的处理时间。 在本文中，我们研究了无人机遥感图像的拼接技术，主要贡献可以总结如下： 通过实验结果可以看出，本文提出的方法比现有方法具有更好的实时性，对于相机平面与成像平面平行的情况具有更好的拼接效果。

图像拼接的目标是创建看起来自然的马赛克，没有因相对相机运动、照明变化和光学像差而可能出现的伪影。在本文中，我们提出了一种新颖的拼接方法，该方法在整个目标图像上使用平滑拼接场，同时考虑到所有局部变换变化。计算扭曲是完全自动化的，并使用局部单应性和全局相似性变换的组合，两者都是相对于目标估计的。我们通过线性化单应性并慢慢将其更改为全局相似性来减轻非重叠区域中的透视失真。所提出的方法很容易推广到多幅图像，并允许自动获得全景中的最佳视角。它对参数选择也更加稳健，因此与最先进的方法相比更加自动化。使用各种具有挑战性的案例证明了所提出方法的好处。 图像拼接是计算机视觉中古老且广泛使用的算法之一。获得尽可能自然、没有伪影的图像马赛克是非常重要的，尽管解释全景图或马赛克的自然外观存在主观性。 早期的方法是估计单应变换，但容易导致错位和重影。作者提出了一种新方法，该方法结合了多种技术，使全景图看起来更自然。减轻 As-Projective-As-Possible (APAP) 中发生的透视失真拼接，重叠区域中对应点的子集自动估计全局相似性变换。在重叠区域中的单应性和全局相似性之间进行平滑插值，并在非重叠区域中使用线性化单应性（仿射）和全局相似性变换类似地进行外推。两个拼接场（单应线性化单应性和全局相似性）的平滑组合帮助实现： 目标图和参考图分别为 和 ，匹配点对分别为 和 ，由 到 的单应 表示为 在齐次坐标中表示 和 ，单应性可以由 的矩阵 表示。（5）中的 的矩阵中只有两行是相互独立的，对于 对匹配点对， 可以表示为： 其中 和 是(5)中矩阵的前两行，并且同时限制 保证单应矩阵只有8个自由度。 APAP中作者用局部加权的方式修改（6）式，在 处的的局部单应性可以表示为 重写为 其中 ，在APAP中权重采用高加权的方式获取，在靠近 的位置权重大，远离的位置权重小，即 其中 。 需要注意的是局部单应性只能在参考图和目标图重叠的区域计算。非重叠区域的单应变换采用重叠区域的权重的线性组合获得，因此需要谨慎选择合适的偏置以防外推伪影。 由于高斯加权的各向同性性质，会导致“波浪”效应，而选择适当的偏移会导致良好的结果。即使在这种情况下，APAP 的非重叠区域的透视失真也很明显。本文作者使用在重叠区域中没有偏移的移动 DLT 来估计局部单应性，并使用单应性线性化外推到非重叠区域，减少透视失真。 非重叠区域的单应变换会产生极不自然的尺度变化，用1维的透视变换来理解 若用一系列点对估计参数 ，在可用点对范围之外， 和 也是非线性的。在2维透视变换中扭曲会更加严重。 对于图像，锚点 附近的任意一点 的单应泰勒级数展开可以表示成 其中 为单应 在 点处的雅可比矩阵。 在非重叠区域计算 的 线性化并不容易。而重叠区域和非重叠区域的边界可能存在多个点，不知道在何处计算雅可比矩阵，因此在边界将锚点线性化并计算加权平均。 边界处的一系列锚点 ，线性化的加权组合表示为 为高斯权重 或Student权重 ，由于Student分布尾部衰减更慢，当q远离锚定点时，所有锚定点都被赋予类似的加权，表现更加鲁棒。 使用所有点匹配查找全局相似性变换可能会导致非最优解，特别是当重叠区域包含不同的图像平面时。这个问题在下图中很明显，它显示了SPHP的缝合结果。 作者通过以下方式分割对应点来计算参考图像和目标图像之间的最佳相似性变换的方法。在获得特征点匹配后，首先使用带有阈值 的RANSAC去除异常值。然后，使用带有阈值 的 RANSAC 找到具有最大内点的平面的单应性，其中 ，删除这些内点。重复这个过程，直到内点的数量小于η. 每组匹配的内点用于计算单个相似性变换。然后，检查对应于变换的旋转角度并选择具有最小旋转角度的旋转角度。 拼接结果出现不自然的区域用一下方式更新全局相似变换。 其中 为第 个局部单应性， 表示更新后的局部单应性 为全局相似变换， 和 为权重系数，上标 表示目标图像， 表示参考图像，限制 ，且都在0~1之间，用下式计算： 其中 为目标图像扭曲后在 方向上的投影点。 和 分别为目标图像和参考图像的中心点。 和 为 的最小和最大值，其中 为最终全景图的第 个位置。 使用全局相似性变换更新目标图像的扭曲会导致参考图像和先前对齐的目标图像之间的重叠区域不对齐。因此，我们需要通过适当地将变化从目标图像传播到参考图像来补偿这些变化。现在可以获得参考图像的局部变换，如下所示：在这项工作中，我们提出了一种新颖的拼接方法，该方法使用从局部单应性或其线性化版本和全局相似变换导出的平滑拼接场。结果表明，我们的方法提供了更自然的全景图，在重叠区域没有可见的视差，并减轻了非重叠区域的透视失真问题。此外，它较少依赖于参数的选择并自动计算适当的全局相似性变换。与现有方法的实验比较表明，与最先进的方法相比，所提出的方法产生了最好的缝合。未来的研究发展将包括在存在大运动时补偿视差，这可以通过将切缝方法集成到该框架中来执行。