[科普中国]-影像拼接

**影像拼接（image stitching）**是指将两张或更多的有重叠部分的影像，拼接成一张全景图或是高分辨率影像的技术。

定义**影像拼接（image stitching）**是指将两张或更多的有重叠部分的影像，拼接成一张全景图或是高分辨率影像的技术。影像拼接有两大步骤：影像对准（image alignment）和影像混合（blending）。1

相关应用影像稳定（image stabilization）

影片摘要（video summarization）

背景撷取

全景图制作

但并不是任意两张有重叠部分的影像都能够被拼接，被拼接的影像必须：

有同样的投影中心

影像的内容为平面，没有前后景的分别

影像为足够远的远景，可以视为平面

实作上，通常会固定相机，让影像能有相同的投影中心以利后续处理。另外影像之间重叠部分不宜太少或太多，重叠太少会让对准变得困难，重叠太多则会让混合之后的瑕疵和失真更多，适当的重叠范围为15-30度。另外，为了让拼接后的影像更符合人类视觉，在进行影像拼接之前，会先将影像投影到圆柱座标或球体座标上。

影像对准影像对准是指找出两张影像之间的变换关系，如平移、旋转、缩放，经过变换之后使两张影像中相同的部分可以重叠。影像之间的变换关系可以用一个矩阵来表示，所要求得的矩阵的未知数数量越多，代表两影像之间的关系越复杂、越难对准。举例而言，平移矩阵有两个未知数，仿射变换矩阵有六个未知数，而一般化的投影矩阵则有八个未知数。为简化问题，在拍摄影像时会尽量避免同时平移、旋转或缩放，以简化对准的难度。通常会先取得影像的特征点，再透过影像配准（image registration）完成对准。

特征点检测特征点检测是指借由影像的亮度、颜色、梯度等资讯，寻找影像中的特征点的方法。在影像对准中，可以用特征点检测来取得两张影像的特征点，再借由配对这些特征点来完成对准。常见的特征点检测的方法有：哈里斯角检测（Harris Corner Detection）、尺度不变特征转换（SIFT）等，特征点通常会是影像中物体的角落，或是颜色变化大的地方。然而，因为要被对准两影像重叠部分有限，共有的特征点并不多，大部分特征点都是离群值（outlier），因此需要影像配准的技术来完成特征点的对应。

影像配准影像配准是指将影像经过变换后，使得两影像的相似程度最大的技术，计算相似程度的方法因算法而异，举例来说，两影像的方均根差即可当作相似程度的指标，方均根差越小表示影像越相似。在影像对准中，影像配准能够借由最大化影像重叠部分的相似程度，来完成影像之间特征点的对应。随机抽样一致算法（RANSAC）是影像配准最常见的算法之一，透过递回和取样，来找到最适当的变换，随机抽样一致算法并不是确定性算法，但其优点是可以在有许多离群值当中，为内群值找到一个合理的变换，适合用在离群值多的影像配准问题上。

影像混合因为视差、镜头失真、曝光差异等因素，两张已经对准的影像仍可能有明显的边界而不像一张完整的合成影像，影像混合就是指让对准后的影像能平顺地拼接的技术。常见的方法有阿法混合（alpha blending）、梯度域拼（gradient-domain stitching）等。2

阿法混合

调整两张影像重叠部分的透明度，让衔接部分有渐层的效果。渐层范围的长度需经过调整，太长会有鬼影（ghosting）的问题，太短则会让衔接部分不自然。

其他技术全景图长方形化

完成拼接的全景图，可能因为经过圆柱投影，或是拍摄影像时没有完全水平等原因，变得歪斜、扭曲。可以再借由算法计算，将拼接过后的全景图，在少量的失真与裁切之下，调整回长方形。

本词条内容贡献者为:

王沛 - 副教授、副研究员 - 中国科学院工程热物理研究所