Apap图像配准算法[通俗易懂]

大家好，又见面了，我是你们的朋友全栈君。

图像配准

图像配准是将两张场景相关的图像进行映射，寻找其中的关系，多用在医学图像配准、图像拼接、不同摄像机的几何标定等方面，其研究也较为成熟。OpenCv中的stitching类就是使用了2007年的一篇论文（Automatic panoramic image stitching using invariant features）实现的。虽然图像配准已较为成熟，但其实其精度、鲁棒性等在某些场合仍不足够，如光线差异很大的两张图片、拍摄角度差异很大的图片等。2013年，Julio Zaragoza等人发表了一种新的图像配准算法Apap（As-Projective-As-Possible Image Stitching with Moving DLT），该算法的效果还是不错的，比opencv自带的auto-stitch效果要好。而2015年也有一篇cvpr是介绍图像配准（Non-rigid Registration of Images with Geometric and Photometric Deformation by Using Local Affine Fourier-Moment Matching），其效果貌似很牛，但没有源码，难以检验。本文简单介绍Apap。

Apap

项目地址：http://cs.adelaide.edu.au/~jzaragoza/doku.php?id=mdlt
下面简单介绍Apap的实现流程：

1. 提取两张图片的sift特征点
2. 对两张图片的特征点进行匹配，匹配的过程引用了论文（Distinctive Image Features from Scale-Invariant Keypoints）
3. 匹配后，仍有很多错误点，此时使用论文（Accelerated Hypothesis Generation for Multi-Structure Robust Fitting）提到的RANSAC的改进算法进行特征点对的筛选。筛选后的特征点基本能够一一对应。
4. 使用DLT算法（Multiple View Geometry p92提到），将剩下的特征点对进行透视变换矩阵的估计。
5. 因为得到的透视变换矩阵是基于全局特征点对进行的，即一个刚性的单应性矩阵完成配准。为提高配准的精度，Apap将图像切割成无数多个小方块，对每个小方块的变换矩阵逐一估计。

实验效果

两张原图：
特征提取和匹配：
红点为改进RANSAC筛选的错误点，绿线为正确点，能看出所有连线一一对应，并没有明显的错误特征对。
刚性配准：
Moving_DLT配准：

结论

Apap虽然能够较好地完成配准，但非常依赖于特征点对。若图像高频信息较少，特征点对过少，配准将完全失效，并且对大尺度的图像进行配准，其效果也不是很好，一切都决定于特征点对的数量。