卷帘式快门CMOS探测器航空应用关键技术研究

作者:万磊 刊名: 上传者:朱小明

【摘要】自从固态成像传感器取代胶片成为主流的成像设备以来,在航空相机领域CCD一直占据着绝对的主导地位。近些年来CMOS成本低、速度快、可片上集成图像处理单元等优点,越来越受到人们重视,成像质量也稳步提升。CMOS的应用不再局限于民用电子消费市场,开始逐渐向航空成像领域发展。不同于CCD全局快门的曝光方式,CMOS通常采用电子卷帘式快门(Rolling shutter,RS)。像面上每行像素都是顺序读出,因此CMOS航空相机在高速成像时,与被照景物发生快速的相对运动,不仅会带来传统的像移模糊,还会引入严重的几何畸变。特别是当相机发生姿态角(俯仰、横滚、偏航)的变化后,CMOS像面上像素点的畸变与各点位置密切相关,整个像面的畸变分布会变得十分复杂。因此要想拓展CMOS探测器在航空相机领域的应用,对高速运动下CMOS的成像问题进行理论研究就显得至关重要了。论文从分析CMOS与CCD的差异入手,详细研究了RS效应产生的原因,建立了运动成像时CMOS探测器像素畸变的理论模型;对传统的RS效应消除算法进行了深入研究,提出了一种基于光流法的RS畸变校正方法;通过分析多姿态成像时航空相机成像原理,建立了任意姿态角下CMOS成像畸变模型,在此基础上提出了一种用于单帧CMOS航空图像的畸变校正方法;针对CMOS航空相机高速运动带来的像移模糊和几何畸变,建立了两者的混合模型,提出了一种基于模糊参数估计的双重退化图像恢复方法。论文的主要创新工作和研究成果如下:1、详细介绍了CMOS探测器和CCD探测器的基本结构,探讨了CMOS与CCD之间在各个方面的联系与区别,从CMOS与CCD成像原理的差异出发引出了RS效应产生的问题。通过分析成像时CMOS像面上各像素点的运动,将其分解为不同的运动方向,对相应方向的RS畸变进行了定量分析,从而建立了RS效应的参考模型。最后对传统的RS效应消除方法进行了总结和分析,简述了其步骤,为后续提出的畸变校正算法提供了参考。2、为了解决传统方法效率较低,难以满足航空图像实时处理要求的问题,本文提出了一种基于光流估计的RS畸变校正方法。该方法以建立的RS畸变参考模型为依据,对通用的仿射变换模型进行了简化,并利用光流法对视频相邻两帧图像间的运动进行估计,由此计算仿射模型参数,最后通过反向映射得到恢复后的图像。该方法简化了运动模型,并且采用金字塔光流进行快速运动估计,能够显著提高效率。3、根据高速成像时航空相机成像模型,利用坐标变换法求得像面上任意像素点的速度,结合RS效应原理,建立了任意姿态角下CMOS航空相机成像畸变模型。以此为基础提出了单帧CMOS畸变图像恢复方法。本方法可以根据飞机飞行的速高比、姿态角等信息,结合所用CMOS探测器相关参数直接求出整幅图像的畸变分布,最后通过相应仿射变换得到恢复的图像。基于蒙特卡洛法的误差分析表明模型精度完全符合航空成像要求,而且此方法直接计算像面畸变分布,无需进行复杂的帧间运动估计,算法的计算量显著降低,能够满足航空实时成像的要求,实验结果也证明了此方法的有效性。4、针对CMOS航空相机高速运动带来的像移模糊和RS畸变,本文提出了将两种图像退化因素统一考虑的思路。通过分析各自的数学模型,以运动向量为桥梁,对两种因素进行了混合建模,由此提出了一种基于参数分析的双重退化图像恢复方法。本方法首先通过常用的模糊参数估计方法对相机运动参数进行估计,利用得到的估计参数同时对模糊和畸变进行恢复。在保证恢复效果的情况下,只需要一次估计就能同时消除两种因素的影响,简化了步骤,能够显著降低计算复杂度,为CMOS航空图像的实时处理提供了一种崭新的思路。

全文阅读

卷帘式快门CMOS探测器航空应用关键技术研究 ResearchonKeyTechnologiesofCMOSwithRollingShutterinAviationApplication 万磊 贾平 中国科学院长春光学精密机械与物理研究所 光学工程 中国科学院长春光学精密机械与物理研究所 自从固态成像传感器取代胶片成为主流的成像设备以来,在航空相机领域CCD一直占据着绝对的主导地位。近些年来CMOS成本低、速度快、可片上集成图像处理单元等优点,越来越受到人们重视,成像质量也稳步提升。CMOS的应用不再局限于民用电子消费市场,开始逐渐向航空成像领域发展。不同于CCD全局快门的曝光方式,CMOS通常采用电子卷帘式快门(Rollingshutter,RS)。像面上每行像素都是顺序读出,因此CMOS航空相机在高速成像时,与被照景物发生快速的相对运动,不仅会带来传统的像移模糊,还会引入严重的几何畸变。特别是当相机发生姿态角(俯仰、横滚、偏航)的变化后,CMOS像面上像素点的畸变与各点位置密切相关,整个像面的畸变分布会变得十分复杂。因此要想拓展CMOS探测器在航空相机领域的应用,对高速运动下CMOS的成像问题进行理论研究就显得至关重要了。论文从分析CMOS与CCD的差异入手,详细研究了RS效应产生的原因,建立了运动成像时CMOS探测器像素畸变的理论模型;对传统的RS效应消除算法进行了深入研究,提出了一种基于光流法的RS畸变校正方法;通过分析多姿态成像时航空相机成像原理,建立了任意姿态角下CMOS成像畸变模型,在此基础上提出了一种用于单帧CMOS航空图像的畸变校正方法;针对CMOS航空相机高速运动带来的像移模糊和几何畸变,建立了两者的混合模型,提出了一种基于模糊参数估计的双重退化图像恢复方法。论文的主要创新工作和研究成果如下:1、详细介绍了CMOS探测器和CCD探测器的基本结构,探讨了CMOS与CCD之间在各个方面的联系与区别,从CMOS与CCD成像原理的差异出发引出了RS效应产生的问题。通过分析成像时CMOS像面上各像素点的运动,将其分解为不同的运动方向,对相应方向的RS畸变进行了定量分析,从而建立了RS效应的参考模型。最后对传统的RS效应消除方法进行了总结和分析,简述了其步骤,为后续提出的畸变校正算法提供了参考。2、为了解决传统方法效率较低,难以满足航空图像实时处理要求的问题,本文提出了一种基于光流估计的RS畸变校正方法。该方法以建立的RS畸变参考模型为依据,对通用的仿射变换模型进行了简化,并利用光流法对视频相邻两帧图像间的运动进行估计,由此计算仿射模型参数,最后通过反向映射得到恢复后的图像。该方法简化了运动模型,并且采用金字塔光流进行快速运动估计,能够显著提高效率。3、根据高速成像时航空相机成像模型,利用坐标变换法求得像面上任意像素点的速度,结合RS效应原理,建立了任意姿态角下CMOS航空相机成像畸变模型。以此为基础提出了单帧CMOS畸变图像恢复方法。本方法可以根据飞机飞行的速高比、姿态角等信息,结合所用CMOS探测器相关参数直接求出整幅图像的畸变分布,最后通过相应仿射变换得到恢复的图像。基于蒙特卡洛法的误差分析表明模型精度完全符合航空成像要求,而且此方法直接计算像面畸变分布,无需进行复杂的帧间运动估计,算法的计算量显著降低,能够满足航空实时成像的要求,实验结果也证明了此方法的有效性。4、针对CMOS航空相机高速运动带来的像移模糊和RS畸变,本文提出了将两种图像退化因素统一考虑的思路。通过分析各自的数学模型,以运动向量为桥梁,对两种因素进行了混合建模,由

参考文献

引证文献

问答

我要提问