公共安全图像与视频一键式质量增强与运动分析视频稳定化关键技术(2)
2.4.2 运动分离 11
2.4.2 运动校正 12
2.5 本章小结 12
3 视频稳像系统算法设计与实验分析 · 14
3.1 OpenCV 简介 . 14
3.1.1 什么是OpenCV · 14
3.1.2 OpenCV 主要模块 14
3.1.3 OpenCV 的优势 · 14
3.2 全局运动估计模块 14
3.2.1 算法的基本框架 · 15
3.2.2 算法的关键步骤 · 15
3.2.3 实验结果与分析 · 18
3.3 运动补偿模块 19
3.3.1 算法的基本框架 · 20
3.3.2 算法的关键步骤 · 20
3.4.1 实验结果与评价 · 23
3.4 一键式处理 25
3.5 项目集成 25
3.5.1 C 语言制作插件 · 26
3.5.2 C 语言调用插件 · 27
3.6 本章小结 27
结论 28
致谢 29
参考文献 30
附录 A 视频稳像核心代码 33
附录 B 软件著作权 34
1 绪论 1.1 研究的目的与意义 本项目主要研究的问题的是对在采集视频的过程中存在运动抖动的现象进行减弱或消除。监控视频，尤其是在移动平台上工作的摄像机拍摄的视频，由于摄像机的晃动，拍摄的视频往往会产生抖动现象，这些晃动的失真视频会导致观看时产生疲劳。 视频稳像的方法有很多，主要分为：机械稳像、光学稳像和数字稳像（又称为电子稳像）三种方法[1]。 （1）机械稳像 早期由于计算机和电子技术的限制，机械稳像是早期的稳像技术的主要方式，它主要是对摄像系统进行稳定处理来实现稳像，机械式稳像方法采用各种种类的陀螺仪构成稳像控制系统[2]。系统结构如图1.1所示 （2）光学稳像 光学稳像技术较为简单，就是为了稳定拍摄的视频，通常会将一种光学元件加入到成像系统中，这种光学元件一般是可以运动的，这种光学元件称为补偿镜片。补偿镜片可以自由平移旋转运动，来补偿校正摄像机抖动，从而进行视频稳像[3]。 （3）数字稳像 在计算机和电子技术的发展以及数字摄像机的普及的情况下，数字稳像技术（又称为电子稳像技术）得到迅速发展，数字稳像技术的原理是，当摄像机拍摄视频后，首先传给计算机等图像处理设备，然后用数字图像处理技术进行处理后，最后输出稳定的视频序列。数字稳像技术能消除或减弱了图像序列之间的随机晃动的失真情况，较好地改善了视频画面的质量[4]。 1.2 视频稳像国内外研究现状 国外对视频稳像技术的研究较早，早期的视频稳像计算研究都是在军事方面的应用，这其中很多国家像美国、加拿大、韩国和日本等都较早地对视频稳像技术进行了研究，如美国军事研究实验室（Army Research Laboratory，ARL）和加拿大的国防研究院（Defense Research Establishment Valcartier，DREV）[5]。 在视频稳像研究探索过程中，涌现的方法种类有很多。美国华盛顿州立大学采用机械稳像的方法。美国军事研究室（ARL）在无人驾驶越野车上应用了自己开发的稳像系统。这个稳像系统精度很高，可以达到亚像素级的精度[6]。 加拿大防御研究机构(DREV)研制开发了一种稳像装置。它应用在实时监控系统中，在侦查10m高的桅杆上监控。 这个稳像装置的速率快而且精度高， 稳像速度可以达到30帧/秒 [7]。 国内仍在探索电子稳像技术，虽然处于初始阶段，但是在最近几年在各大学各个研究所的努力下，视频稳像技术取得了突破式的进展。 中国科学院、西安电子科技大学等单位先后展开了对视频稳像的研究，场合包含机载、舰载、车载等。在稳像理论研究方面，北京理工大学做出来突出贡献，他们分析各种稳像算法的优缺点，为以后稳像系统的开发奠定基础。由于稳像系统计算量很大，很多算法的速率并不乐观，为了满足实时性要求，对此清华大学通过采用基于多分辨率金字塔光流法来计算帧间全局运动补偿向量，然后利用全局运动矢量来进行运动补偿，进行了电子稳像的实验研究，速率为 7.4 帧/秒，可以较好地的满足实时性要求。在对旋转运动抖动较多的视频方面，北京航空航天大学提供了基于最小二乘法的运动补偿方案等[8]。 1.3 研究内容 本项目来自南京市公安局视频侦察平台项目，关键技术研究属于国家自然科学基金项目。针对目前低质量图像和视频在采集过程中存在的模糊、噪声、色彩失真、运动抖动等降质原因，研究公共安全图像与视频一键式质量增强与运动分析关键技术，并在 C++ 环境下开发公共安全图像与视频一键式质量增强与运动分析的集成系统。本项目为团队项目的子项目，主要消除或减弱视频抖动的问题。 研究内容: 1） 利用动态连接库,实现快速鲁棒光流法,基于光流与多尺度处理的视频稳定化算法,稳定化算法的插件式集成。 2） 开发良好的GUI交互界面。 3） 按照一键式处理,对参数进行优化与自适应。 4） 软件开发,并集成到公共安全图像与视频一键式质量增强与运动分析系统。 1.4 论文结构 本论文总体结构概括如下： 第一章介绍了视频稳像技术的背景与意义，以及相关稳像算法的国内外发展状况。 第二章介绍了视频稳像算法设计中最重要的两个部分，即全局运动估计算法和运动补偿算法理论基础。 第三章介绍了全局运动估计和运动补偿算法的具体实现细节，并介绍了基于插件式的软件开发方式，给出了集成后的软件界面，即最终形成的集成软件的形态。 最后总结致谢。