基于GPU的全景解决方案

lianshu502

1、概述
全景光电系统，主要用于安防监控，车辆辅助、闭舱驾驶，侦查机器人及无人机全景视频信息采集等领域。操作人员可在远程端实时的观察外部360°全景视频，并根据观察到的视频方便快捷的作出相应的操作。
. H1 S% R- p! l* \2、全景光电系统特点
全景光电系统主要包括自动拼接、动态缝合线、多子带融合、高清PTZ细节视频等三个特点。
2.1 自动拼接
    全景视频主要是由4个或6个分离式的广角相机组成，以4相机为例，4相机的布局简易图如图1所示。针对不同视角获取的同一场景的多幅图像，采用改进的SURF特征提取算法，自动获取图像特征，然后利用BBF搜索算法获得特征点初匹配集合，并用改进RANSAC算法提纯初匹配集合。最后利用相机运动投影变换模型与提纯后的匹配集合计算图像间的变换矩阵，同时采用LM算法进行捆绑调整，消除图像级联误差与投影到全景图像上的失真变形，实现自动拼接。并采用动态缝合线搜索技术，找到两幅重叠图像的缝合线，并利用曝光补偿解决图像光照不均问题。最后，通过多分辨率融合技术消除“拼缝”与“鬼影”，使重叠区的融合效果更佳。
2.2 动态缝合线
# Z8 v: {8 N% _: l2 h  }1 B2 X$ {" v- s        缝合线（Seam Line）是图像拼接后在重叠区域内形成的一条把两幅拼接在一起的、图像明显可区分开的分界线，又称“拼缝”。若不消除，对拼接图像的视觉效果将产生不良影响。在消除“拼缝”之前，需要找到“拼缝”在全景图像中的准确位置，即找到缝合线。
        目前用于缝合线搜索的主要技术有基于动态规划法。该种方法依据一定的相似性准则找出符合最优条件的缝合线。其思想是将原始寻优问题分解为多个相似的子问题，再通过对这些子问题的求解获取原始问题的解。将动态规划用于搜索缝合线，即在两幅重叠区域中，查找具有相似性的某些子区域，然后以它们相似性差异最小化为准则确定最优缝合线。
        采用动态缝合线搜索技术，依据使缝合线两侧图像的颜色、亮度差异最小、缝合线像素在两侧图像的领域最相似的准则，以找到两幅重叠图像的最优缝合线。
  2.3 多子带融合
        图像融合主要用于解决图像拼接部分的局部亮度差异造成的“拼接缝”和图像配准带来的“鬼影”问题。
, i; ~8 Y* O! f0 O        常用的图像融合方法有平均法、中值滤波和多分辨率分析法。平均法类似于对图像进行低通滤波，算法简便、运算速度快，但该方法融合的图像重叠区域会有明显的带状拼接痕迹，尤其当拼接的两幅图像的亮度和颜色差异较大时，视觉效果很不理想。中值滤波与平均法滤波有同样的缺点。从频域的角度看，为平滑重叠过渡区，需要保证重叠区宽度T大于图像中特征最大的低频信号波长，若波长超过T，则会出现拼缝，超过的越多就越明显。同时，为了避免重影出现，T不能大于图像中特征最小的高频信号波长2倍多。这对于采用固定T的平均法和中指滤波法而言，很难同时满足。
        图像多分辨率分析是指对图像可在不同尺度上进行局部化分析的方法。可以将图像分解成一系列不同频率的带通图像，可在每个带通图像对应的过度区使用不同的宽度，即对高频信号取小过渡区宽度，对低频信号取大过渡区宽度，因此平滑重叠图像时既不产生拼缝，又不产生重叠现象，实现图像很好的融合效果。

2 J2 Q: z$ e! z; ^2.4 高清PTZ细节视频
7 @* [; z4 k/ f; ~2 V( v* Z% }8 y受标清相机有效识别距离及清晰度影响，全景标清视频中的一些细节难以给人较为清晰的视觉效果。切换至PTZ高清相机模式，能提供清晰的细节视频。可通过终端计算机上位机操作界面选择全景标清视频中感兴趣的目标，高清PTZ相机随动至目标，并对其进行凝视。图6为PTZ高清相机的安装结构。
3系统组成
' o; a5 p# f& K全景光电系统主要由标清摄像机组、PTZ高清相机、视频处理系统、控制终端。系统总体框
) t9 d% l" x0 F四路相机安装在车（机）身四周，高清相机安装在车（机）仓顶部，视频处理系统控制箱和控制终端安装在车（机）内部。
前端四路摄像机和PTZ高清相机输出的视频信号传输到视频处理系统，在视频处理系统内进行全景拼接、字符叠加、视频压缩、视频切换、视频记录、视频稳像、区域警戒等视频算法处理，最后通过1路LVDS数字接口（可更改）输出至控制终端，以供操作人员进行观察操作。同时可通过网络将压缩后的视频传输至后及其他处理单元。
4视频处理系统主要技术指标
    视频处理系统具备以下功能：
9 X7 n  J6 Z1 _) `# I; _4.1功能要求
1 d& f+ ]' K# [" _; a0 Va）视频采集功能
能够采集4路（或6路）全景相机的输出的标准PAL制式（704×576/50Hz）视频信号以及PTZ高清相机输出的YPBPr接口的高清模拟视频（1920×1080/60Hz）；
b）全景拼接功能
能够对采集到的4路全景相机视频信号进行全景拼接处理，形成360°全景视频；
8 C7 d7 G, c  o- y4 E2 o& z% U! s3 Lc）压缩传输功能
能够将处理后的视频信号根据系统要求进行视频压缩并通过网络接口传输到下级处理单元；
d）视频显示模式切换
①360°全景模式；②相邻两相机拼接模式；③单相机显示模式；④PTZ高清模式；
! {" q$ `0 ~0 k5 @0 k: Y6 Ee）人机交互功能
并能够通过手柄和控制终端进行操作完成对视频控制系统的操控；
f）无级变倍功能
在单相机显示模式下能够对单个相机的图像进行缩放处理，实现无级变倍功能；
g）区域警戒功能
5 p+ n+ P: R; W5 v能够对感兴趣区域进行警戒，检测到移动目标，发出报警并自动记录视频；
h）电子稳像功能（陀螺稳像）
( U/ W( j, A8 Y3 Z全景拼接系统具备电子稳像功能能够对PTZ视频进行稳像处理；
% |' L3 V/ Z, C6 b0 b7 ki）字符叠加/消隐功能
能够根据系统指令叠加/消隐系统所需字符信息，如:方位俯仰角、方位俯仰速度、倒车线、十字分化线、跟踪窗口等。
* I% G: r) k' F/ N: @; f0 d  g6 ~j）通信功能
能够通过RS422（或CAN）总线与手柄和控制终端进行通信，完成视频显示模式切换、无级变倍、视频记录/回放等操作；
k）视频记录/回放功能
能够根据系统指令或警戒信息对视频进行压缩存储，并具备视频调取回放功能；
7 }* U( b' ^" ] l）能够在线升级视频处理系统软件和对参数进行修改。
1 @* W7 J; M: F5 Y4.2 性能要求
3 \  q/ m, k5 ~8 za)        输出视频分辨率：1024x768/60HZ（可调）；
( `% y  l+ h) w' n8 p5 w$ ob)        视频处理系统视频处理延时：≤180ms；
5 [/ B! k$ ^- Lc)        码流：I帧间隔可配置为10到100帧，视频码流不大于2Mbps，平均码流可控（0.5～2Mbps）；
" n3 [$ P# u: e! R  Wd)        无级变倍步长：1%；
& s( y* @4 h9 qe)        视频存储时间：不小于72小时。


2 U. L% }" B+ g7 c5 ^

% X! e: X" c/ ~) b1 @) u6 B
: M1 Z0 `, y1 S* P5 t. N+ c