智慧型视频监控的核心内容之一是对特定目标的自动跟蹤。目标跟蹤可分为5个步骤，包括运动检测、目标分类、目标跟蹤、行为分析和行为识别。如对人体的跟蹤：首先从实时图像序列(即视频)中检测出运动物体，再判定运动物体中的人体，然后跟蹤人体的运动轨迹，并分析和选定有异常行为的人，最后对行为异常的人进行持续跟蹤。

运动检测是从图像序列中将变化区域从背景图像中提取出来。运动区域的有效分割将大大减少后继过程的运算量。然而，背景图像的不稳定性，如阴影、光照、慢移动、静移动(树叶的摆动)等，也使得运动检测非常困难。

运动检测算法可按照不同分类标準分为多种。运动检测算法归纳为三种：背景消除法，时间差分法，光流法。背景消除法和时间差分法都可以看作是差分图像法。背景消除法是目前运动分割中最常用的一种方法，它利用当前图像与背景图像的差分来检测出运动区域。时间差分方法是在连续的图像序列中两个或三个相邻帧之间採用基于像素的时间差分并且阈值化来提取出图像中的运动区域。基于光流方法的运动检测採用了运动目标随时间变化的光流特性，通过计算位移向量光流场来初始化基于轮廓的跟蹤算法，从而有效地提取和跟蹤运动目标。该方法的优点是在摄像机运动的情况下也能检测出独立的运动目标。

目标分类的目的是从检测到的运动区域中将特定类型物体的运动区域提取出来。根据利用的信息的不同，目标分类可以分为基于运动特性的分类和基于形状信息的分类。基于运动特性的识别利用目标运动的周期性进行识别，受颜色、光照的影响较小。基于形状信息的识别利用检测出的运动区域的形状特徵与模板或者统计量进行匹配。

目标跟蹤是在连续的图像帧间，创建基于位置、速度、形状、纹理、色彩等有关特徵的对应匹配。依据不同的跟蹤方法可分为基于模型的跟蹤、基于区域的跟蹤、基于活动轮廓的跟蹤、基于特徵的跟蹤等。

联合目标跟蹤与分类技术是信息融合领域新兴的一个研究方向。其基本思想是通过在目标跟蹤器和目标分类器之间进行双向信息互动，来同时有效地提高目标的跟蹤精度和分类性能。

在特定情况下需要对跟蹤目标从类型细化到个体。这需要对目标的活动进行分析和理解。行为理解的关键问题是如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理在相似的运动模式类别中，空间和时间尺度上轻微的特徵变化。

本系统主要致力于基于网路的智慧型监控系统的研究的相关技术的实现。侧重于基于複杂背景的下视频的获取、压缩、在网路上传输、解码、跟蹤、识别并对异常的事件进行报警。最终构建成为一个综合化、低成本、高适用性的网路智慧型监控套用软体系统。

主要研究内容：小型化嵌入式控制系统：满足设备小型化的要求，满足信息的实时收发、安全处理的要求；网际网路通信：利用网际网路通信技术保证通信的安全、可靠，实时传输视频、音频数据；无线通信：利用无线通信CDMA或GPRS等网路保证通信的安全、可靠，实时传输视频、音频数据；高效率、高质量的视频数据压缩算法；複杂条件下运动目标的监控和识别；複杂条件下运动目标(人)的行为识别与监控；设计并实现一个基于网路的智慧型监控套用软体系统。

随着人们对社会安全的重视，视频监控系统已经开始广泛的套用到各个领域和行业。产业发展态势呈现出明显的4P(Platform平台+Product产品+Provision服务+People大众)融合趋势。社会各行业需要实施远程视频监控的範围已逐步扩大，面向管理监控和生产经营监控发展，目前中国的视频监控集中在行业用户，个人用户市场特别是家庭安全领域的需求具备较大潜力。电信运营商宽频升级，使得现有的宽频网路能够满足用户多方面的需求，在传统的以文字和图片为主的内容服务上，能够提供具有视频和音频的多媒体内容服务。这是网际网路技术发展的必然趋势，也为视频监控业务的发展提供了强有力的平台支持。需求与平台的结合，使得视频监控业务形成巨大的发展潜力。

视频监控系统作为所有安全保卫工作的眼睛，是第一信息收集来源。视频监控点的多少、架设範围直接决定了信息收集的程度，也决定了在处理突发事件和预防突发事件的效率和能力。为了能够全面监控，通常需要在监控点及其周边地区架设大量的摄像机，数量如此众多、範围如此广的视频监控点的无论是设备安装，还是机动性要求，现有的系统都无法满足要求，在降低成本、提高工作效率、增加机动性上只有使用移动智慧型监控系统才是解决这些矛盾的最佳选择。

在现实活中，大量的有意义的视觉信息包含在运动之中。儘管人类视觉既能看见运动又能看见静止的物体，但是在许多场合，比如说交通流量的监测、重要场所的保全、航空和军用飞行器的制导、汽车的自动驾驶或辅助驾驶等，我们往往对运动的物体更感兴趣。因此研究只对运动目标敏感的检测与跟蹤系统是很有意义的。此外，运动目标的研究对象是图像序列，而研究图像序列的困难性一般要比单帧图像分析大。

近年来，随着计算机数字视频监控系统的不断发展，对视频动态检测的研究也越来越深入，现在视频动态序列检测的主要套用方向如下：

1、判断视频图像是否有变化；

2、单个目标的检测和提取，主要是检测相对较大目标的运动情况；

3、多运动目标的检测和提取，主要检测出萤幕上的多个运动物体运动方向及数量；

4、多运动小目标的检测和提取，主要是针对视频上出现的体积较小的物体。

在国外，美国、欧洲和日本已经开展了大量相关项目的研究。例如，1997年美国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM(Visual Surveillance And Monitoring)，主要研究用于战场及普通民用场景进行监控的自动视频理解技术；实时视觉监控系统W不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟蹤，并可以检测人是否携带物体等简单行为；英国的雷丁大学已开展了对车辆和行人的跟蹤及其互动作用是别的相关研究；IBM与Microsoft等公司也正逐步将基于视觉的手势识别接口套用于商业领域中。国内也有很多厂家生产出具有自动报警功能的监控系统，许多科研机构也就该领域做了大量研究，在人体运动视觉分析、交通行为事件分析、交通场景视觉监控等领域取得了许多科研成果。

网路化智慧型监控是运用无线通信、网路、图像处理与数据压缩、人工智慧等技术实现视/音频监控功能的智慧型化系统。在传统录像监控系统中无法实现运动检测，网路传输和录像资料的快速检索等。传统的自动报警装置，大多採取单点信号报警，当採集点的物理量达到一定阈值，就向控制中心发出报警信号。这种报警装置的优点是安装便利、反应迅速，但缺点是适应範围小，对单点噪声过分敏感，容易误报，在防止误报和漏报两个方面无法做到兼得。因此，高可靠性、準确性的移动智慧型监控系统把握智慧型识别、智慧型判断、智慧型跟蹤、智慧型调度等特点，其研究开发具有广泛的套用前景和潜在的经济价值。此项技术成果可以套用于各行各业的视频监控系统，例如金融证券保险业的安全监控、政府机关的安全监控、考场纪律的监控、边境保卫、监狱安全保卫、社区安防等方面，甚至在国防领域都有着十分广阔的套用前景。

1、周界警戒及入侵检测：在複杂环境中精确的侦测和识别单个物体或多个物体的运动情况并进行运动轨迹跟蹤，包括运动方向、运动特徵等；

2、物品被盗或移动检测：计算机将自动检测物体移动情况，用于重要物品和设备的监视；

3、遗留、遗弃物品检测：当一个物体(如箱子、包裹、车辆、人物等)在警戒区域长时间停留，或超过了预定的时间，系统产生报警信息。典型套用场景包括机场、火车站、捷运站等。

4、自动跟蹤：侦测到移动物体之后，根据物体的运动情况，传送控制指令，使摄像机能够自动跟蹤物体，当物体超出该摄像机监控範围之后，自动通知物体所在区域的摄像机继续进行追蹤，可用于不同摄像机对同一目标的关联跟蹤；

5、高级视频移动侦测(Advanced VMD)：在複杂的天气环境中(例如雨雪、大雾、大风等)精确的侦测和单个物体或多个物体的运动，包括运动方向、运动特徵等。

6、非法滞留(Object Persistence)：当一个物体(如箱子、包裹、车辆、人物等)在警戒区域停留的时间过长，或超过了预定的时间就报警。典型套用场景包括机场、火车站、捷运站等。

智慧型网路视频监控系统不仅能实现监控功能，还能实现监控範围网路化、存储容量扩容化、监控智慧型化等，一旦选定目标，系统即可进行目标实时自主跟蹤，通过摄像头和云台监控目标行为，存储可靠信息。由于均值偏移算法（Mean Shift）是一种基于Bayes滤波的动态系统状态估计方法，具有很好的抗遮挡性。故採用均值偏移算法，实现智慧型网路视频监控系统的实时监控和目标实时跟蹤功能。

网路视频监控系统适用于任何支持TCP/IP的10/100 Base－T乙太网。系统实现的各种监控功能有：语音报警、抓图录像、轮巡监控、目标人物跟蹤等。系统主要由网路视频前端监控设备（Vide Forward Supervisedevice，VFSD）、视频伺服器（Vide server，VS）和网路客户终端（NetworkGuest Unit，NGT）三部分组成。

图1

硬体平台总体结构如图1所示。客户可以在不同的网路终端控制网路中的监控设各。在整个监控网路中，每个监控设各拥有自己独立的IP位址。终端只需要访问监控设备的IP就可以调看相应视频并进行监控操作。单个终端独立控制单个监控设备可以便用点对点控制。监控网路就是由这些点对点控制模组组成的。

系统目前多採用DS-8000系列作为前端监控设备，採用球形或枪形高清晰网路摄像机，Linux嵌入式作业系统以及专用视频处理晶片，支持多客户同时访问和全部的主流压缩格式（如MJPEG、MPEG-1、MPEG－2、MPEG－4、H.264格式等）。内置高速云台、监控摄像机。DS－8000通过LAN接入客户网路，实现前端监控数据的数位化与网路传输。网路视频前端监控设备採用网路摄像机，选择H．264格式，720×576的最高解析度，Full Dl视频解析度。

在整个监控系统中，视频信息处理均集中在客户终端。客户在终端进行各种监控操作，控制整个系统的运行。网路客户端是在视频远程监控中，通过登录视频集中管理服务中心平台（服务端），浏览前端视频图像、控制摄像机云台旋转、镜头调焦变倍、录像查询回放等远程终端显示控制系统。