视频指纹技术简介|江阴雨辰互联

2023年6月27日发(作者：)

一、项目总体技术概述

（一）总体技术方案

项目所依据的技术原理：

本系统整体设计包括视频采集机（硬件），视频实时分析器，视频指纹提取，视频指纹对比和分析结果汇集模块等5个核心模块。本系统的技术原理分析如下。

视频采集机可根据需要选择千兆以太网电接口或光接口，前端机采用数据旁路方式接入被监测链路，对于多接口或主备链路可采用前端机接入集群来实现数据接入和内容安全分析。网路视频数据包经过采集重组成常见视频码流，例如MPEG-2 TS流，H.264/AVC MP4流, RealVideo RMVB流等等。

重建视频码流通过视频分析仪解码。现今，我们的视频分析模块可以涵盖市场上所有的音视频标准，例如MPEG-2, MPEG-4, H.264, RMVB, VP8 等等。并且系统实现不仅仅可以实时运行大型服务器，还包括个人电脑，乃至普通移动终端。

根据视频分析模块的解码视频，视频指纹提取模块提取视频指纹，用于其后的指纹比对。具体来说，指纹特征包括空间和时间性特征，而其中时间特征可以基于空间特征来实现。所以，空间特征指纹提取算法的设计是非常重要的。所谓空间特征，是基于一幅幅视频图像的特征提取。可以基于整个图像，也可以基于不同的分块。由于实现的复杂度，目前的系统中多采取基于图像块的特征提取。我们所提出的算法基于图像内容的相关性，对于不同的后期视频编辑有很好的抗干扰作用。此算法可以实现于低功耗的移动芯片。

指纹比对的算法对系统的运算时间有很大的影响。非常简单的一个算法是遍历所有的视频指纹序列，而这样的实现对实际系统是不现实的。我们提出设计基于内容的滑动窗，来替换单步比对，也可以使用Dijkila算法来提高系统运算速度。对于大型系统来说，这样的快速比对算法可以成千上万的提高运算速度。同时，我们也可以有效利用现有的高性能云计算架构来分布式并行处理对比模块，保证实时采集和对比，以及结果反馈。

基于比对结果，分析结果模块汇总数据反馈给用户。考虑到用户的独特性，系统中分析结果汇集模块是用户可定制的。我们可以提供匹配结果，可以显示于电脑，电视，以及移动终端。用户也可以根据我们提供的模块接口，导出反馈数据参数，用于更近一步的数据处理。

而各关键技术部分，我们以有专利在申请中，保证我们的系统有自主知识产权。下图给出了系统整体技术原理，而更加具体的关键技术实现和算法在下面的章节中详细介绍。网络接入高速旁路采集机传输视频包视频分析仪重建视频视频指纹提取视频指纹视频指纹比对结果索引比对结果反馈

主要技术与性能指标：

本系统主要技术包括：高速视频采集、实时视频采集、高效鲁棒指纹提取、（分布式）实时比对和用户自定义反馈等方面，具体技术分析和性能指标如下：

高速视频采集：现阶段，本系统的视频采集系统可以实时采集数据。根据不同的系统要求，提供千兆以太网电接口或光接口，采用数据旁路方式接入被监测链路。系统采集速度可以达到几十G 字节每秒。

实时视频分析：系统中视频分析模块，本系统可以支持通用的任何音视频格式，并且保证实时的视频流分析解码。

高效鲁棒指纹提取：视频指纹提取模块，根据我们对不同视频的测试（包括视频后处理：多次编码，缩放，加字幕等等），我们的算法平均正确率远远高于95%。对于其中很多常见的后处理，我们的算法正确度能够保证100%。并且我们也和国际标准化视频指纹算法进行了对比，试验结果说明我们的算法性能远远高于现有标准化算法。并且我们具有自主知识产权。

（分布式）实时比对：视频比对，可以根据系统性能提供不同复杂的的架构实现。本系统的快速算法可以保证高速的视频指纹比对。例如一个2个小时的电影，本算法可以在分钟级的单位内完成视频指纹提取和比对。当然，借助于多核服务器，大型云计算，本系统可以在秒级完成视频指纹比对并且反馈结果。用户自定义反馈：分析结果汇总模块可以反馈比对视频，也可以反馈相似视频（假设视频库中并不存在原始视频）。本系统提供用户自定义接口，用户可以根据各自要求，通过系统接口提取反馈数据。

（二）项目创新内容

创新类别 □√理论创新 □√应用创新 □√技术创新 □工艺创新 □结构创新

项目创新内容：创新内容要根据选择的创新类别，用技术语言按创新点分条目描述，尽可能多用实验数据，要有数据分析、对比。如果是技术创新，请说明目前一般采用什么技术，申报项目对什么技术进行了创新，；如果是结构创新、工艺创新，需进行新旧结构或工艺对比，并画出新旧结构图和工艺流程图。

本申报项目属于理论，应用和技术创新。

首先，我们所提出的基于视频内容相关性的视频指纹提取不同于现有的任何理论，属于新型理论创新，很好的完善了视频内容理解和识别。

第二，我们所提出的理论可以很快的转化为应用技术，用于非法视频监控，盗版检查等等，很好的弥补国家在视频内容检索和识别方面的空白。本系统的视频分析模块可以实时分析解码任何通用音视频码流，既可以实现于大型服务器，也可以应用于普通终端。因此，我们的项目也属于应用创新。

第三，我们首次提出利用云计算来实现并行指纹对比，可以实时反馈对比结果和数据处理。而目前的技术并没有这样的云计算架构设计，因而视频指纹对比需要很长的时间等待。

（三）与项目相关的知识产权情况

专利号

专利名称专利类型

专利进展情况

专利范围专利权人名称

专利权人性质

专利权人与创办公司关系

备注

注释：

(1)专利权人：包括专利权人名称、专利权人性质（单位、个人）、专利权人与创办公司的关系。如果是单位：专利权拥有单位与创办公司的关系（同一单位，是创办公司的主管单位、存在股权关系、不存在股权及主管关系、合作关系），专利权个人与创办公司的关系（法定代表人、技术负责人、股东、非股东）；

(2)专利进展情况（申请、已签发受理通知书和专利申请号、签发授权通知书正在公告申请文件、已颁发专利证书）；

(3)专利范围（国内专利、国际专利及申请地）。

(4）权利人相关说明请填入备注栏：申报人或团队使用单位知识产权（申报人为非权利人）的，要逐一说明是否得到了权利人的许可使用（提供许可证明文件为有效）

二、项目技术开发可行性

（一）项目技术发展现状

国内外相关技术的研究、开发现状的介绍、分析：

国外相关技术研究情况分析：

视频指纹技术目前在国际上已经存在标准，采用的是基于图像块平均值的方法。虽然国际标准已成标准，目前并没有任何的市场应用和产品推广。主要存在以下几个方面的问题：第一，该国际标准涉及的技术专利收费过高。

第二，该国际标准涉及的技术实现有一定的复杂度。因为标准的制定工作都是基于普通的简单实现，并没有任何的大型系统设计考量。

第三，国际上各个公司都希望有自己的独特是指纹系统，而不想局限于其他公司参与的国际标准。

第四，该国际标准只是制定相应的指纹提取和匹配，距离大型系统实现和应用还有相当长的距离。例如，视频如何采集，非常规视频流如何分析。

此外，团队也正是看到了视频技术发展的广大市场前景，欧美大公司也正积极投入大量的人力物力研发相关技术，譬如说NEC美国研究院，IBM研究中心，英国Autonomy公司。虽然还未见市场产品的推广，但相信不久这些欧美大企业必定会布置相关的产品。不难想象这些产品将会以非常高的价格销售给全球各地。而我们的团队，凭借自身的技术实力，提出自主知识产权的技术实现，性能上不亚于，更加在很多方面优于欧美。

国内相关技术研究情况分析：

国内并未有视频指纹的显著研究开发和应用工作。我们的工作在一定程度上填补了国内该技术领域的空白。但是国内也具有一些类似的技术，例如图片模糊识别，比如绿坝花季护航的黄色图片过滤。不过，类似的模糊识别技术通常采用一些非常简单的算法，例如肤色的辨别，因此整个系统的精度和性能都不高。此外，现在国内现有的类似于模糊识别的技术并没有涉及到视频内容的理解，因此并不能像本系统一样，在理解视频内容的基础上提出基于视觉的指纹算法。

综上所述，本项目中所提出的视频指纹系统，在算法性能上可抗衡国际标准（某些方面优于），在系统设计和实现上有整体方案设计考量，包括采集系统已经被大型企业应用，视频分析模块已经经过大量成功测试（超过几百万的常规视频流分析），反馈分析提出先进的云计算架构。

也正是认识到视频技术的必要性，团队抢先进行了相关技术研究，并且形成了关键性技术和系统实现，打破了欧美在该方面新型技术上的壁垒，填补了我国该方面的空白。而我们的团队并不会局限于现有的技术实现，会在现有的基础上继续拓宽，补充，加深，形成国际一流的视频相关技术产业。

（二）项目主要研究内容

项目研究开发内容及涉及的关键技术及技术指标描述：

本项目主要研究和开发内容包括：实时视频采集，视频内容分析，快速视频指纹提取，高效实时指纹比对以及分析结果汇集。

1. 实时视频采集：研究开发高速实时采集卡，以硬件实现为目标，能够无缝接入服务网络（例如通过服务器PCI接口）。另外技术要求快速解析和分类网络海量数据包（例如文本，图片视频等）。后续加强技术还需要涉及加密数据包解密，以及损害数据包重建(Network Loss Reconstruction)等等。

2. 视频内容分析：研发关键技术为识别，解码网络海量视频文件，例如常见的MP4,

MKV, RMVB, 以及不常见的DAT, ASF等等，形成模块化实现单元，可以以硬件形式，或者软件形式实现。任何常见的视频格式都能高速解码重建。

3. 快速视频指纹提取：主要研发为提取视频视觉不变信息为视频指纹。该视觉内容不变信息不会因为视频的后期处理而改变，例如人为的剪辑，重新压缩，色彩转换，等等。前期以软件模块实现为目标，可以使用于通用计算机平台，高端服务器平台乃至移动设备平台，能够支持多种操作系统，例如Windows XP, Windows 7,

Windows Server, Linux, Unix 和 Mac OSX等等。进一步以硬件模块实现为目标，形成即时可插拔硬件卡接入网络。

4. 高效实时指纹比对：研发快速指纹比对算法和架构，以及构建丰富视频指纹库。比对反馈应该控制在以秒为单位的反应时间，满足用户实时需求。以大型云计算为模块实现基础，提供分布式并发计算。

5. 分析结果汇集：技术要点为设计通用和有针对性的用户接口。既可以反馈普通常规信息，亦可以根据不同用户的特定需求进行操作，提高用户满意度。

本项目涉及的关键技术包括：基于高性能架构的视频采集技术、高性能视频流分析解码技术、视频指纹提取算法和技术、分布式视频指纹比对技术、基于云计算的视频指纹提取和比对技术。

1. 视频采集：模块化硬件实现，大型实时系统数据采集和分类，技术指标达到几十Giga字节每秒。

2. 视频分析：主要指标为支持市场任何通用视频流分析解码。模块可以分布式实时运行，并支持大型多核系统服务器，个人电脑乃至普通移动终端。

3. 视频指纹提取：关键视觉信息提取形成指纹，指纹必须针对不同的视频后处理抗干扰，包括视频压缩，缩放，剪辑等等

4. 指纹对比：分布式实时计算比对和反馈，可以支持超大视频库，例如几十乃至几千万视频内容，包括电视，电影等。结合视频指纹提取，系统反应时间应当控制在秒级。

5. 分析结果汇集：支持用户自定义，以用户需求为中心设计反馈接口。

（三）项目技术路线描述

项目技术路线描述：包括技术原理图、工艺流程图、产品结构图、框架图等。

本系统设计将采用先进的SOA面向服务的架构设计，系统基于模块化设计理念，不同功能单元（服务）通过这些服务之间定义良好的接口和契约联系起来，便于功能松散耦合，便于系统运行稳定和模块化升级。

本系统设计的整体设计架构示意如下图所示：图3-1：大型视频指纹系统参考示例

图3-1给出了本系统设计的大型视频系统的参考实例。目前互联网上有海量的视频文件传输，本系统通过旁路侦听进入千兆以太网或者光纤，采集数据包，分类成各种不同的类型，例如图片、文字和视频。视频包重组进入指纹子系统提取指纹，而进行比对和反馈。通常比对参考大型指纹库。为了提高比对速度，除了应用快速算法，大型云计算结构也可以用来进行分布式并行计算，保证实时比对和反馈。

为了更好的理解本系统设计德视频分析、提取和比对模块设计，下面简单介绍视频指纹子系统，该子系统包括视频分析模块、视频指纹提取和比对模块的实现示意图。

图3-2：视频分析模块图3-3：视频指纹提取和比对

图3-2和图3-3给出了视频指纹子系统的视频分析、提取和比对模块设计。

该子系统包括视频分析，指纹提取和比对。网络上的视频内容成千上万，而各自的存储和压缩格式也种类繁多。简单估计，视频格式有３０到４０种之多，从常见的MPEG-２TS流，MP4, MKV，到现今并不常用的DAT等等。因此，本系统设计了高速视频分析模块，能够实时准确的解析解码现有网络所有的视频格式，生成正确的视频文件，以备指纹提取。在本系统的设计中，指纹提取算法非常的高效，不仅可以应用于高性能服务器，也可以安装于个人电脑乃至移动终端。

而后，提取的指纹和指纹库进行比对查看。为了提高比对速度，特别是针对几十乃至几百Terabytes的指纹库，有必要利用高效云计算，进行分布式并行处理，保证实时反馈（以秒为相应时间单位）。视频搜索视频/图像智能学习定点广告版权保护视频指纹系统可疑人物检测和跟踪非法/不和谐视频控制儿童成长保护(Parental

Control)突发事件预警与控制

图3-4：视频指纹系统及其参考应用实例

如图3-4所示，视频指纹系统可以广泛应用于版权保护，视频搜素，非法/不和谐视频内容控制，儿童成长保护。更进一步，指纹系统可以通过先验知识（A priori）学习和归类，如有类似人物（例如可疑人物）和突发事件，可以智能预警。

下面，利用图例来解释三种常见的应用实例，也籍此来说明指纹系统的巨大的意义和价值。

应用实例1：网络视频版权保护图3-5：网络视频版权保护应用实例

系统实现：

1、指纹提取，指纹比对，指纹库存储等模块及相应服务器。

应用实例2：非法/不和谐视频监控

图3-6：现有网络视频点播系统实现（该系统无法控制非法/不和谐视频传播）

图3-7：基于指纹系统的网络视频监控

系统实现：

1、高速旁路侦听硬件

2、指纹提取服务器

3、指纹比对（可在云端实现）

4、大型视频信息库（我们可以自己建立该库，随着时间推移慢慢完善库内信息。该信息也可以有偿方式提供给用户。）

应用实例3：安全部门突发事件监控图3-8：安全部门突发事件监控

系统实现：

1、城市范围摄像头

2、视频信息分析软件硬件：视频指纹，内容特征，视频人物检测跟踪，突发事件预警

3、视频信息库（逐日累计内容）

（四）项目技术实现依据

设计思想依据：包括文献、专利、发明等。

马展，田海，王蓓蓓，李昕，“高效低复杂度视频指纹系统”，申请中。

马展，田海，王蓓蓓，李昕，“基于内容的指纹比对滑动窗设计系统”，申请中。

李昕，马展，田海，王蓓蓓，“分布式并行比对系统”，申请中。

关键技术实现依据：包括理论依据、实验依据等

本系统涉及的关键技术包括：基于高性能架构的视频采集技术、高性能视频流分析解码技术、视频指纹提取算法和技术、分布式视频指纹比对技术、基于云计算的视频指纹提取和比对技术。其关键技术实现理论依据和实验依据分析如下。１) 采集模块基于旁路侦听原理，接入网络。根据不同的网络架构，比如千兆以太网或者主干光纤，采集模块侦听物理传输数据。数据包在采集器中组合解析，然后分类未文本，图像和视频之类。简单来说，采集解析是传输打包的逆向工程，采集器必须层层剥离原始数据包的各种头文件，例如TCP, UDP, RTP头文件，然后提取物理数据文件，在根据物理数据文件的头信息判断文件属性（例如文本，视频）。图七和图八分别简单演示了数据打包和采集分类的过程。衡量采集模块的一个很重要的指标就是采集分类速率。现今，我们设计的采集模块全硬件实现，可以每秒１０几个G乃至几十个G的数据处理。并且该系统已经被国内知名企业采用，经过多年大型系统运行，模块性能成熟。

原始数据(二进制格式）...１００１０１０１０１…存储传输格式（例如.txt, .jpg, .mpg, .１００１０１０１０１…网络分发包１００１０１０１０１…

图3-9：网络数据打包实例

视频图片文本存储传输格式（例如.txt, .jpg, .mpg, .１００１０１０１０１…网络分发包１００１０１０１０１…

图3-10：数据采集分类

２）视频指纹理论基于图像内容视觉相关性（Perceptual Similarity）。简单来说，人脑可以类比于一个处理器，景物通过我们的眼睛成像，然后大脑开始分析，提取人们感兴趣的部分。而这些感兴趣的部分被成为图像视觉内容信息（Saliency）。根据多年的心理，脑神经网络的研究发现，人类对于图像视觉信息的处理有很大的容错性（Error Resilience），而这个容错性的体现就在图像视觉内容信息的不变（Preservation）和保真（Fidelity)。因此，即使对于图像进行后期处理，例如剪辑，重新压缩，缩放等等，只要图像视觉信息没有受到大量的损害，原始图像和处理后的图像依然有很高的相关性。数学意义上，图像可以用高斯复合模型（Gaussian Mixture）来表征，而视觉内容信息为高斯模型的分布参数。如前所属，后期处理不会不可恢复性的改变视觉内容信息的数学分布，因此原始和处理后的图像可以相关比对。

下图中，提供了原始图像（纽约布鲁克林大小）和后期可能的处理变换（例如剪切，旋转，色彩变换）。从视觉上来看，无论我们后期做了何种变换，人眼反应的图像内容都是一样的。简单的说，大桥的视觉信息在这些变换中都是保真的。

(a) 图像剪辑（截取中间８０%）

(b) 图像剪辑（截取中间８０%） (c) 图像旋转（３０度）

(d) 色彩变换（黑白）

图3-11：原始图像以及各种后期操作

根据我们对不同视频的测试（包括视频后处理：多次编码，缩放，加字幕等等），我们的算法平均正确率远远高于95%。对于其中很多常见的后处理，我们的算法正确度能够保证100%。并且我们也和国际标准化视频指纹算法进行了对比，试验结果说明我们的算法性能远远高于现有标准化算法。下面我们给出系统测试效果，如图十所示。我们采用国际通用的标准视频测试库（MPEG-7），里面涵盖了上万种不同的视频以及后期效果（约3

Terabye）。整体测试效果100908070视频检测准确率

00.511.5本项目算法（视觉相关性）日本NEC公司算法（国际标准）最新学术研究算法（向量加权）22.53视频检测容错率（百分比）

图3-12：指纹算法性能比较

基于内容的快速指纹比对算法可以大量的提升比对速度。根据我们的实验结果，至少可以提升比对速度达１００倍。此外，我们还提出了基于云计算架构的分布式并行比对，根据可用的计算资源，比对速度可以有成千上万倍的提高。以２个小时的电影为例，没有快速比对设计，我们需要大概以小时为单位的时间来指纹提取和比对；加入快速比对，我们只是需要分钟级别的运行时间；更进一步，利用分布式并行计算，系统可以达到以秒为单位的反应速度。

图3-13（a）给出了最复杂的单步滑动算法，而这个算法的复杂度是视频长度和视频库总数量的乘积。图3-13（b）是我们提出快速比对，我们跳跃比对（Leap Search），记录相关性分布，然后在相关性高于一定阈值的地方，再复合比对（refinement）。实验效果现实我们可以大幅度提高速度。至此，我们假设所有的操作在一台计算单元上运行，而图3-13（c）给出了基于云计算（多台计算单元的）的分布式并行处理。所有的操作在同一时间片上操作，因此可以更加大幅的提高比对速率。

单步滑动比对（a）复杂单步滑动比对找出最有片段

快速滑动比对相关性高斯数学分布

（b）快速比对

计算单元１计算单元２（c）分布式并行

图3-13：指纹比对实例

计算单元３

项目技术实现主要面临的风险及应对措施：分析可能产生的技术风险因素对实现预期目标的影响和敏感度，阐述控制风险的应对措施。

本项目为高新科技项目，主要针对网路内容分析和检测，可以有效检查检测不良视频，健康净化网络环境。除去检测盗版，还对青少年的网络教育有一定的积极作用。

本项目涉及到核心关键技术是视频指纹算法和工程化，以及高新技术本身的日新月异，主要存在风险包括视频指纹算法的实现和工程化进程，以及核心算法掌握人员的流失等相关技术风险。

针对此项风险，本团队已采取或拟采取的措施有：

1、针对视频指纹算法实现存在的风险问题，本团队已经完全实现，并通过上百万的视频测试和实验，得到验证，该风险完全可以避免。

2、核心算法人员的流失等风险，本团队几个核心技术成员均为公司股东，作为拟成立公司的核心合伙人，保证技术团队稳定和先进行。