麦克杰克森一种基于压缩域的视频镜头检测方法-论文

2020年11月30日发(作者：霍泛)
Ｄ　ｌＧＩＴＡ数Ｌ字ＶＩ视ＤＥ频Ｏ　鬟＿　
【本文献信息】于鹏，王永滨，柯雅明，等．一 种基于压缩域的视频镜头检测方法［Ｊ］．电视技术，２０１４，３８（１３）　
一
种基于压缩 域的视频镜头检测方法　
于鹏，王永滨，柯雅明，刘文，伏文龙　
（中国传媒大学计算机学院， 北京１０００２４）　
【摘要】针对传统的基于空域的视频镜头检测算法需要解压缩，计算量大、效率低 的缺点，提出了一种基于压缩域的视频镜头　
检测方法。该方法首先根据ＭＰＥＧ压缩标准，从视频流中 提取Ｉ帧中８个低频ＤＣＴ系数，并对其进行分区加权求二次帧差，从而　
确定镜头变换所在的ＧｏＰ； 在ＧｏＰ中通过计算Ｐ帧和Ｂ帧的不同类型宏块比率，来精确定位镜头边界。实验结果表明，该方法可　
大大减少计算时间和数据量，且具有良好的检测效果。　
【关键词】视频镜头检测；压缩域；ＭＰＥＧ； 二次帧差；宏块比率　
【中图分类号】ＴＰ３９１　【文献标志码】Ａ　
Ｖｉｄｅｏ　Ｓｈｏｔ 　Ｄｅｔｅｃｔｉｏｎ　Ｍｅｔｈｏｄ　Ｂａｓｅｄ　ｏｎ　Ｃｏｍｐｒｅｓｓｅｄ　Ｄｏｍａｉｎ　
Ｙ Ｕ　Ｐｅｎｇ，ＷＡＮＧ　Ｙｏｎｇｂｉｎ，ＫＥ　Ｙａｒｎｉｎｇ，ＬＩＵ　Ｗｅｎ，ＦＵ　Ｗｅｎｌｏｎｇ　
（Ｓｃｈｏｏｌ　ｏｆＣｏｍｐｕｔｅｒ，Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ Ｃｈｉｎａ，Ｂｅｉｊｉｎｇ　１０００２４，Ｃｈｉｎａ）　
【Ａｂｓｔｒａｃｔ】Ａｉｍｅｄ　ａｔ 　ｔｈｅ　ｓｈｏｒｔｃｏｍｉｎｇ　ｉｎ　ｃｏｎｖｅｎｔｉｏｎａｌ　ａｉｒｓｐａｃｅ　ｓｈｏｔ　ｄｅｔ ｅｃｔｉｏｎ　ｎｅｅｄ　ｔｏ　ｄｅｃｏｍｐｒｅｓｓ，ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ　ｉｎｔｅｎｓｉｖ ｅ　ａｎｄ　ｌｏｗ　ｅｆｆｉｃｉｅｎｃｙ，ａ　ｖｉｄｅｏ　
ｓｈｏｔ　ｄｅｔｅｃｔｉｏｎ　ｍｅ ｔｈｏｄ　ｂａｓｅｄ　ｏｎ　ｃｏｍｐｒｅｓｓｅｄ　ｄｏｍａｉｎ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｉｎ　ｔｈｉ ｓ　ｍｅｔｈｏｄ，ｔｈｅ　８　ｌｏｗ—ｆｒｅｑｕｅｎｃｙ　ＤＣＴ　ｃｏｅｆｆｉｃｉｅｎｔｓ　ｏｆ　Ｉ 　ｆｒａｍｅｓ　ｗｅｒｅ　ｅｘｔｒａｃｔｅｄ　ｆｉｒｓｔ　
ｆｒｏｍ　ｔｈｅ　ｖｉｄｅｏ　ｓｔ ｒｅａｍ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ＭＰＥＧ　ｓｔａｎｄ￣ｄ，ａｎｄ　ｔｈｅ　ｆｒａｍｅｓ　ａｐｅ　 ｐａｒｔｉｔｉｏｎｅｄ，ｗｅｉｇｈｔｅｄ　ａｎｄ　ｃｏｍｐｕｔｅｄ　ｔｈｅ　ｔｗｉｃｅ－ｆｒａｍｅ－ ｄｉｆｆｅｒｅｎｃｅ，ＳＯ　ｔｈｅ　ＧｏＰ　ｏｆ　ｈｔｅ　
ｓｈｏｔ　ｂｏｕｎｄａｒｙ　ｉｓ　 ｄｅｔｅｒｍｉｎｅｄ；Ｉｎ　ｔｈｅ　ＣｏＰ，ｂｙ　ｃａｌｃｕｌａｔｉｎｇ　ｔｈｅ　ｄｉｆｆｅｒｅｎｔ 　ｔｙｐｅｓ　ｏｆ　ｍａｃｒｏ—ｂｌｏｃｋ　ｒａｔｉｏｓ　ｏｆ　ｔｈｅ　Ｐ　ａｎｄ　Ｂ　ｆｒａｍｅｓ ，ｔｏ　ａｃｃｕｒａｔｅｌｙ　ｄｅｔｅｃｔ　ｓｈｏｔ　ｂｏｕｎｄ－　
ａｒｙ．Ｅｘｐｅｒｉｍｅ ｎｔ　ｒｅｓｕｌｔ　ｓｈｏｗｅｄ　ｔｈａｔ，ｔｈｅ　ａｍｏｕｎｔ　ｏｆ　ｃｏｍｐｕｔａｔｉｏｎ　ａｎ ｄ　ｄａｔａ　ｉｓ　ｒｅｄｕｃｅｄ　ｇｒｅａｔｌｙ　ａｎｄ　ｈａｓ　ａ　ｇｏｏｄ　ｄｅｔｅｃｔｉｏｎ 　ｒｅｓｕｌｔｓ．　
【Ｋｅｙ　ｗｏｒｄｓ】ｖｉｄｅｏ　ｓｈｏｔ　ｄｅｔｅｃｔｉｏｎ；ｃｏｍｐ ｒｅｓｓｅｄ　ｄｏｍａｉｎ；ＭＰＥＧ；ｔｗｉｃｅ—ｆｒｍａｅ—ｄｉｆｆｅｒｅｎｃｅ；ｍａｃｒｏ—ｂｌ ｏｃｋ　ｒａｔｉｏｓ　
近年来，随着多媒体技术的蓬勃发展和“三网融合”　表性的有Ａｒｍａｎ　提 出的用Ｉ帧的若干ＤＣＴ系数来进行　
的大力推进，视频呈现爆炸式的增长，其所携带的信息量　
镜头的检测方法，但是该方法计算的帧差比较粗略，对预　
远远超过文本和语音，具有确切、直观、具 体、生动和高效　测编码的处理不够，检测精度不高。李向伟　提出了基　
等特点，备受人们的青睐。镜 头是组成视频序列的物理单　
于Ｉ帧ＤＣ系数的方法，该方法虽然是在压缩域上，但是　
位，而 镜头检测是视频高层相关处理，如语义分析、索引、　
没有考虑Ｐ和Ｂ帧，因而镜头检测不够精确。　< br>查询和内容分类的基础　，其检测效率和准确性直接影　
综上所述，针对压缩域的研究才刚刚起步 ，目前还没　
响高层处理的性能和效果。　
有一种很好的方法。本文在深入分析研究ＭＰＥＧ视 频压　
许多学者对视频镜头检测进行了有益的研究，提出　
缩编码及相关理论的基础上，将基于 空域检测的成功方法　
了若干有代表性的方法，从多个方面、多个角度捕获了镜　与压缩域相结合，对Ｉ 帧和Ｐ、Ｂ帧进行分别处理，提出了　
头边缘的特征信息　。从大的方面来说，镜头的检测方　
一
种基于压缩域的视频镜头检测方法。实验表明，该方法　
法可分为：基于空域的检测方法和基 于压缩域的检测方　
具有良好的检测效果，且与传统的方法相比，具有较低的　
法。早期，人们 对镜头检测方法的研究大都是基于空域展　
计算复杂度和数据量，能够满足实际应用的要求。　
开的，其主要依据镜头转换处视频底层颜色、纹理、轮廓形　
状等特征的变化来实现镜头检测的，常见的 有像素比较、　
１　预备知识　
直方图、聚类、运动场和边缘的方法　。虽然基于空域　
１．１镜头介绍　
的检测算法取得了一定的成果，但是这种镜头检测方法要　
镜头。。　是指 由摄像机从按下快门到停止的时间段　
求必须在完全解压的前提下进行，一方面解压视频计算量　
内，拍摄的一组连续相关的的图像帧，它用来表现场景中　
巨大，效率低下；另一方面，解压后数据量 增大，很多算法　
连续的一个运动过程　Ｊ。镜头通过视频剪辑工具进行连　
在数据量急剧增大 的情况下，效果明显变差，这是该类算　
接，由于剪辑手法的多样性，镜头变换也呈现丰富多彩的　法致命的弱点　。基于压缩域的方法研究较少，比较有代　
样式。根据转换处过渡特性的差异，镜头 转换　可分为　
基金项目：国家“８６３”计划项目（２０１１ＡＡ０１Ａ１０７）；国家科技支撑计划 项目（２０１２ＢＡＨ５１Ｆ０２）　
投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎＩ《电视技 术》第３８卷第１３期（总第４４１期）　７　
ＨＩ　Ｄ　ＴＡ数Ｌ　
妒
■糊数灞　< br>ｌｄ　ｅ　ｏ《ｎ　Ａｉ…ｒｉ＾ｎ　
突变和渐变两类。突变是指连续两个镜头之间没有过渡，　
运动比率来进一步确定镜头边界。　
两镜头之间没有任何编辑效果和时间上的延迟　；渐变　< br>２．１镜头ＧｏＰ检测　
则与突变截然相反，它是指两个连续镜头在转换处相互重　
２． １．１　视频帧分区加权　
叠，渐渐由前一镜头转变为后续镜头的方式，通常这个过　在基于空域的镜头 检测算法中，通常采用分区　。。　
程会持续十几帧到几十帧不等，这样就使得镜头之间的过　
的概念，将视频平均分成Ｎ×Ｎ区（Ｎ表示长和宽的单位　
渡更加平缓，人们看起来感觉不到明显的视觉 不连续。常　
数），分别计算每个分区的直方图和帧差，以此弥补直方　
见的镜头渐变种类包括 淡人淡出、融化、扫描等¨　。图１　
图算法不能反映像素位置信息，但是没有考虑视频中不同　
给出了视频突变渐变的示意图。　
突变　渐变　
区域的重要性因素。为了捕获图像的空间分布 信息，同时　
考虑到视频在拍摄过程中和人眼视觉对图像不同部分的　
关注程度　，将视频非均 匀的分割为３×３子区，其中长　
和宽的比例３：５：３，分区的比例如图２所示，图中每个分区　中分别标注了长和宽的单位数。　
３×３　５×３　３×３　
图１　视频突变渐变示意图　
１．２　ＭＰＥＧ压缩介绍　
ＭＰＥＧ压缩是当今国际上通用的视频压缩标准，其主　
要通过两项基本技术实现压缩：基于离散余弦变换（Ｄｉｓ—　
ｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓ ｆｏｒｍ，ＤＣＴ）的压缩技术和基于１６　Ｘ　１６宏　
３×５　５×５　３×５　
块的运动 补偿技术。其中，ＤＣＴ变换是一种正交变换，可　
将信号从空间域变换到频率域，充分减少图像内容间 的自　
相关陛，使大部分的能量集中在频率域中少数几个能量较　
高的低频系数上　，只利用这 些低频系数就可以很好地　
３　Ｘ　３　５×３　３×３　
图２分区比例示意图　
通常 ，相对于图像中心区域，４个角落和边缘的内容　
恢复原始图像，其余系数在经过量化后，大部分都变成 了　
显得不是那么重要，同时图像的底端字幕部分经常会干扰　
在完成分区后，又定义了一个　
零，从而可减少空间冗余度，实现压缩功能。ＭＰＥＧ在帧　
镜头检测的准确性。因此，
编码时是按照图像组（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ，ＧｏＰ）进行的，每　
权重矩阵ｗ　< br>一
个ＧｏＰ包含了３种类型的帧，分别是Ｉ帧、Ｐ帧和Ｂ帧。　
其中，Ｉ帧是基础帧，采 用基于ＤＣＴ变换帧内编码的形式。　
Ｐ帧需要参考前面最近的Ｉ帧或Ｐ帧进行前向运动补偿　
ｗ＝１　ｌ　ｗ　Ｗ５　Ｗ　ｌｊ　Ｌ＝Ｉ　２　４　２　Ｉ　
１　１　
ｆ－　］　『　２　］ 　
Ｊ　
１
（１）　
来获得。Ｂ帧根据前面和后面的参考帧进行双向预测。　< br>式中：Ｗ　表示第ｉ（ｉ∈［１，９］）个分区的权重值，加权系数　
帧间预测编码时，编码器在 参考帧中搜索与当前帧中的每　
和分区一一对应，通过分区区间大小和分区加权系数的不　
个宏 块最匹配的宏块，从而计算出运动向量（Ｍｏｔｉｏｎ　Ｖｅｃ—　
均匀分配体现不同区域的重要程度， 提高镜头检测的精　
ｔｏｒｓ，ＭＶ），进一步计算当前宏块的运动补偿预测差异　
确度。　< br>（Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ　Ｐｒｅｄｉｃｔｉｖｅ　Ｅｒｒｏｒ，ＭＣＰＥ），将获得 的　
２．１．２二次帧差计算　
ＭＣＰＥ与给定的阈值进行比较，若小于阈值，则将ＭＣＰＥ　
在对ＣｏＰ进行镜头检测时，选取每个ＧｏＰ的首帧作　
和ＭＶ一起进行编码；若大于阈值，则 对该宏块进行内部　
为特征来实现粗略的镜头检测。由ＭＰＥＧ编码相关介绍　
编码，这种情况 说明当前帧和参考帧间的差异较大，而这　
可知，Ｉ帧的ＤＣＴ系数可以直接获取，并且ＤＣＴ系数的高 　
种差异往往是由于镜头变换形成的　。　频部分经量化后基本为零，能量主要集中在左上角靠近　２基于压缩域的视频镜头检测方法　
ＤＣ分量的少数几个低频系数上，使用这些极少数的低频　系数即可恢复出原图像。同时，将全部的ＤＣＴ系数用作　
主要分为两个步骤：１）镜头ＧｏＰ检测 。抽取视频序　计算，计算量和数据量大，效率低，且意义不大。因此，选　
列中每个ＧｏＰ中的首帧— —Ｉ帧，以Ｉ帧中８个低频的　
取８个低频ＤＣＴ系数为特征值进行计算，这样既不失精　
ＤＣ Ｔ系数为特征进行分区加权求二次帧差，将二次帧差　
确性，同时减少了计算量，使得参与计算的数据量 减少了　
与自适应阈值比较来粗略确定镜头边界所在的ＧｏＰ。　
７／８。在上一步分区加权的 基础上，提供了一种二次帧差　
计算帧差公式为　
２）镜头边界检测。根据ＧｏＰ中Ｐ和Ｂ帧的 不同类型宏块　
计算方法，
８　《电视技术》第３８卷第１３期（，￣４４１期）Ｉ投稿网址ｈ ｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎ