视频帧率上转换技术综述

■■■一－—＿Ｇ　　技　随着高清数字电视（ＨＤＴＶ）和高端多媒体信息系统　的发展．现有的视频信号节目源已不能满足人们对于视觉　效果的需求．因此需要提高现有视频节目源的帧率以达到　更优的视觉效果：与此同时，随着带宽资源不断被分配和　占用　很多视频应用只能获得非常有限的带宽资源（例如　远程教学），为了满足此类较低带宽应用的要求　往往需　要在编码端采用丢帧的办法来降低时间分辨率，以满足带　终端设备也随之多样化．例如普通个人计算机、掌上电脑、　机顶盒、移动电话等，各种终端的显示能力、处理能力、　所能支持的业务应用等都存在着差异。　与此同时，视频作为计算机、通信、消费类电子设　备业务融合的载体，得到越来越广泛的应用。如图１所示，　宽要求．而在解码端再利用插帧的方法恢复丢弃的帧．以　提高视频质量。帧率上转换（Ｆｒａｍｅ　Ｒａｔｅ　ｕｐ—Ｃｏｎｖｅｒｓｉｏｎ，　ＦＲＵＣ）作为一种后处理技术．通过在两个解码帧中间插　入中间帧的方式．实现将视频从一个较低的帧率上转换到　一个较高的帧率。基于以上原因及应用．帧率上转换技术　已经成为当前视频处理领域的一个新热点。　中国教育电视台的基于教育　新媒体”学习超市全　民学习平台中．视频是至关重要的传播媒体．为了使视　频的播放适应多种显示终端．为学习者提供清晰流畅的　图Ｉ多样化视频应用场景　在数字电视、宽带视频领域．高清、超高清分辨率的视　频采集和显示设备的出现．掀起了数字电视、数字电影　视听体验．使用了视频帧率上转换技术。本文对视频帧　率上转换技术进行简单介绍。　发布的热潮；在视频监控领域．既有面向高清晰视频监　控采集的需求，也有针对密集型视频监控，进行低分辨　率视频采集的需求；在多媒体通信领域，集成了摄像头　网络通信技术的飞速发展使互联网、广电网和移动　通信网等多种网络业务逐渐走向无缝融合，接入网络的　的手机、ＰＤＡ等个人手持设备也随着Ｗｅｂ２．０的兴起，成　为一种重要的视频源采集方式．但通常所采集的视频都　８２　ＤＩＧＩＴＣＷ　。　，。　Ｔｅｃｈｎｏｌｏ　ｇ……技术分析　ｎａ　ｌｙ　ｓｉｓ　咧＿　一　“．　Ａ…是低分辨率低质量视频　在数字家庭娱乐方面，各种档　次的数字摄像机也正迅速的走入平常家庭。多种视频应　用的广泛兴起　对显示设备间帧率的转换提出了要求。　视频帧率（Ｆｒａｍｅ　ｒａｔｅ）是用于测量显示帧数的量度，　测量单位为每秒显示帧数（Ｆｒａｍｅｓ　ｐｅｒ　Ｓｅｃｏｎｄ）或”赫兹”　（Ｈｚ）。一般来说帧率大于每秒１６帧，人眼就会认为是连　贯的动画，中国电视采用ＰＡＬ制式，每秒播放２５帧，将　性能提升至６０ｆ／ｓ则可以明显提升逼真感和流畅感　这也　是高清电视越来越受欢迎的原因。随着数字电视技术的　发展　帧率上转换技术得到了广泛的应用：　（１）帧率不同的视频格式的转换。例如，电影节目　源是以２４帧／秒播放，而电视ＮＴＳＣ｛美国国家电视标　准委员会）制式是以３Ｏ帧／秒的速率来播放．高清电视　则需要６０帧／秒的播放速度，为了能够让电影节目源在　电视设备上播放，必须提高节目源的时间分辨率以提供　更好的视觉质量。　一图２帧率上转换示意图　１．非运动补偿帧率上转换算法　非运动补偿算法根据参考的低帧率视频分为两类，　类是针对单视频序列的帧重复、帧平均等方法，不考　虑场景的运动直接通过复制或平均得到内插的中间帧。　这类方法运算速度快，可以应用在实时性要求高的领域，　在处理静止场景时也可以得到较好的结果　但是在处理　运动物体时会产生运动模糊。还有一类主要针对多视频　序列，这类方法的源视频为不同角度的摄像机拍摄的同　一（２）视频编码中减少时间冗余度。在低比特率视频　通信中（比如远程视频会议），视频编码时常需要通过时　域下采样满足信道带宽的要求，降低传输帧率（降至每　场景的低帧率视频，这些低帧率视频在时间轴上并不　致。也就是说．有的序列捕捉的画面其他序列没有记录，　秒１０或１５帧）　而在解码端帧率上转换作为必要的后处　理工具，可以恢复原帧率，减小视觉上的停滞感和跳跃感。　（３）提高平板电视图像质量。ＬＣＤ（液晶显示器）　显示天然存在运动模糊、图像抖动、运动拖尾等缺陷，　一这样通过序列之间配准就可以实现信息的互补，从而达　到帧率增强的目的。这种方法的优点是通过多序列配准　提高帧率　避免了复杂的运动分析；但是大多数情况下　考虑到成本、功耗等问题，视频源都是单序列，无法实　施多序列配准．这也是该方法的局限性。　影响了电视观众观看的效果：而ＰＤＰ（等离子显示屏）　显示会有大面积的闪烁。如果通过帧率上转换技术将显　示帧数提高到６０Ｈｚ以上．就可以解决这些问题。　２．运动补偿帧率上转换算法　运动补偿类算法通过考虑帧间的运动信息，利用线　性或者非线性内插滤波器来产生待插的中间帧．这也是　帧率上转换技术产生于２０世纪８０年代，目的是提　高视频信号的时间分辨率，即根据原有的低帧率图像序　列产生一系列新图像帧插入到原来的序列中．将低帧率　当前广泛应用的帧率上转换技术。通常采用的基于运动　补偿算法的帧速率上转换有三种方法：平滑运动场的方　法、图像分割的方法和滤波的方法。　向高帧率转换，典型的如３０帧／秒向６０帧／秒的转换。　在时间轴上，相比于低帧率视频，高帧率视频帧与帧之　间的时间间隔变小．同时添加了许多原本不存在帧的时　平滑运动场是对基于块匹配的运动估计得到的运动场　进一步平滑处理得到更精确的运动轨迹。Ｃｈｏｉ等人通过在　间位置，在这些位置上．需要根据前后帧的内容预测出　一待插帧的前后帧之间使用双向运动估计来得到更精确的运　动向量。如图３所示．对于中间帧的每个待预测块，在前　幅新的帧（如图２所示）。序列图像和视频中具有的丰　富的原始数据以及相邻帧间的高度相关性．使得帧率上　转换的实现成为可能。　后帧中寻找使对应块最为相似的位移作为待预测块的运动　向量，成功地解决了传统帧率上转换中运动估计存在的重　叠和空洞问题。在此基础上．Ｙａｎｇ等人通过中值滤波器检　在低帧率视频到高帧率视频的转换过程中．按照是　否进行运动估计并做相应的运动补偿，帧率上转换算法　可以分为两类：非运动补偿类算法和运动补偿类算法。　测双向运动估计所得运动场中较异常的向量，然后参考异　常向量的邻域运动信息加以修正。该方法的不足之处是中　值滤波器会修正过多的向量，甚至导致更多的异常向量。　２０１，０５１　数字通信世界８３　Ｕ、－，　■■－－—●■■　技　不管是平滑运动场还是图像分割的方法，都通过改　进运动估计保证运动补偿的精度．从而提高内插帧的准　确性和可观赏性。滤波的方法则相当于一个后处理模块．　是对运动补偿之后的内插帧利用三边滤波器等进行去噪　处理．即通过信号处理的方法直接优化内插帧。　视频图像的运动复杂多样，得到两个相邻帧之间的精　确运动场．是帧率上转换（ＦＲＵＣ）的关键。概括地说，　目前的做法大多是采取各种方法对获取的初始运动场进一　图３双向运动估计示意图　步修正以使其尽可能精确．然后可以使用运动补偿产生内　插帧，最后还可以结合滤波的方法进一步优化内插帧。　图像分割的方法不再采用规则的匹配块，Ｊａｃｏｂｓｏｎ　等人认为运动物体的不规则性决定了匹配块的不规则性，　从而提出待插帧可以划分为人眼感兴趣的明显运动物体　区域和不感兴趣的背景区域，然后再分别对明显运动物　体区域进行精确的运动估计．对背景区域则保持运动场　的平滑和连续性。这种方法得到的运动向量场的准确性　很大程度上依赖于区域划分的准确性。类似的还有Ｈｓｕ　等人提出的根据运动类型分割图像的方法，认为待插帧　可以划分为全局运动和局部运动区域，先采用全局运动　矢量运动补偿插出内插帧．再比较内插帧与前后帧检测　出局部运动的区域　对这些局部运动的块再进一步修正　其运动向量。其中，检测全局运动和局部运动的过程需　视频帧率上转换（ＦＲＵＣ）技术提供了一种从低帧　率视频源到高帧率视频输出的转换方案。目前　帧率上　转换技术的应用非常广泛，在高清数字电视、远程会议　以及远程医疗等领域中均发挥着相当重要的作用．市场　应用前景十分广阔。同时，视频帧率上转换技术仍存在　着许多需要解决的问题，对帧率上转换技术的进一步研　究必将导致这一理论和技术扩宽到更多的新的应用领域，　为视频处理与应用的研究带来新的活力与挑战。■　参考文献见ＷＷＷ．ｄｃｗ．Ｏｌ　ｇ．，＇２１１　要多次比对，计算复杂度较高。　中兴力维行业巡展亮实力　２０１１年“创新成就卓越”——中兴通讯２０１ｌ飞跃之旅全国巡展已于３月中旬正式启动，作为中兴通讯的监控产　品线，中兴力维全程随展。截至４月３０日，已完成昆明、乌鲁木齐、西安、郑州、呼和浩特、广州、深圳、福州、　南昌、石家庄、济南、南宁、天津等ｌ３站的展出。监控产品展示内容涵盖中兴力维重点行业系列解决方案，以高清　摄像机、无线３Ｇ编码器为代表的系列终端产品，以及远程监控平台实时演示。在此期间，来自政府、交通（铁路、　高速公路）、能源（电力、石化等）、医院等行业的１５００余名客户与中兴力维进行了深入交流。　此前，基于在监控领域的专注专精和对行业用户的深度调研，中兴力维先后开发出衽会公共安全、轨道交通、　电力石化、企业级集成、服务网点监管、平安校园等十余个行业解决方案　满足了不同行业用户的监控需求。通过　巡展交流了解到，在社会公共安全领域，中兴力维目前已成为承建国内许多省级平安城市项目的服务商。　针对轨道交通和电力行业，中兴力维全新提供的动环视频一体化监控综合解决方案，不但能够节约对接投　资、提高沟通效率、缩短项目工期、减少维护工作，还能实现无缝对接，为用户提供告警可视化、在线缉盗、远　程巡检、远程专家指导等增值业务，受到行业用户的高度认可。目前已广泛应用在京石武铁路段、北京地铁等监　控项目中。　本次巡展亮相的７２ＯＰ／ｌＯ８ＯＰ系列高清网络摄像机，可支持宽动态功能，在高背景光情况下呈现更加清晰的监控　效果。全系列３Ｇ无线监控终端设备之一的双卡多媒体接入单元，支持ＥＶＤＯ，ＷＣＤＭＡ，ＴＤ－ＳＣＤＭＡ三种无线网　络，网络制式向下兼容，同时支持手机监控，填补了３Ｇ无线终端多卡绑定技术应用空白。其３Ｇ车载多媒体接入单元　内置ＧＰＳ模块，融入多级防震缓冲技术，确保视频画面稳定流畅。　此外，现场分享的融数据采集、处理、存储、通信于一身的增强型多功能监控设备ＥＩＳＵ、高清卡口（高清公路　车辆智能监测系统ＺＸＲＶＳ６００）、电子警察（高清闯红灯智能监测系统ＺＸＲＤＳ８００）等新品，则极大提升了监控操　作的便利性和智能化。　Ａｋ１９９５年开始监控产品研发以来，中兴力维一直专注于监控领域，已经从一个单一的监控产品制造商，成长　为能够提供集中监控系统综合解决方案和服务的“监控专家”，真正实现了“个性化行业监控产品、集中化系统管　理、多元化建设模式、专业化售后服务”的品牌战略。　８４　ＤＩＧＩＴＣＷ　。　。