1、广播与电视技术 2023年 第50卷 第2期39Content Production&Broadcasting 内容制播 基于视频增强技术的超高清图像质量 增强效果测评研究【摘 要】本文选取一种应用成熟的视频增强技术系统，简要分析了其技术原理和系统特点。全文重点是在分辨率、亮度和色彩动态范围等指标特征方面，运用主客观评价等方法对超高清图像质量增强效果进行测评，形成一种适用于评判不同视频增强技术优劣的方法，并给出相关结论和建议。【关键词】视频增强技术，超高清，图像质量评价，测评研究【中图分类号】TP301 【文献标识码】A 【DOI编码】10.16171/ki.rtbe.20230002006【
2、本文献信息】曹凯，徐超，王红胜，康建华.基于视频增强技术的超高清图像质量增强效果测评研究J.广播与电视技术，2023,Vol.50(2).Evaluation and Research on Ultra HD Image Quality Enhancement Effect for Video Enhancement TechnologyCao Kai,Xu Chao,Wang Hongsheng,Kang Jianhua(Academy of Broadcasting Science,NRTA,Beijing 100866,China)Abstract This paper selects
3、a mature video enhancement technology system,briefly analyzes its technical principle and system characteristics,focuses on the index such as resolution,brightness and color dynamic range,and uses subjective and objective evaluation methods to evaluate its UHD image quality enhancement effect.Then t
4、his paper puts forward a method suitable for judging the advantages and disadvantages of different video enhancement technologies,and gives relevant conclusions and suggestions.Keywords Video enhancement technology,Ultra HD,Image quality evaluation,Evaluation and research曹凯，徐超，王红胜，康建华(国家广播电视总局广播电视科学
5、研究院，北京 100866)0 引言在图像从高清到超高清的跨越中，视频产业得到了蓬勃发展，据国家超高清视频产业规划数据统计，2022 年我国超高清视频总体规模将超过 4 万亿。然而，在超高清视频产业升级的过程中仍面临着很多问题，如：很多优秀的媒资素材达不到超高清播出标准，带宽限制下视频的画质需要优化，大量新媒体视频的观看效果有待提升等。因此，视频增强算法得到了越来越多国内外专家和学者的研究，并涌现出多种视频增强技术。但是，应用视频增强技术后的超高清图像质量究竟如何，是否能达到相关技术标准，以及怎样科学合理地测评其增强效果仍是十分值得研究的问题。本文正是围绕这一系列问题，运用超高清图像质量的主客
6、观评价及指标测量方法，对一种视频增强技术系统在分辨率、亮度和色彩等特征方面开展超高清图像质量增强效果的测评研究。1 视频增强技术原理及系统特征视频增强技术一般通过对视频图像的某些特征，如分辨率、亮度、色彩、对比度、边缘或轮廓等，进行算法优化处理，使得增强后的视频与原视频相比，在一定评判标准下变得更好，从而提高视频的使用价值。可以说，目前应用成熟的视频增强技术系统都可以在一定范围内达到提升图像可辨识度、改善图像质量的目的。广播与电视技术 2023年 第50卷 第2期40内容制播 Content Production&Broadcasting本次测评的是一款在市场上得到广泛使用的视频增强软件系统（
7、以下简称增强系统）。该增强系统具备画质提升和指标优化等智能算法，并通过深度学习不断升级视频图像优化前后的映射模型，进而对图像进行重建，实现在分辨率、亮度和色彩等方面的增强。此外，考虑到图像质量增强效果除了受到核心算法影响，还会受到增强系统运行的硬件环境制约，经过仔细调研计算性能、运行系统、存储空间和散热效果等参数，确定如表 1 所示配置的硬件环境能够满足测评的增强系统运行要求。2 增强系统的超高清图像质量评价方法图像质量评价方法是衡量增强系统对超高清图像质量增强效果的一种比较有效的测评方法，一般分为主观评价和客观评价。主 观 评 价 比 较 权 威 的 参 考 方 法 是 ITU-R BT.5
8、00-14“Methodology for the subjective assessment of the quality of television pictures”。其给出了主观评价的通用观看条件，并依据特定评价场景提出了相应的评价方法，比较常用的是双激励损伤量表法（DSIS）和双激励连续质量量表法（DSCQS）。本文将采用 DSCQS 方法，由观测者对亮度及色彩动态范围上变换前后的超高清视频评价序列分别给出主观感知分值，范围为 0 100，分值越高越好。客观评价是依据人眼的主观视觉系统建立视觉感知数学模型，并通过统计或公式计算视频图像质量。根据评价是否需要参考图像，客观评价又可以分为
9、全参考、半参考和无参考三类方法。本文将采用基于全参考的图像质量客观评价方法，选用峰值信噪比（PSNR）和视频多方法融合评估（VMAF）的评价指标对增强系统分辨率上变换前后的超高清视频评价序列进行客观评价打分。PSNR 是一种广泛使用的视频图像质量客观评价指 标，可以得出增强图像相对原始图像的相似度，计算公式为：21010logIMAXPSNRMSE=|。其中，MSE为两张图像的均方误差，MAXI为图像像素可取到的最大值。PSNR分值一般介于3040之间，分值越高图像质量越好。VMAF 是一种基于人眼主观质量进行训练，并考虑时间相关性的视频质量评价模型的客观评价方法。该方法通过训练好的模型，对每
10、种图像特征给以不同的权重，对每一帧图像生成一个评分，最终以均值算法得出该视频序列的最终评分。本次使用的是 VMAF 中的 4K 超分辨率评价模型，其分值范围是 0 100，一般介于 75 85 之间，分值越高图像质量越好。3 增强系统的超高清图像质量增强效果测评分析由于各类视频增强技术系统的核心算法大不相同，使得不同图像特征在经过增强系统优化处理后存在一定的差别。为提升测评方法的适用性，本次测评选用分辨率、亮度和色彩动态范围等明显影响图像质量的特征指标，对增强系统开展超高清图像质量增强效果的测评分析。3.1 分辨率上变换增强效果测评分析 3.1.1 测评方案通过 FFmpeg 视频处理工具将海
11、边木屋、赛马比赛、游泳比赛和排球比赛 4 段原超高清视频评价序列（格式：YUV422，10bit，38402160/50P）经双三次插值算法下变换为高清视频信号（格式：YUV422，10bit，19201080/50P），对图像分辨率进行劣化。然后，通过增强系统把高清视频信号重新经过超分算法上变换为超高清视频信号（格式：YUV422，10bit，38402160/50P），对图像分辨率进行增强，并按照 HEVC 编码格式、40Mbps 码率和 MP4 封装格式输出表1 增强系统运行硬件环境项目硬件配置参数硬件规格4U 服务器，大功率风冷散热操作系统Linux Ubuntu 18.04处理器In
12、tel Xeon W-2295，主频：3.0GHz，核心数量：18 核心AI 算力显卡2NVIDIA Turing 架构内存232GB DDR4存储1TB SSD 高速固态硬盘广播与电视技术 2023年 第50卷 第2期41Content Production&Broadcasting 内容制播 新超高清视频评价序列。最后，为了能够客观反映分辨率上变换增强后的图像质量增强效果，将新超高清视频评价序列与原超高清视频评价序列共同输入到超高清图像质量分析仪，并采用评价指标 PSNR 和 VMAF 进行全参考超高清图像质量客观评价分析。测评方案如图 1 所示。3.1.2 评价序列使用以下 4 段超高清
13、视频作为分辨率上变换超高清图像质量增强效果的评价序列，序列特征详细描述见表 2 所示。3.1.3 测评结果根据测评方案得出分辨率上变换后超高清图像质量客观评价结果，PSNR 平均分值为 42.18，VMAF 平均分值为98.61，详见表 3 所示。测试结果表明，增强系统支持将高清视频上变换增强至超高清视频，且上变换后的 4 段新超高清视频评价序列的 PSNR 和 VMAF 评分优秀，在画质方面也表现良好，无明显损伤，图像质量基本还原到原超高清视频评价序列显示效果。3.2 亮度及色彩动态范围上变换增强效果测评分析3.2.1 测评方案通过增强系统将佛塔、荷花、猴子和喷火 4 段标准动态范围（SDR
14、）超高清视频评价序列（格式：YUV422，8bit，38402160/50P，色域标准为 ITU-R BT.709）经 HDR（HLG标准）算法上变换增强至高动态范围（HDR）超高清视频信号（格式：YUV422，10bit，38402160/50P，色域标准为 ITU-R BT.2020），并 按 照 HEVC 编 码 格 式、40Mbps 码率和 MP4 封装格式输出。然后，用 SDR 超高清视频评价序列作为参考基准，对上变换后的 HDR 超高清视频评价序列在清晰度、亮度和色彩等方面使用 DSCQS 对超高清图像质量进行主观评价分析。最后，使用波形监视器测量HDR 超高清视频序列中图像高光区
15、域和暗部区域的亮度动图1 分辨率上变换增强效果测评方案原超高清视频评价序列(38402160/50P)高清视频信号(19201080/50P)新超高清视频评价序列(38402160/50P)下变换处理FFm peg工具双三次插值算法上变换处理增强系统超分算法超高清图像质量分析仪（PSN R和VM AF客观评价分析)表2 分辨率上变换增强效果评价序列序列名称序列示图序列特征描述海边木屋序列内容为海边的木屋，以及站在木屋门口观海的女士。画面既有高亮度区域，又有丰富的暗部细节，主要考察系统对画面亮度信息、画面清晰度的处理能力赛马比赛序列内容为赛马比赛，骑手骑着各自的赛马飞快地赶往终点。主要考察系统对
16、画面清晰度和高速运动的处理能力游泳比赛序列内容为游泳比赛，包括运动员快速的泳姿以及溅起的大片水花。主要考察系统对水花清晰度和大面积水波纹的处理能力排球比赛序列内容为排球比赛，主要考察系统对画面清晰度、快速无规则运动的处理能力广播与电视技术 2023年 第50卷 第2期42内容制播 Content Production&Broadcasting态范围，并通过色域图验证色彩动态范围。测评方案如图 2 所示。3.2.2 评价序列使用以下 4 段超高清视频作为亮度及色彩动态范围上变换后超高清图像质量增强效果的评价序列，序列特征详细描述见表 4 所示。3.2.3 测评结果1.超高清图像质量主观评价结果根据测评方案得出亮度及色彩动态范围上变换后超高清图像质量主观评价结果，经过计算处理后，4 段评价序列的超高清图像质量增强百分比均大于 12%，详见表 5 所示。主观评价结果表明，上变换后的超高清图像细节更加清晰且无明显噪点、杂波、锯齿现象，亮部与暗部层次感更加分明且无过曝现象，色彩更加丰富且无过饱和现象，图像质量整体观看效果得到一定提升。图2 亮度及色彩动态范围上变换增强效果测评方案表3 超高清图像
