微帧科技：综合多项指标评价视频质量，才能更接近主观感受

2022-03-10

指标只是衡量画面质量的工具，单项指标的数值或高或低，都不应是视频工作者的最终目的。微帧一直都以提升画质优化观看体验为主要目标，致力于使用最优的质量评价方式，提供最极致的画质效果。

视频流量在整个互联网流量的占比每年都在高速增长，为降低视频存储成本和数据传输通道的负载，视频压缩标准及算法在不断积极开发和改进。视频质量的评估在其中也起着至关重要的作用，尽管已经发展出了大量视频质量评估方法，但普遍接受度最高、最知名的评价方法还是经典的PSNR、SSIM以及VMAF。

本文将浅谈一下这几类评价方法的概念，并将结合微帧在日常实验中所得的经验，重点聊一聊PSNR avg.MSE与PSNR avg.log，谁更胜一筹？以及VMAF的“喜”与“忧”。

PSNR（峰值信噪比）

峰值信号的能量与噪声的平均能量之比，本质的是比较两张图像像素值差异，用途较广，目前仍作为对照其他指标的基线。PSNR的单位是dB，数值越大表示失真越小。

I 为未压缩的原始图像，K为 I 经过压缩后的图像）。

影像处理），那么就是 255。

PSNR avg.MSE与PSNR avg.log，谁更胜一筹

PSNR avg.MSE：当聚合整个视频的逐帧分数时，首先计算MSE的算术平均值，然后取对数。

PSNR avg.log：当聚合整个视频的逐帧分数时，首先计算每帧的PSNR，然后计算所有视频帧的算术平均值。

经微帧多次测试表明，相较于PSNR avg.MSE，PSNR avg.log具有一定不合理性，其太过“照顾”质量更高的帧，比如PSNR=99dB和PSNR=50dB的单帧，往往在主观上看不出区别，但通过PSNR avg.log的公式计算后，PSNR=99dB的一帧就会大大拉高最终平均分，在特定序列上容易被trick。

然而，事实上人眼对于质量越差的帧反而越敏感，所谓一锅老鼠屎坏了一锅粥，当观看视频时突然闪现一帧质量差的画面，人眼会对这一帧记忆更为深刻。相较于PSNR avg.log，PSNR avg.MSE就更加关照低质量帧，从这点上更符合主观感受。

SSIM（结构相似性）

一种全参考的图像质量评价指标，分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围为[0,1]，值越大，表示图像失真越小。

SSIM在衡量编码主观损失方面有其独特的表现。比如，当x264打开AQ(自适应量化技术，关闭AQ时，x264倾向于对低细节度的平滑区域使用过低码率，AQ可以更好地把码率分配到各个宏块中)，PSNR和VMAF都会严重掉分，SSIM却能体现出收益。大量实践表明AQ与主观呈正相关，SSIM在这点上更符合主观感受。

VMAF（视频多评估方法融合）

由Netflix推出的视频质量评价工具，用来解决传统指标不能反映多种场景、多种特征的视频情况。该指标是目前互联网视频最主流的客观视频评价指标，适用于衡量大规模环境中流播视频质量的观感。

VMAF的“喜”与“忧”

“喜” — VMAF的优势

视频画质增强是目前视频爆发时代的刚需应用，它能够更好的提升用户观看体验，然而质量评估常用指标PSNR和SSIM，虽然简单易算，但却不能完全反应人眼主观感受，更无法评价对原画的增强，VMAF却可以做到这一点。

【左】PSNR=30.87dB，SSIM=0.8725，VMAF=67.44

【右】PSNR=22.5dB，SSIM=0.9168，VMAF=100

通过对比可以发现右图经过画质增强，能展现更多的细节，小字变得更加清晰，同时VMAF也有了较大的提升。

“忧” — VMAF的不足

① VMAF值能够被trick。单纯为了提高VMAF值，而增强对比度，实际是不合理的，虽VMAF值提高了，但画质却并没有真正提升，本末倒置。

下图为例，右边视频仅在左边视频基础上进行了对比度增强的处理，左边VMAF为67.44，右边VMAF为97，可见经过增强对比度，VMAF也提升了不少，但当我们查看细节，会发现画质没有得到根本提升，原有的马赛克、噪点依然存在。

② VMAF在衡量原画损失的能力稍弱，有时不如SSIM与PSNR，甚至适得其反。我们可以做一个简单实验，采用x264 superfast对标准测试序列Johnny做定码率编码，在关闭deblock后（采用了no-deblock选项），PSNR和SSIM出现明显损失，VMAF却取得了增益，如下表所示。（deblock是视频编码一项成熟已久的技术，用来减轻编码造成的马赛克损伤。）