2021年6月1日
By 1月时特约编辑
专题文章

Review: Moscow State University 视频质量测量工具

莫斯科国立大学视频质量测量工具 (MSU VQMT)是我用来计算和可视化VMAF等客观指标的常用工具, PSNR值, 和SSIM. 在版本13中, MSU increased codec compatibility 和 metric performance, added new HDR metrics 和 display capabilities, 和 enhanced VQMT's already best-in-class visualization tools. If you're a VQMT user, it's an essential upgrade. If you're not, now would be a great time to consider 购买 999美元的实用程序.

AV1支持

You can access a complete list of new features 在这里. Near the top of the list is native support for AV1-encoded videos. 在以前的版本中，您必须在VQMT中分析AV1文件之前将其解码为YUV. 在版本13中，您现在可以将AV1文件直接输入到VQMT中，这非常方便.

快VMAF

VMAF无疑是我运行得最多的基准，计算VMAF本来就很慢，因为它由四个独立的指标组成(这就是为什么它被称为Video) 多重方法 评估融合). 在版本13中, MSU通过OpenCL加速了VMAF，它应该可以在AMD和NVIDIA显卡上工作. 您可以通过在Metric规范屏幕中选择该变量来启用该特性，如图所示图1.

Moscow State CUDA Acceleration Netflix VMAF

图1. CUDA acceleration for the Netflix VMAF metric.

我在两台电脑上测试了这个新功能, an HP Z840 workstation with two E5-2687W v3 Xeon CPUs running at 3.1 GHz totaling 40-cores, 和 a Quadro K2200 GPU-based graphics card. 我还在一台运行至强E3-1505M CPU和Quadro M1000M GPU的8核惠普ZBook Studio G3上进行了测试.

In the first test for both computers, I computed VMAF for a single 10-second file. On the Z840, the GPU-based approach was 67% faster, which is quite dramatic. 在Z-book上, 使用功能较弱的移动GPU, the improvement was 40%; still impressive but less so. Then I tested two 10-second files in a single VQMT instance, 和 comparative performance improved slightly on both computers (表1).

表1. Performance increase from GPU acceleration of VMAF computations.

然后，我使用同时运行的四个VQMT实例测试了四个同步计算. 我经常同时运行计算，因为VMAF计算是单线程的，运行4到6个实例比只运行1到2个实例获得更好的吞吐量, 特别是在Z840上. 有趣的是, 在这里, comparative performance on the Z840 dropped to 41%, while the benefit on the notebook increased to 49%.

我正在进行测试，看看在基于cpu的计算可能有意义的VQMT实例数量方面是否存在一个交叉点, though my tests didn't reveal that threshold. If you're running multiple VQMT instances on a fast multicore computer with a weak GPU, you might perform similar tests to gauge the benefit of the GPU-based computations. For the record, I checked the GPU 和 CPU-based scores, 和 they were identical.

二次抽样的操作

如果你时间紧迫的话, 您应该知道版本12中引入的另一个特性:次采样操作. 在Subsampling中选择它 & 性能选项卡显示在左侧图2，使用右上方的控件. 在图中，我每隔四帧进行一次评分，这应该会大大加快操作速度，而且确实如此. The question is, how does it change the scoring? 答案是肯定的，但不多.

MSU计算VMAF每四帧

图2. 计算每四帧的VMAF.

你可以在表2. Testing every frame on two one-minute test files took 131 seconds, which dropped to 42 seconds when testing every fourth frame, not quite the expected 75% savings but close enough. 然而, 既不是VMAF平均值，也不是低帧分数(一种测量瞬时质量问题可能性的方法), 任何地方都有相应的变化.

莫斯科国立大学处理时间

表2. Processing time dropped significantly when not testing every frame.

在我的研究采用抽样方法之前，我会用其他文件确认这些结果, but this approach looks promising when you need VMAF scores in a hurry.

HDR指标和可视化

The next major version 13 additions were HDR metrics, 特别是PSNR值值, SSIM, MSSSIM, VQM, 和Delta ICtCp. 顺便说一下背景, 当应用于HDR视频时，SDR指标已被证明是不可靠的，因为SDR和HDR使用不同的传递函数和色彩空间，具有非常不同的亮度水平(参见 Benchmarking of objective quality metrics for HDR image quality assessment 和 Practicalities of predicting quality of high dynamic range images 和 video. For a simple explanation of the different color spaces 和 transfer functions, see 在这里). 在本质上, SDR指标并不像人眼在HDR显示器上看到的那样“看到”像素，因此无法准确预测人类的评分.

The bottom line is that you can't reliably use SDR metrics to analyze HDR videos. VMAF doesn't have an HDR version; in this video Netflix的Christos Bampis承认，是否可以在HDR视频中使用VMAF是一个悬而未决的问题. In 这篇博文, 备受尊敬的压缩学家Fabio Sonnati表示:“VMAF 4K没有针对HDR进行调整，所以我将把我的考虑限制在SDR的情况下.“如果你是一名HDR制作人，这些新指标将使VQMT与你的实践格外相关.

Operating the HDR metrics is very flexible. 例如, before starting the measurements you can choose the input color space for the videos, 比如BT.709、BT-2020等. 在运行度量之后, 您可以使用不同的显示颜色空间来显示视频帧，以模拟视频在另一台设备上的外观(图3). T在这里's little by way of explanation however, so unless you're very conversant in color spaces you may find the flexibility daunting. 当然了, 但随着HDR的日益突出，有一个带有功能的工具来解决它是件好事.

莫斯科国立大学色彩空间

图3. You can display the source 和 encoded frames in many different display color spaces.

来了解一下新的HDR指标, 以及它们与SDR版本的区别, I tested an HDR clip using both the SDR 和 HDR versions of PSNR值, SSIM, 及MS SSIM (表3). As you can see the scores are different though not radically so. Still, if you're benchmarking HDR quality you should use HDR metrics. 为了完成, 请注意，SSIMWAVE的SSIMPLUS度量是HDR兼容的，提供了另一个有价值的选项(参见在这里).

SDR和HDR评分莫斯科国立大学

表3. 同一视频片段上的SDR和HDR评分.

改进的可视化工具

视频质量指标经常被批评为主观评价的不准确预测. 出于这个原因, 通过实际观看视频和观察帧来确认关键分数是至关重要的. VQMT has always excelled at this by producing a Results Plot (图4)，在文件持续时间内显示一个或两个剪辑的分数，以直观地识别任何问题区域. 然后，您可以将播放头移动到该帧并单击右下角的Show frame以查看源和压缩帧.

图4. VQMT's Results Plot makes it easy to visually verify the objective metric.

在以前的版本中, you could load the frames side-by-side or toggle between the views with simple keystrokes (Ctrl + 1 for original frame; Ctrl +2 for first encode; Ctrl +3 for second encode). 然而, 并排视图很难看到细微的差异，在运行VQMT时，源帧和编码帧的顺序查看是有效的，但很难在PowerPoint演示文稿或报告中显示.

图5. The enhanced visualization tools in VQMT version 13

使用版本12, MSU增加了通过残差图可视化帧差的能力图5 with configurable color pallets 和 gamma correction for the visualization. 在此视图中，可视化图中的残差越大，失真越大. Not only does this help verify your observations when driving the tool in person, 这是一种以图形形式显示编码相关缺陷的非常有用的方法.

自从我在2015年左右开始使用这个工具以来，我一直是VQMT(和MSU团队)的忠实粉丝, 和 MSU continues to evolve the tool in all relevant vectors; performance, 包括质量指标, 和可用性. If you're serious about experimenting with different codecs 和/or encoding parameters, 这是一个绝对必要的工具.