申请试用
您的位置:技术博客 > 详情
帧彩视界之Pseudo HDR:为普通SDR设备用户提供HDR体验
2021-10-14

左:源视频
右:微帧Pseudo HDR处理结果


“帧彩视界”是微帧科技以高清视觉体验为核心打造的一款视频AI智能化产品。利用机器学习与深度学习技术,在画质增强、HDR、超高清处理等方向,打造了一系列解决方案。“帧彩视界”可应用于超高清视频内容从生产-加工-观看的全链条过程,为用户提供卓越的观感体验。


本文将向大家分享在“帧彩视界”核心技术之一Pseudo HDR的背后,微帧是如何提高画质的。

HDR,这个概念在近几年被炒的非常火热,从2015年开始,HDR作为一种显示标准,在电视行业开始迅速蔓延,并逐渐在中高端手机、平板电脑等移动终端上应用。

不是所有设备都支持HDR视频解码和显示,因此,对于普通SDR设备用户而言,要想获得类似HDR的视觉效果,Pseudo HDR这项技术变得尤为重要。

大家所熟知的几大TOP视频平台中的VIP尊享画质,便采用了类似技术。此类尊享画质视频能够呈现出令人惊艳的亮度、对比度和色彩,无论是高光还是黑暗处的细节都一览无余,给人栩栩如生的感觉。

01.Pseudo HDR

在今年10月的Demuxed峰会中,微帧科技联合创始人兼首席科学家Zoe Liu重点向大家介绍了Pseudo HDR技术的高效实现,此项技术目的是为那些不支持HDR播放的SDR设备,提供接近HDR效果的视觉体验。


左:源视频截图
右:微帧Pseudo HDR处理后的视频截图

随着视频拍摄/播放设备的不断更新迭代,以及社交媒体平台的极大普及,人们对追求更高清画质视频的欲望日益强烈,各媒体平台为了提升用户体验质量(QoE)也是大费周章,除了通过高效编解码等技术来保障画质清晰度及播放流畅度以外,画面色彩的增强也成了重点关注的对象。

其中一项通过增强画质来提高QoE的方法是,在将视频送入编码器/转码器以进一步分发之前,实行Pseudo HDR预处理,它能够让输入的视频保持相同的比特深度(比如8 bit),旨在优化视频中超暗或者超亮区域的细节,以生产更具视觉冲击力的内容,最终呈现在用户端,而无需特殊渲染工具,例如支持HDR的设备。

Pseudo HDR技术背后的算法主要是基于限制对比度自适应直方图均衡(CL-AHE),对一个视频帧中的不同区域推导出不同的直方图均衡化转换函数,以增强那些更亮和更暗区域的对比度,有了对比度的限制,可以防止噪音被放大。

现有的CL-AHE方法主要研究并应用于静止图像,而微帧的目标是开发一种适用于视频的Pseudo HDR技术,以增强视频用户体验质量。

目前,微帧采用了CL-AHE作为视频转码前预处理的一部分,既充分利用转码服务端丰富的计算资源,又无需依赖最终渲染设备,达到用户一致的视频增强效果。

02.潜在挑战

对视频进行Pseudo HDR预处理的潜在挑战如下:

1、超亮或超暗区域呈现的噪声,如压缩伪影噪声,很容易被AHE转换放大,从而影响视觉效果。

2、保持视频的时间一致性是非常关键的,因为视频不是简单的静态图像,如果在对比度增强的像素变换中不考虑时域特征,跨帧闪烁等伪影,尤其是黑暗区域中的伪影就会变得非常明显,从而降低整体视觉体验。对视频来说,时域的平滑度和流动性甚至比空间域的每帧视觉质量更为重要。

3、转换后的视频可能会大很多,比如,源视频黑暗区域的边缘和精细纹理可以在原始SDR内容中被压缩,视频质量不会降低太多。但经过Pseudo HDR处理后,会暴露出更多更精细的纹理,因此需要分配更多的bits才能获得足够好的视觉体验。

03.微帧Pseudo HDR技术优势


Pseudo HDR始终是微帧致力推动的一个创新方向,为了解决上述问题,让视频用户享受最佳的视觉体验,微帧实施了以下方法:

1、对于对比度变换后,超亮区域可能产生的更亮画面结果,微帧开发了基于亮度级别的自适应方法来抑制这种现象,同时保持其他区域的正常转换。



右图为微帧Pseudo HDR处理结果


2、AHE经常导致皮肤区域的颜色失真,针对此现象,微帧研发了几种方式进行抑制,如快速人脸检测、皮肤检测和基于颜色的区域分割,从而促使Pseudo HDR将皮肤区域与其他区域区分开,并应用特定的对比度变换来保持准确的肤色。


右图为微帧Pseudo HDR处理结果

3、相邻帧间对比度变换后,更精细的纹理会被过度放大,因变换不一致导致的闪烁或闪烁伪影,在超暗区域中出现的频率会更高。微帧针对这些区域进行了精细化检测,并应用自适应联合空间和时间滤波来约束时域中的差异,提高了变换后相邻帧之间的一致性。

4、应用Pseudo HDR处理,很可能会导致码率增加20%以上。除了更精细的纹理会被过度放大,还可能会出现条带伪影,源视频的现有压缩伪影也可能会被夸大,这些都会让编码效率大打折扣。微帧在ROI检测、去噪和去色带(debanding)等方法的应用下,不仅能改善Pseudo HDR处理后的视觉伪影,还可以衰减视频中的高频分量,从而大大降低码率。

5、Pseudo HDR处理过程可能会增大计算复杂度、造成更多的延迟,因此,微帧在Pseudo HDR处理中开发了一系列的方法,以服务不同的用户场景,其中每个预设对应了一组算法参数,便于生成计算复杂度(延迟)、视觉质量和码率等多种联合性能。当然,Pseudo HDR的预处理模块也可以与编码器相融合,结合微帧的编码优势,可以让视频画质更好,码率更低。

不可否认的是,视频播放设备的迭代速度非常之快,但要实现HDR全民化的愿景,依然还有很长的路要走。因此,Pseudo HDR仍然是目前非常值得关注与推崇的一项技术。微帧也将继续专注于超高清解决方案“帧彩视界”的探索与研发,不断增强处理效率,不断扩大可享用超高清视频的用户覆盖面,让更多用户获得更真实更极致的视觉体验!