马赛克也能变高清超分辨率算法如何实现480P变4K

2022-03-04 10:52:52

我相信很多人喜欢在电脑上看电影、动画和其他视频资源。无论是本地观看还是在线观看，高清高分辨率视频都能带来更好的观看体验。但那些怀旧的派对可能没那么幸运。

过去，由于技术原因，很多老电影和动画的分辨率可能达不到720p的水平，这导致了观看体验上的巨大折扣。毕竟，在这个到处都是4K视频的时代，低分辨率的资源确实有点过时了。

事实上，即使我们看看整个行业，UHD内容的缺乏也是该行业常见的痛点。不完善的渠道、不成熟的拍摄和制作水平、不足的技术已成为该行业发展的绊脚石。为了提高超高清视频的制作能力，最大限度地节约成本，需要人工智能，超分辨率算法是解决这一问题的好方法。

说到超分辨率算法，屏幕前的许多人可能并不熟悉，但说到DLS、FSR或XESS，游戏玩家一定听说过。虽然这三种技术涉及的是不同的，但从结果来看，这三种技术可以提高游戏分辨率，带来更好的游戏体验。

今天的超分辨率算法在某种意义上与AMD的FSR技术非常相似。

图像超分辨率问题研究在输入低分辨率图像时如何获得高分辨率图像。传统的图像插值算法，如最近邻插值、双线性插值和双三次插值，在一定程度上可以达到这种效果，但这些算法获得的高分辨率图像效果并不理想。

在图像处理方面，另一个著名的算法waifu2x使用srcnn卷积神经算法，是第一个使用CNN结构（即基于深度学习）的端到端超分辨率算法。采用深度学习方法实现了整个算法过程，其效果优于传统的多模块集成方法。

srcnn的过程如下：首先，输入预处理。使用双三次算法将输入的低分辨率LR图像放大到目标大小。

然后，该算法的下一个目标是通过对输入的模糊LR图像进行卷积网络处理，得到超分辨率的SR图像，使其尽可能与原始图像的高分辨率HR图像相似。

人工智能超分辨率技术是图像恢复技术领域的一个发展方向。

动画视频制作过程往往伴随着一系列数字信号处理过程，包括锯齿、光晕、色块、噪声处理、模糊线处理等。过去，视频工作者经常需要对源进行下采样，在主波段分辨率下分析不同段的参数，并通过一系列过滤器手动修复，这将导致巨大的人工成本。

今天的主角是真正的CUGAN工具（项目地址：https://github.com/bilibili/ailab/tree/main/Real-CUGAN），只要你使用它，你可以将动画图像的质量提高两到四倍，而且几乎是无损的。

RealZhangZiyi的全名是Realcascaded-u-net风格的生成性对抗网络。它使用与Waifu2x相同的动画网络结构，但由于使用了新的训练数据和训练方法，形成了不同的参数和推理方法。

在技术细节方面，真正的CUGAN将首先对动画帧进行切片，然后使用图像质量评分模型对候选块进行评分和过滤，获得百万级高质量的动画图像块训练集。

然后，采用多级退化算法对高清图像块进行降采样，得到低质量的图像。通过让人工智能模型学习并优化从低质量图像到高质量图像的重建过程，可以在训练后对真实的二维低质量图像进行高清处理。

目前，realZhangZiyi支持2x\3x\4x倍超分辨率，其中2x型号支持4种降噪强度和保守修复，3x/4x型号支持2种降噪强度和保守修复。同时，如果你是Windows用户，作者还精心准备了WindowsGUI版本，https://github.com/Justin62628/Squirrel-RIFE/releases/tag/v0.0.3，下载后即可使用。

与cunet和anime6b相比，真正的CUGAN有着明显的优势。作者还进行了一波比较，结果如下：

目前，OGV国家创意剧在B台播出《镇魂街第二季》4K分辨率版本已经发布。我相信，更多的旧高清重置版本将在未来的道路上。人工智能技术的发展从各个角度改善了我们的经验。