谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

真的买一个算法发送手机

事实并非如此。谷歌为“真子”Pixel提供了6项福利待遇,让手机垫子的细节触手可及。

看看这个效果,原来毛茸茸的头发轮廓,哟,变成了一个美好的外观!

甚至头发之间的间隙也可以精确地拉长。

因此这避免了在纵向模式下拍照时角色和虚拟背景之间的分离,并使角色照片的纵向深度更真实。

四舍五入。这不是手持式单反相机吗?(手动狗头)

Alphamask+监督学习

在介绍最新的方法之前,让我们来看看过去手机的肖像模式是如何实现的。

传统的方法是使用二进制分割图像,然后虚拟化分离的背景,在视觉上产生深度感,从而更突出人物的主题。

虽然视觉效果非常明显,但细节表现不够强烈。

因此,谷歌将电影制作和摄影中常用的阿尔法蒙版移到了手机上,并提出了一种新的神经网络,名为“Por轨迹匹配”。

主干网是mobilenetv3。

这是一个轻量级网络,具有参数少、计算量小、推理时间短的特点。这在OCR、YoloV3和其他任务中非常常见。具体结构如下:

在推理中,PZhangZiyi特征匹配首先以RGB图像和低分辨率alphamask作为输入,并使用mobilenetv3预测高分辨率alphamask。

然后,使用浅网络和一系列剩余块来进一步提高alpha掩模的精细度。

其中,浅层网络更依赖于低层特征,可以获得高分辨率的结构特征,从而预测每个像素的alpha透明度。

通过这种方式,模型可以在初始输入时细化alpha遮罩,从而实现从上述细节到头发的遮光效果。or说or可以在谷歌的tetraflow网络上运行。

此外,当使用alpha遮罩消光时,过强的背光通常会导致细节处理不佳。

谷歌使用relightables(一种体积视频捕获方案)生成高质量的数据集。

这是谷歌在2019年提出的一个系统。它由一个带有331个可编程LED灯的球形框架和大约100个用于捕获音量视频的摄像头组成。

与一般的数据集相比,该方法可以将被摄对象的光照与背景匹配,从而呈现更真实的效果。

此外,该方法还可以满足人像放置在不同场景时光线变化的需要。

值得一提的是,谷歌在这种方法中也使用了监督学习的策略。

这是因为神经网络在matting中的精度和泛化能力有待提高,纯手工标注的工作量太大。

因此,研究人员使用标记数据集来训练神经网络,以提高模型在大量数据中的泛化能力。

我是or

使用算法优化摄影效果实际上是谷歌的传统艺术能力。

例如,在《Pixel4》中,该算法用于拍摄星空。

HDR+算法,更不用说,已经引起了激烈的公众辩论。

该功能可以在相机启动时连续拍摄图像,无需按下快门,并将缓存最后9张保存的图像。按下快门后,这些照片将与图像一起处理,以获得最佳图像。

同时,它还允许Pixel在夜间模式下拍照,而无需像其他手机一样长时间停留。

由于谷歌不依赖硬件来改善摄影效果,因此它还将这些功能集成到一个应用程序中,该应用程序适用于所有类型的Android手机。

感兴趣的合作伙伴可以去看看or分享他们的经验~

© 本文系原创,著作权归:芦虎导航官网。如需转载,请署名并注明出处:https://www.luhu.co/article/000000000014119.shtml