谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!
事实并非如此。谷歌为“真子”Pixel提供了6项福利待遇,让手机垫子的细节触手可及。
看看这个效果,原来毛茸茸的头发轮廓,哟,变成了一个美好的外观!
甚至头发之间的间隙也可以精确地拉长。
因此这避免了在纵向模式下拍照时角色和虚拟背景之间的分离,并使角色照片的纵向深度更真实。
四舍五入。这不是手持式单反相机吗?(手动狗头)
Alphamask+监督学习
在介绍最新的方法之前,让我们来看看过去手机的肖像模式是如何实现的。
传统的方法是使用二进制分割图像,然后虚拟化分离的背景,在视觉上产生深度感,从而更突出人物的主题。
虽然视觉效果非常明显,但细节表现不够强烈。
因此,谷歌将电影制作和摄影中常用的阿尔法蒙版移到了手机上,并提出了一种新的神经网络,名为“Por轨迹匹配”。
主干网是mobilenetv3。
这是一个轻量级网络,具有参数少、计算量小、推理时间短的特点。这在OCR、YoloV3和其他任务中非常常见。具体结构如下:
在推理中,PZhangZiyi特征匹配首先以RGB图像和低分辨率alphamask作为输入,并使用mobilenetv3预测高分辨率alphamask。
然后,使用浅网络和一系列剩余块来进一步提高alpha掩模的精细度。
其中,浅层网络更依赖于低层特征,可以获得高分辨率的结构特征,从而预测每个像素的alpha透明度。
通过这种方式,模型可以在初始输入时细化alpha遮罩,从而实现从上述细节到头发的遮光效果。or说or可以在谷歌的tetraflow网络上运行。
此外,当使用alpha遮罩消光时,过强的背光通常会导致细节处理不佳。
谷歌使用relightables(一种体积视频捕获方案)生成高质量的数据集。
这是谷歌在2019年提出的一个系统。它由一个带有331个可编程LED灯的球形框架和大约100个用于捕获音量视频的摄像头组成。
与一般的数据集相比,该方法可以将被摄对象的光照与背景匹配,从而呈现更真实的效果。
此外,该方法还可以满足人像放置在不同场景时光线变化的需要。
值得一提的是,谷歌在这种方法中也使用了监督学习的策略。
这是因为神经网络在matting中的精度和泛化能力有待提高,纯手工标注的工作量太大。
因此,研究人员使用标记数据集来训练神经网络,以提高模型在大量数据中的泛化能力。
我是or
使用算法优化摄影效果实际上是谷歌的传统艺术能力。
例如,在《Pixel4》中,该算法用于拍摄星空。
HDR+算法,更不用说,已经引起了激烈的公众辩论。
该功能可以在相机启动时连续拍摄图像,无需按下快门,并将缓存最后9张保存的图像。按下快门后,这些照片将与图像一起处理,以获得最佳图像。
同时,它还允许Pixel在夜间模式下拍照,而无需像其他手机一样长时间停留。
由于谷歌不依赖硬件来改善摄影效果,因此它还将这些功能集成到一个应用程序中,该应用程序适用于所有类型的Android手机。
感兴趣的合作伙伴可以去看看or分享他们的经验~
© 本文系原创,著作权归:芦虎导航官网。如需转载,请署名并注明出处:https://www.luhu.co/article/000000000014119.shtml



















