20、基于非参数采样的视频深度提取及场景解析技术

基于非参数采样的视频深度提取及场景解析技术

在计算机视觉领域，深度提取和场景解析是两个重要的研究方向。深度提取能够为视频或图像赋予深度信息，从而实现2D到3D的转换；而场景解析则有助于识别和分割图像中的物体。下面将详细介绍相关的技术和方法。

深度提取中候选图像数量K的影响

在深度提取过程中，候选图像数量K是一个重要的参数。通过在Make3D数据集上的实验，评估了不同K值下的三种误差指标（相对误差、log10误差和RMS误差）。结果表明，对于该数据集，K = 7是最优值，但当K ≥ 7时，仍能取得相近的结果。

从经验上看，K起到了平滑参数的作用。更多的候选图像会增加候选集的多样性，由于推断的深度在某种程度上是从所有候选图像中采样得到的，因此随着K的增加，结果会更加平滑。

2D到3D的转换应用

随着3D视频的日益流行，将传统2D电影转换为3D的需求也越来越大。目前电影行业采用的转换方法成本高且人工密集，例如《超人归来》中最多20分钟的片段转换成本就高达1000万美元。

我们提出的技术可以自动生成制作立体视频所需的深度图。为避免在视图合成步骤中出现遮挡处的空洞，我们对Wang等人的技术进行了改进和扩展，使其能够处理视频序列。

自动立体视图合成

在估计视频序列（或单张图像）的深度后，进行基于深度图像的渲染（DIBR）来合成用于立体显示的新视图。传统的DIBR策略容易在遮挡处产生大的“空洞”，虽然有很多方法用于填充这些空洞，但在一般场景中仍会存在视觉伪影。

我们提出了一种对近期DIBR技术的新颖扩展，利用图像变形来克服遮挡和空洞填充的问题。具体步骤如下：