2024年4月20日发(作者：上热门的短视频素材)

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(21)申请号 CN2.2

(22)申请日 2012.11.22

(71)申请人 索尼公司

地址 日本东京都

(72)发明人 李平山 宫城健辅 弗洛瑞娜·瑟瑞亚 首田大仁

(74)专利代理机构 北京东方亿思知识产权代理有限责任公司

代理人 李晓冬

(51)

G06T7/00

权利要求说明书 说明书 幅图

(10)申请公布号 CN 103136745 A

(43)申请公布日 2013.06.05

(54)发明名称

利用散焦碉堡图像执行深度估计的

系统及方法

(57)摘要

本发明涉及利用散焦碉堡图像执行

深度估计的系统及方法。利用散焦碉堡图

像执行深度估计过程的系统及方法包括相

机设备，该相机设备具有用于捕获拍摄目

标的碉堡模糊图像的传感器设备。相机利

用深度估计器来执行将碉堡模糊图像转换

为相应高斯模糊图像的高斯化过程。高斯

化过程是通过将碉堡模糊图像与高斯化内

核进行卷积以生成相应的高斯模糊图像来

执行的。深度估计器然后利用高斯模糊图

像来有效地执行深度估计过程。

法律状态

法律状态公告日

法律状态信息

法律状态

权 利 要 求 说 明 书

1.一种用于执行深度估计过程的系统，包括：

传感器设备，用于捕获拍摄目标的碉堡模糊图像；以及

深度估计器，用于执行将所述碉堡模糊图像转换为高斯模糊图像的高

2.根据权利要求1所述的系统，其中所述深度估计器通过将所述碉堡

3.根据权利要求2所述的系统，其中所述高斯化内核被实现为具有方

4.根据权利要求2所述的系统，其中所述高斯化内核被实现为二维均

一框函数，所述二维均一框函数根据以下公式被表示为两个一维函数的张

量积：

阵的框函数，在所述方阵中，所有矩阵值都是相同的值，并且所有这些矩

阵值的和等于1。

图像与高斯化内核进行卷积以产生所述高斯模糊图像来执行所述高斯化过

程。

斯化过程，所述深度估计器然后利用所述高斯模糊图像来执行所述深度估

计过程。

其中m和n为像素坐标，并且其中M和N为所述高斯化内核的矩阵

5.根据权利要求1所述的系统，

其中所述深度估计器确定所述碉堡模糊图像被饱和阈值水平裁剪，所

其中所述深度估计器通过首先计算第一图像的第一总亮度以及第二图

其中所述深度估计器通过将所述亮度差加到所述碉堡模糊图像中具有

6.根据权利要求1所述的系统，其中所述传感器设备和所述深度生成

7.根据权利要求6所述的系统，其中所述传感器设备通过利用第一散

焦镜头位置来捕获与拍摄目标相对应的图像1，所述相机设备然后被调整

器被实现在电子相机设备中，所述电子相机设备利用来自所述深度估计过

程的一个或多个深度值来执行自动对焦过程。

的各个维度。

述深度估计器然后执行填充框过程以在执行所述高斯化过程之前使所述碉

堡模糊图像的能量总量均衡，

像的第二总亮度来执行所述填充框过程，所述深度估计器确定所述第一总

亮度与所述第二总亮度之间的亮度差，并且

较小总亮度的较小图像来完成所述填充框过程，使得所述第一图像和所述

第二图像的所述能量总量是均衡的。

到与所述第一散焦镜头位置不同的第二散焦镜头位置，所述传感器设

过利用所述第二散焦镜头位置来捕获与所述拍摄目标相对应的

述第二散焦镜头位置的对焦不如所述第一散焦镜头位置。

备通

图像2，所

8.根据权利要求7所述的系统，其中所述深度估计器选择内核K和高

9.根据权利要求8所述的系统，其中所述内核K被实现为方差小的高

于

10.根据权利要求8所述的系统，其中所述深度估计器在第一卷积过

程中将所述图像1与所述内核K进行卷积以产生当前卷积图像1，并且其

中所述深度估计器在第一模糊图像匹配过程中将所述当前卷积图像1

述图像2进行比较，所述深度估计器对所述卷积过程执行额外

得第一匹配结果为止。

斯3×3矩阵，并且其中所述高斯化内核被实现为具有方阵的框函数，在

所述方阵中，所有矩阵值都是相同的值，并且所有这些矩阵值的和等

1。

斯化内核。

与所

迭代直至取

11.根据权利要求10所述的系统，其中所述深度估计器利用高斯化内

核对所述第一当前卷积图像1与所述图像2执行所述高斯化过程以产生高

斯图像1和高斯图像2，并且其中所述深度估计器在第二卷积过程中

述高斯图像1与所述内核K进行卷积以产生当前卷积高斯图

将所

像1。

12.根据权利要求11所述的系统，其中所述深度估计器在第二模糊图

像匹配过程中将所述当前卷积高斯图像1与所述高斯图像2进行比较，所

述深度估计器对所述第二卷积过程执行额外迭代直至取得第二匹配结

止，所述深度估计器基于所述额外果为

迭代生成总迭代次数。

13.根据权利要求12所述的系统，其中所述深度估计器利用所述总迭

代次数来为所述深度估计过程生成匹配曲线，所述深度估计器利用所述匹

配曲线来生成与所述拍摄目标相对应的深度值，并且其中所述深度估

执行利用尺寸缩小的高斯化内核对所述碉堡模糊图像的片段进

级高斯化过程。

计器

行处理的多

14.一种用于通过执行以下步骤来执行深度估计过程的方法：

提供传感器设备，所述传感器设备用于捕获拍摄目标的碉堡模糊图

利用深度估计器来执行将所述碉堡模糊图像转换为高斯模糊图像的高

像；以及

斯化过程，所述深度估计器然后利用所述高斯模糊图像来执行所述深度估

计过程。

说 明 书

技术领域

本发明总体涉及用于分析图像数据的技术，并且更具体地，涉及利用

背景技术

实现用于分析图像数据的高效方法对当代电子设备的设计者及制造商

此外，执行各种高级操作的增强的设备能力可以为系统用户提供额外

由于对系统资源的逐渐增长的需求和大幅增加的数据大小，显而易见

发明内容

的，开发用于分析图像数据的新技术是相关电子技术的关注事项。因此，

出于所有前述原因，开发用于分析图像数据的有效系统对当代电子设备的

设计者、制造商及用户来说仍是一项重要的考虑。

的益处，但也可能对各种设备组件的控制及管理提出提高的要求。例如，

由于所涉及的数字数据的大量性和复杂性，有效分析数字图像数据的增强

型电子设备可能会受益于有效的实现方式。

来说是一项重要的考虑。然而，利用电子设备高效地分析图像数据可能给

系统设计者造成了巨大挑战。例如，对提高的设备功能及性能的增强的要

求可能需要更多的系统处理能力并且需要额外的硬件资源。处理或硬件需

求的提高也可因生产成本增加及运行效率低而导致相应的不利经济影响。

散焦碉堡图像（defocused pillbox image）执行深度估计过程的系统及方

法。

根据本发明，公开了通过利用散焦碉堡图像来执行深度估计过程的系

深度估计器或其他合适的实体选择合适的内核K来执行卷积过程。内

接下来，深度估计器计算图像1与图像2之间的匹配误差，然后执行

程以创建新的当前图像1，该新的当前图像1等于与所选内核K进

的前一个图像1。深度估计器计算当前图像1与图像2之间的匹配

卷积过

行卷积

误差，

么过程

核K可以按任何合适的方式来配置。例如，在某些实施例中，内核K可以

被配置为方差小的3×3高斯内核。深度估计器还选择合适的高斯化内核

来执行根据本发明的高斯化过程。高斯化内核可以按任何合适的方式被实

现并利用。例如，高斯化内核可以是高斯函数或具有有限均值和方差的更

一般的模糊函数（blur function）。

统及方法。在一个实施例中，相机首先捕获散焦碉堡图像1。相机的焦距

设置然后被改变。例如，焦距设置可以被调整为使相机的焦距减少一个景

深。相机然后捕获比先前捕获的碉堡图像1更模糊（离焦）的散焦碉堡图

像2。

并确定当前图像1与图像2是否匹配。如果这两个图像不匹配，那

返回来以类似方式执行额外的卷积迭代。

然而，如果图像1与图像2匹配，那么深度估计器通过利用先前选择

化内核对当前图像1与图像2二者执行高斯化过程以将非高斯模糊

换为相应的高斯模糊图像。具体地，深度估计器执行卷积过程以创

当前高斯图像1，该新的当前高斯图像1等于与所选高斯化内核进

的前一个碉堡模糊图像1。另外，深度估计器执行卷积过程以创建

前高斯图像2，该新的当前高斯图像2等于与所选高斯化内核进行

前一个碉堡模糊图像2。

深度估计器然后执行卷积过程以创建新的当前高斯图像1，该新的当

的高斯

图像转

建新的

行卷积

新的当

卷积的

前高斯

图像1等于与所选内核K进行卷积的前一个高斯图像1。深度估计

当前高斯图像1与高斯图像2之间的匹配误差，并确定当前高斯图

高斯图像2是否匹配。如果这两个图像不匹配，那么所述过程返回

额外的迭代。然而，如果当前高斯图像1与高斯图像2匹配，那么

以终止。本发明因此提供了一种通过利用散焦碉堡图像来执行深度

程的改进的系统及方法。

附图说明

图1是根据本发明的相机设备的一个实施例的框图；

图2是根据本发明的图1的捕获子系统的一个实施例的框图；

图3是根据本发明的图1的控制模块的一个实施例的框图；

图4是根据本发明的图3的存储器的一个实施例的框图；

图5是根据本发明的用于捕获散焦模糊图像的一个示例性实施例的示

图6是根据本发明的一个实施例的示例性匹配曲线的曲线图；

图7是根据本发明的一个实施例的模糊图像的示例性高斯模型的曲线

图8是根据本发明的一个实施例的模糊图像的示例性碉堡模型的曲线

图9A-9C是根据本发明的一个实施例的利用碉堡模糊图像执行深度估

器计算

像1与

来执行

过程可

估计过

图；

图；

图；

计过程的方法步骤的流程图；

图10是根据本发明的一个示例性实施例的两个饱和碉堡图像的示

且

图；并

图11是示出了根据本发明的一个示例性实施例的图10的饱和碉堡图

充框技术的示图。

具体实施方式

本发明涉及图像数据分析技术的改进。以下描述被呈现来使本领域的

本发明包括通过利用散焦碉堡图像执行深度估计过程的系统及方法，

现在参照图1，示出了根据本发明的相机设备110的一个实施例的框

图1的实施例中，相机设备110可包括但不限于捕获子系统114、

线116及控制模块118。在图1的实施例中，捕获子系统114可以

耦合至拍摄目标112，并且还可以通过系统总线116被电气耦合至

像的填

普通技术人员能够制造并使用本发明，并且以下描述是在专利申请及其要

求的上下文中提供的。对所公开的实施例的各种修改将容易为本领域的技

术人员所明白，并且本文中的一般原理可被应用于其他实施例。因此，本

发明并非旨在被限于所示的实施例，而是应符合与本文所描述的原理及特

征相一致的最广范围。

并且包括具有用于捕获拍摄目标的碉堡模糊图像的传感器设备的相机设

备。相机利用深度估计器来执行将碉堡模糊图像转换为相应的高斯模糊图

像的高斯化过程。高斯化过程是通过将碉堡模糊图像与高斯化内核进行卷

积以生成相应的高斯模糊图像来执行的。深度估计器然后利用高斯模糊图

像来有效地执行深度估计过程。

图。在

系统总

被光学

控制模

块118。

在替代实施例中，相机设备110可容易地包括除结合图1的实施例进

的那些组件之外的或代替那些组件的各种其他组件。另外，在某些

中，本发明可作为替代在任何适当类型的电子设备中被实施，而不

1的相机设备110中被实施。例如，相机设备110可作为替代被实

像设备、计算机设备或消费电子设备。

在图1的实施例中，一旦相机110的捕获子系统114被自动对焦在目

上，相机用户就可以请求相机设备110捕获与目标112相对应的图

控制模块118然后可以优选通过系统总线116指示捕获子系统

目标112的图像数据。所捕获的图像数据然后可以通过系统

递给控制模块118，控制模块118可以作为响应而利用图像

行讨论

实施例

是在图

现为成

标112

像数据。

114捕获表示

总线116被传

数据执行各种

模块118之间处理及功能。系统总线116还可以在捕获子系统114与控制

双向地传递各种状态和控制信号。

现在参照图2，示出了根据本发明的图1的捕获子系统114的一个实

框图。在图2的实施例中，捕获子系统114优选地包括但不限于快

镜头220、图像传感器224、红色、绿色和蓝色（R/G/B）放大器

施例的

门218、

228、

114可

那些组

模数（A/D）转换器230及接口232。在替代实施例中，捕获子系统

容易地包括除结合图2的实施例进行讨论的那些组件之外的或代替

件的各种其他组件。

在图2的实施例中，捕获子系统114可通过沿着光路236射入到图像

224的反射光来捕获与目标112相对应的图像数据。可优选地包括

传感器

电荷耦

的一组

230及

合器件（CCD）的图像传感器224可作为响应而生成表示目标112

图像数据。图像数据然后可以被路由通过放大器228、A/D转换器

接口232。图像数据从接口232通过系统总线116传递至控制模块

118，以便进行适当的处理和存储。其他类型的图像捕获传感

CMOS或线性阵列，也被设想用于结合本发明来捕获图像数

的使用及功能在下文中结合图3-11被进一步讨论。

器，比如

据。相机110

现在参照图3，示出了根据本发明的图1的控制模块118的一个实施

图。在图3的实施例中，控制模块118优选地包括但不限于取景器

中央处理单元（CPU）344、存储器346及一个或多个输入/输出接口

348。取景器308、CPU 344、存储器346及I/O 348优选地各自耦

共系统总线116并且通过公共系统总线116与捕捉子系统114通

例的框

308、

（I/O）

合到公

信，其

控制模

的或代

中公共系统总线116也与捕获子系统114通信。在替代实施例中，

块118可容易地包括除结合图3的实施例进行讨论的那些组件之外

替那些组件的各种其他组件。

在图3的实施例中，CPU 344可以被实现为包括任何合适的微处理器

作为替代，CPU 344可以利用任何其他合适的技术来实现。例如，

现在参照图4，示出了根据本发明的图3的存储器346的一个实施例

在图4的实施例中，存储器346可包括但不限于相机应用412、

设备。

CPU 344可以被实现为包括某些专用集成电路（ASIC）或其他合适的电子

设备。存储器346可以被实现为一个或多个合适的存储设备，这些存储设

备包括但不限于只读存储器、随机存取存储器及各种类型的非易失性存储

器，比如软盘设备、硬盘设备或闪存。I/O 348可提供一个或多个有效接口

以便在相机设备110与任何外部实体之间进行双向通信，该外部实体包括

系统用户或其他电子设备。I/O 348可利用任何合适的输入和/或输出设备

来实现。控制模块118的操作及使用在下文中结合图4-图11被进一步讨

论。

的框图。

操作系

模块

4的实

统414、深度估计器416、图像数据418、估计数据420、自动对焦

422及杂项信息424。在替代实施例中，存储器346可包括除结合图

施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。

在图4的实施例中，相机应用412可包括程序指令，这些程序指令优

CPU 344（图3）执行以便执行相机设备110的各种功能及操作。

用412的具体性质及功能优选地取决于诸如相应的相机设备110的

类型及特定用途等因素而变化。

在图4的实施例中，操作系统414优选地控制并协调相机设备110的

能。根据本发明，深度估计器416可以控制并协调深度估计过程以

机110中的自动对焦特征。在图4的实施例中，图像数据418可包

机设备110捕获的拍摄目标112的一个或多个图像。估计数据420

用于执行深度估计过程的任何类型的信息或数据。在图4的实施例

动对焦模块422可利用深度估计过程的结果对相机设备110执行自

过程。杂项信息424包括用于相机110的操作的任何其他合适的信

于深度估计器416的操作的更多细节在下文中结合图5-图11被进

论。

现在参照图5，示出了根据本发明的用于捕获散焦模糊图像518的一

性实施例的示图。图5的实施例被提出用于说明目的，并且在替代

中，本发明可以利用各种其他配置及元件来捕获散焦模糊图像

在图5的实施例中，相机110的传感器224（参见图2）可捕获拍摄

场景112的散焦模糊图像518以用于执行深度估计过程。散焦模糊

518可以通过将镜头220调整到除正确的对焦镜头位置之外的位置而

该正确的对焦镜头位置取决于目标112、镜头220及传感器224

位置。

选地被

相机应

低级功

促进相

括由相

可包括

中，自

动对焦

息。关

一步讨

个示例

实施例

518。

目标或

图像

被创建，

的相对

在一个实施例中，可以将两个不同的散焦模糊图像518进行比较以得

估计。可以针对两个模糊图像518来计算模糊差异（blur

到深度

difference），

的斜率和该模

的散焦模糊图

这两个模糊图像518的彼此相离一个景深。已知的匹配曲线

糊差异可以被用来确定给定目标112的深度。用于深度估计

像的生成及使用在下文中结合图6-图11被进一步讨论。

现在参照图6，示出了根据本发明的一个实施例的示例性匹配曲线

614的

发明可

数之外

图。图6的实施例被提出用于说明目的，并且在替代实施例中，本

以被实现为利用具有除结合图6的实施例进行讨论的那些配置及参

的或代替那些配置及参数的配置及参数的匹配曲线。

在某些实施例中，模糊图像1和更加散焦的模糊图像2可以被捕获，

更清晰的图像1可以与高斯内核（例如，方差小的3×3高斯矩

卷积以产生卷积图像1。将卷积图像1与模糊图像2进行比较。

重复直至这两个模糊图像匹配为止。然后可以针对景深（或一

深）的增量中的图像数量）对迭代次数进行绘图以产生模糊匹

模糊匹配曲线可以被用来估计从任何离焦（out-of-focus）位置

focus）位置的距离。有关前述深度估计技术的更多细节在Li

8,045,046号美国专利中被进一步讨论，该美国专利在此通过

文。

阵）进行

该过程被

个DOF（景

配曲线，该

到对焦（in-

等人的第

引用被并入本

现在参照图7，示出了根据本发明的一个实施例的模糊图像518（图

示例性高斯模型718的曲线图。图7的实施例被提出用于说明目

5）的

的，并

论的那且在替代实施例中，本发明可利用具有除结合图7的实施例进行讨

些元件及配置之外的元件及配置的高斯模型。

在图7的实施例中，亮度被表示在纵轴上，像素被表示在横轴上。在

曲线图中，高斯模型718显示出典型的钟形曲线形状。然而，不是

图7的

所有模

糊图像518都通过利用高斯模型718来最佳地表示。取决于拍摄目

景的图像特性，某些非高斯模型可能更有效。非高斯模型的一个示

文中被结合图8-图11进一步讨论。

现在参照图8，示出了根据本发明的一个实施例的模糊图像518的示

堡模型的曲线图。图8的实施例被提出用于说明目的，并且在替代

中，本发明可利用具有除结合图8的实施例进行讨论的元件及配置

元件及配置的碉堡模型。

在图8的实施例中，亮度被表示在纵轴上，像素被表示在横轴上。在

曲线图中，碉堡模型818显示出典型的锐缘形状（sharp-edged

决于拍摄目标或场景的图像特性，某些非高斯模型，如碉堡模

可能更有效。例如，碉堡模型818对包括很明亮的光源（比如蜡

黑夜场景来说可能会更好。

然而，上文所讨论的某些深度估计技术在结合碉堡模糊图像使用时无

高斯化过程可以按任何有效方式来执行。例如，碉堡模糊图像可以与

在某些实施例中，高斯化内核可以被实现为具有方阵（square

函数（box function），其中在该方阵中，所有矩阵值都是相

所有这些矩阵值的和等于1。高斯化内核还可以被实现为二

标或场

例在下

例性碉

实施例

之外的

图8的

shape）。取

型818，

烛）的

法满意地执行。根据本发明，高斯化过程由此被利用，以有利地将碉堡模

糊图像转换为然后可被成功用于深度估计过程的高斯格式，如上所述。

高斯化内核（Gaussianization kernel）进行卷积以产生高斯化模糊图像。高

斯化内核可以按任何合适的方式来实现和利用。例如，高斯化内核可以是

高斯函数或者具有有限均值和方差的更一般的模糊函数。

matrix）的框

同的值，并且

维均一框函数

（uniform box function），该二维均一框函数可以根据以下

为两个一维函数的张量积（tensor product）：

公式而被表示

其中m和n为像素坐标，并且其中M和N为内核矩阵的各个维度。在一

现在参照图9A-9C，示出了根据本发明的一个实施例的用于利用碉堡

行深度估计过程的方法步骤的流程图。图9A-9C的实施例被提出用

目的，并且在替代实施例中，本发明可容易地利用除结合图9A-9C

例进行讨论的那些步骤及顺序之外的各种步骤及顺序。

在图9A的实施例中，在步骤914中，相机110捕获散焦碉堡图像1。

在步骤926中，深度估计器416或其他合适的实体选择合适的内核K

卷积过程。内核K可以按任何合适的方式来配置。例如，在某些实

内核K可以被配置为方差较小的3×3高斯内核。在步骤926

器416还选择合适的高斯化内核来执行根据本发明的高斯化

过程。

来执行

施例中，

在步骤918中，相机110的焦距设置被改变。例如，在图9A的实施例

中，焦距设置可以被调整为使相机110的焦距减少一个景深。在步骤922

中，相机110捕获比先前捕获的碉堡图像1更模糊（离焦）的散焦碉堡图

像2。

图像执

于说明

的实施

个替代实施例中，可以利用多级高斯化来提高效率。例如，可以利用较小

的高斯化内核在较小片段中执行高斯化过程。该技术可提高不需要大量高

斯化的图像的计算速度。有关高斯化过程的更多细节在下文中结合图9A-

图11被进一步讨论。

中，深度估计

如上所述，高斯化内核可以按任何合适的方式被实现并利用。例如，

高斯化内核可以是高斯函数或者具有有限均值及方差的更一般的模糊函

数。在步骤928中，深度估计器416计算图像1与图像2之间的匹配误

差，并且在步骤930中，深度估计器416确定图像是否匹配。如果图像匹

配，那么图9A-9C的过程可以终止。然而，如果图像不匹配，那么图9A

的过程通过连接字母“A”进入图9B的步骤932。

在步骤932中，深度估计器416执行卷积过程以创建新的当前图像

新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤

深度估计器416计算当前图像1与图像2之间的匹配误差。在步

中，深度估计器416确定当前图像1与图像2是否匹配。如果这两

不匹配，那么图9A-9C的过程返回步骤932以执行额外的迭代。

然而，如果在步骤938中图像1与图像2匹配，那么在步骤942中，

计器416通过利用先前选择的高斯化内核对当前图像1与图像2二

高斯化过程，以将非高斯模糊图像转换为相应的高斯模糊图像。具

深度估计器416执行卷积过程以创建等于与所选高斯化内核进行卷

一个图像1的新的当前图像1。另外，深度估计器416执行卷积过

建等于与所选高斯化内核进行卷积的前一个图像2的新的当前图像

图9B的实施例中，高斯化内核可以利用小的方差值来实现。图9B

然后通过连接字母“B”进入图9C的步骤946。

在步骤946中，深度估计器416执行卷积过程以创建新的当前图像

新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤

深度估计器416计算当前图像1与当前图像2之间的匹配误差。

954中，深度估计器416确定当前图像1与当前图像2是否匹配。

两个图像不匹配，那么图9A-9C的过程返回步骤946以执行额外的

然而，如果在步骤954中图像1与图像2匹配，那么在步骤958

1，该

934中，

骤938

个图像

深度估

者执行

体地，

积的前

程以创

2。在

的过程

1，该

950中，

在步骤

如果这

迭代。

中，深

度估计器416确定在前述步骤946中执行了多少次卷积。如果存在

卷积，那么图9C的过程通过连接字母“C”返回图9B的步骤942

一个或多个额外的高斯化过程。然而，如果存在零卷积，那么图

非零次

以执行

9A-9C的过程可以终止。图像1与图像2之间的模糊差异然后

932及946中执行的与内核K的卷积总数给出。本发明因此提

用碉堡模糊图像来执行深度估计过程的改进的系统及方法。

由具有在

供了通过利

现在参照图10，示出了根据本发明的一个实施例的两个饱和碉堡图像

在图10的实施例中，第一碉堡图像1014（例如，图9A-9C的图像

第二碉堡图像1018（例如，图9A-9C的图像2）的波形被示出为重

由于图像1014更对焦，因此其波形形状比图像1018的波形更窄更

而，与其他类型的模糊图像一样，碉堡模糊图像应保留相同量的能

亮度。

在图10的实施例中，因为碉堡图像都超过了饱和阈值水平1022，所

图像被裁剪/是饱和的。如果碉堡模糊图像是饱和的/被裁剪，那么

以碉堡

两个图

模糊匹

和碉堡

匹配技

施例在

1）及

叠的。

高。然

量/总

1014及1018的示图。图10的实施例被提出用于说明目的，并且在替代实

施例中，本发明可利用具有除结合图10的实施例进行讨论的元件及配置

之外的元件及配置的碉堡图像。

片的总亮度之间存在差异。一般而言，因为总亮度未被保留，所以

配技术（如在图9A-9C中所讨论的高斯化过程）不能很好地用于饱

模糊图像。因此，根据本发明的某些实施例，可以在执行任何模糊

术之前利用填充框技术（fillbox technique）。一个这样的填充框实

下文中结合图11被进一步讨论。

现在参照图11，示出了根据本发明的一个实施例的示出用于处理图

10的

饱和碉堡图像的填充框技术的示图。图11的实施例被提出用于说明

并且在替代实施例中，本发明可利用具有除结合图11的实施例进

的元件、步骤及配置之外的元件、步骤及配置的填充框技术。

在图11的示图的左侧，因为碉堡图像1018及1014(a)都超过了饱和阈

在图11的实施例中，深度估计器416（图4）或其他合适的实体首先

个图片1014(a)及1018中的饱和碉堡的总亮度。深度估计器416确

个图片1014(a)及1018之间的总亮度的差。然后针对总亮度较小的

糊图像1014(a)，深度估计器将总亮度的平均差加到碉堡图像1014(a)

饱和像素，以产生均衡图像1014(b)。这种填充框技术可以被表征

小的碉堡图像1014(a)进行填充直至这两个图像的大小/总亮度相等

目的，

行讨论

值水平1022，所以碉堡图像1018及1014(a)被裁剪/是饱和的。如果碉堡模

糊图像是饱和的/被裁剪，那么两个图片的总亮度之间存在差异。由于图像

1014(a)更高，因此该图像的更多量度被饱和阈值1022去除。如在图11的

示图的右侧所示，可以有利地利用填充框过程通过使图像1014(a)的亮度增

大亮度填充量1030从而产生新的均衡图像1014(b)来使图像1018及1014(a)

的各自亮度总量均衡（equalize）。

计算每

定这两

碉堡模

的每个

为对较

为止。

1014(b)

论的高

在完成前述填充框过程之后，深度估计器416可以将碉堡模糊图像

及1018看作未饱和的碉堡，并且可以利用上文结合图9A-9C所讨

斯化过程执行模糊匹配。

在上文中已参照某些实施例说明了本发明。鉴于本公开，其他实施例

对本领域的技术人员来说将是显而易见的。例如，本发明可以容易地利用

除在上述实施例中描述的配置及技术之外的配置及技术来实现。另外，本

发明可以结合除上述的系统之外的系统被有效地使用。因此，对所讨论的

实施例进行的这些及其他变更旨在被本发明所涵盖，本发明仅受所附权利

要求的限制。

本申请与2011年12月1日提交的题为“Depth Estimation From Two

Defocused Images Under Various Lighting Conditions”的第61/565,790号美

国临时专利申请相关并要求其优先权。前述相关申请被共同转让并通过引

用被并入本文。