第七章运动视觉 7.1概述 72视觉运动的检测和测量 72.1以灰度为基础的方法 (1)速度场和光流 (2)光流 (3)光流的估算 722基于过零点的方法 7.23基于特征的运动检测方法 73运动理解 731基于光流的运动理解 732基于特征的运动理解 7.3.3根据图象流动力学恢复表面结构和三维运动 734基于光流的代数法恢复运动参数和景物深度k96 71概述|7 付运动的分析在生理系统中占中心位置。甚至在简单的动物身上都存在着复杂的观 察、跟踪和利用运动的功能。例如,青蛙可以有效地探测小飞虫。这样的动物可有选择地 对在视场中运动着的小的、深色的物体进行跟踪。家蝇可以跟踪运动物体和发现目标跟背 景之间的相对运动,甚至当物体与背景在纹理上相同,因此如果没有相对运动是区分不开 的情况下也是这样的。 在高等动物包括灵长目动物中,运动的分析从早期视觉处理阶段开始就渗透到视觉系 统中。某些生物,例如鸽子和免子在视网膜的水平上完成基本运动分析。在其他动物,包 括猫和灵长目动物,视觉皮层中从眼睛接受输入的第一个神经里已经涉及到运动的分析: 这些神经对沿某一方向运动的刺激反应很灵敏,但对沿相反方向的运动却反应很小,或根 本不反应。 运动视觉在生理系统中占主要地位不令人奇怪的,因为运动揭示了关于环境的有价值 的信息。本章的研究任务是根据运动发现结构和解释由运动所产生的光流场。对生理系统 运动视觉的研究将有助于时变图象的计算机分析算法的研究。 反之,对时变图象解释的研究可以深化对一般原理的理解,这些理解可增进我们对生 理视觉系统的理解。时变图象分析的基本计算问题可分成两大类:运动的检测和测量,以 及视觉运动的解释 711运动探测和测量 图象中基元和区域的运动不是直接给出的,而是必须根据基本量测来计算得到。由眼 睛或由电子成象系统记录的时变图象可描述为随时间变化的亮度值E(x,y,1)的二维阵 列。图象中的运动可用速度场V(x,y,)来表示。V(x,y,)给出某一时刻t,在图象中 (x,y)处点的运动速度和方向。E(x,y,1)是由原始的测量直接得到的,而(x,y,)不是 这样。因此,分析运动中的第一个问题是根据E(x,y,)计算(x,y,)。这些计算是视觉 运动的量测。 在某些情况下,只要检测速度场V(x,y,1)的某些特性就足够了,而不要完全和精确 的量测。例如,当希望迅速地对运动物体作出响应时,在这种情况下必须检测运动,但不 需要测量 但是,从这里讨论问题的分类来说这两个问题都重要。当研究深入时,这些问题将被 证明比原来所预计的更为困难。因此,对有效和可靠的测量方法的研究是对时变图象分析 方面的重要研究邻域。 130
130 第七章 运动视觉 7.1 概述 7.2 视觉运动的检测和测量 7.2.1 以灰度为基础的方法 (1) 速度场和光流 (2) 光流 (3) 光流的估算 7.2.2 基于过零点的方法 7.2.3 基于特征的运动检测方法 7.3 运动理解 7.3.1 基于光流的运动理解 7.3.2 基于特征的运动理解 7.3.3 根据图象流动力学恢复表面结构和三维运动 7.3.4 基于光流的代数法恢复运动参数和景物深度[Tek 96] 7.1 概述[Ull 79] 对运动的分析在生理系统中占中心位置。甚至在简单的动物身上都存在着复杂的观 察、跟踪和利用运动的功能。例如，青蛙可以有效地探测小飞虫。这样的动物可有选择地 对在视场中运动着的小的、深色的物体进行跟踪。家蝇可以跟踪运动物体和发现目标跟背 景之间的相对运动，甚至当物体与背景在纹理上相同，因此如果没有相对运动是区分不开 的情况下也是这样的。 在高等动物包括灵长目动物中，运动的分析从早期视觉处理阶段开始就渗透到视觉系 统中。某些生物，例如鸽子和免子在视网膜的水平上完成基本运动分析。在其他动物，包 括猫和灵长目动物，视觉皮层中从眼睛接受输入的第一个神经里已经涉及到运动的分析： 这些神经对沿某一方向运动的刺激反应很灵敏，但对沿相反方向的运动却反应很小，或根 本不反应。 运动视觉在生理系统中占主要地位不令人奇怪的，因为运动揭示了关于环境的有价值 的信息。本章的研究任务是根据运动发现结构和解释由运动所产生的光流场。对生理系统 运动视觉的研究将有助于时变图象的计算机分析算法的研究。 反之，对时变图象解释的研究可以深化对一般原理的理解，这些理解可增进我们对生 理视觉系统的理解。时变图象分析的基本计算问题可分成两大类：运动的检测和测量，以 及视觉运动的解释。 7.1.1 运动探测和测量 图象中基元和区域的运动不是直接给出的，而是必须根据基本量测来计算得到。由眼 睛或由电子成象系统记录的时变图象可描述为随时间变化的亮度值 E(x, y, t) 的二维阵 列。图象中的运动可用速度场 V(x, y, t) 来表示。 V(x, y, t) 给出某一时刻 t ，在图象中 (x, y) 处点的运动速度和方向。 E(x, y, t) 是由原始的测量直接得到的，而 V(x, y, t) 不是 这样。因此，分析运动中的第一个问题是根据 E(x, y, t) 计算 V(x, y, t) 。这些计算是视觉 运动的量测。 在某些情况下，只要检测速度场 V(x, y, t) 的某些特性就足够了，而不要完全和精确 的量测。例如，当希望迅速地对运动物体作出响应时，在这种情况下必须检测运动，但不 需要测量。 但是，从这里讨论问题的分类来说这两个问题都重要。当研究深入时，这些问题将被 证明比原来所预计的更为困难。因此，对有效和可靠的测量方法的研究是对时变图象分析 方面的重要研究邻域
1.离散和连续运动 对由人类视觉系统进行的运动检测和测量的心理学研究确定了两种类型的运动:离散 的和连续的。对感觉运动的观察者来说,刺激物不一定要连续地移过视场。选择合适的空 间和时间显示参数,可以给出对顺序刺激的平滑、不中断运动的印象。视觉系统可以填补 离散显示之间的间隙,甚至当刺激物相隔几度视觉角,和长的时间间隔(400ms)也是这 样。所得到的运动,叫做表观的( apparant)或β运动,从感觉来说跟连续运动无法区分 此外填入的位置可为以后的处理,例如立体视觉所利用。表观运动机理在人类和低等运动 物中都是天生的 表观运动现象引起了离散和连续运动是由相同的还是由分别的机理所记录的问题。视 觉系统可以记录两种类型运动的事实不一定意味着分别的实现机理,因为从原理上来说 个记录离散运动的系统可以记录连续运动。最近的心理物理学方面的证据支持存在两种机 理。 Braddick即4提出把这两种机理叫做短范围和长范围( short range and long range) 短范围机理测量连续运动或大约15弧分(在视场中心)( minute of are)和小于大约60~ 00msec时间间隔的离散运动。长范围机理处理比较大的位移和时间间隔。这样的术语比 用离散/连续这样的分类法更好些,因为大到15分的视觉弧度跳变的离散显示是由短范围 机理来处理的 这样的两个系统之间存在着比它们的范围差别更为基本的差别。它们似乎是根据不同 的运动基元,在不同处理阶段进行各自的运动量测。在量测运动中,对这两种主要的处理 方案进行区别是有益的。在最低层,运动量测是直接以灰度值的局部变化为基础,这称为 以灰度为基础的方案。另外还有一种可能是首先识别象边缘、线、斑点或区域这样的特 征,然后通过在时间和位置的变化范围内匹配这些特征来进行检测,这种类型的方案被称 为标记匹配方案( token-matching schemes)。在人类视觉系统中,似乎短范围过程是以灰 度为基础的方案,长范围过程是标记匹配方案。 这两种运动检测和测量方式将产生不同的计算问题,并且随之在生理系统和计算机视 觉系统中产生不同种类的过程 2.以灰度为基础的方案 已经提出了几种在生理系统中的以灰度为基础的运动测量方案。这些方案可分成两个 主要类型:相关技术和梯度方法。 (1)相关方案 通过把在两个相邻位置处光增量检测器的输出作比较可构成简单的运动检测器。在位 置p1和时间4的输出跟位置P2在时间t-δt的输出相比较。这种方法称为延迟比较方 案,该方案的两种变种已经提出来作为生理系统的模型。按第一种模型,生理系统把两个 值相乘,也即D(P,0),D(P2,【-61),其中D表示为单元( subunit)的输出(图71)。 如果一个光点由P2点在时间δt内移到P,这样在P2点处造成光线增加的δt时间后,造 成了P1点处光线的增加。因此,上述乘积是正的。在这样的检测器阵列中,平均输出本质 上等于输入的交叉相关( cross-correlation)。这种模型可成功地描述各种昆虫对在它们视 场中的运动所作的反应
131 1. 离散和连续运动 对由人类视觉系统进行的运动检测和测量的心理学研究确定了两种类型的运动：离散 的和连续的。对感觉运动的观察者来说，刺激物不一定要连续地移过视场。选择合适的空 间和时间显示参数，可以给出对顺序刺激的平滑、不中断运动的印象。视觉系统可以填补 离散显示之间的间隙，甚至当刺激物相隔几度视觉角，和长的时间间隔（400ms）也是这 样。所得到的运动，叫做表观的（apperant）或运动，从感觉来说跟连续运动无法区分。 此外填入的位置可为以后的处理，例如立体视觉所利用。表观运动机理在人类和低等运动 物中都是天生的。 表观运动现象引起了离散和连续运动是由相同的还是由分别的机理所记录的问题。视 觉系统可以记录两种类型运动的事实不一定意味着分别的实现机理，因为从原理上来说一 个记录离散运动的系统可以记录连续运动。最近的心理物理学方面的证据支持存在两种机 理。Braddick[Bra 74]提出把这两种机理叫做短范围和长范围（short range and long range）。 短范围机理测量连续运动或大约 15 弧分（在视场中心）（minute of are）和小于大约 60～ 100 msec 时间间隔的离散运动。长范围机理处理比较大的位移和时间间隔。这样的术语比 用离散／连续这样的分类法更好些，因为大到 15 分的视觉弧度跳变的离散显示是由短范围 机理来处理的。 这样的两个系统之间存在着比它们的范围差别更为基本的差别。它们似乎是根据不同 的运动基元，在不同处理阶段进行各自的运动量测。在量测运动中，对这两种主要的处理 方案进行区别是有益的。在最低层，运动量测是直接以灰度值的局部变化为基础，这称为 以灰度为基础的方案。另外还有一种可能是首先识别象边缘、线、斑点或区域这样的特 征，然后通过在时间和位置的变化范围内匹配这些特征来进行检测，这种类型的方案被称 为标记匹配方案（token-matching schemes）。在人类视觉系统中，似乎短范围过程是以灰 度为基础的方案，长范围过程是标记匹配方案。 这两种运动检测和测量方式将产生不同的计算问题，并且随之在生理系统和计算机视 觉系统中产生不同种类的过程。 2. 以灰度为基础的方案 已经提出了几种在生理系统中的以灰度为基础的运动测量方案。这些方案可分成两个 主要类型：相关技术和梯度方法。 (1) 相关方案 通过把在两个相邻位置处光增量检测器的输出作比较可构成简单的运动检测器。在位 置 p1 和时间 t 1 的输出跟位置 p2 在时间 t − t 的输出相比较。这种方法称为延迟比较方 案，该方案的两种变种已经提出来作为生理系统的模型。按第一种模型，生理系统把两个 值相乘，也即 D( p1 , t) D( p2 , t − t) ，其中 D 表示为单元（subunit）的输出（图 7.1）。 如果一个光点由 p2 点在时间 t 内移到 p1 ，这样在 p2 点处造成光线增加的 t 时间后，造 成了 p1 点处光线的增加。因此，上述乘积是正的。在这样的检测器阵列中，平均输出本质 上等于输入的交叉相关（cross-correlation）。这种模型可成功地描述各种昆虫对在它们视 场中的运动所作的反应
P1 delay ANDNo (b) 图7.1延迟比较运动检测方案 R和B是对光点瞬时作出响应的检测器 (a)对以合适的速度向左移动的光点,P1和P2的响应相重合, 在组合单元处产生正的输出;(b)禁止方案,对从P2和P1的运 动不产生响应,因为P2从的延迟响应抵消了来自P1的响应 另一种比较简单的方法是And-Not方法,这是由 Barlow和 Levick针对在兔子视觉皮 层中有方向选择性单元所提出的模型,这也是 Emerse和 Gerstein针对猫的视觉皮层提出的 模型。这些单元被称为方向选择性,因为这些单元对沿所谓的优先方向运动的刺激物的反 应要比对沿相反方向运动的刺激物的反应强烈得多。因为 Barlow和 Levick发现了方向选 择性机理之间固有的相互影响的证据,他们提出一种模型,按这种模型运动检测器计算 D(p1)和D(P21-)“Not”的“And”(图7.1(b)。按这种方案,从p2到p1的运动由 于来自p2的响应被延迟而被禁止,而从p到p2的运动产生一个正的响应。 Torre和 Reichardt对家蝇的视觉系统提出一种相似的方案,按这种方案,用低通时间 滤波代替延迟。Tore和 poggio描述了一种实现这种计算的很巧妙的触突( synaptie mechanism)机理。 延迟比较的某些通用特性值得加以注意。第一,这些检测器不仅有选择地对连续运动 作出响应而且对在P1位置和p2位置之间剌激物的跳跃也作出响应;其次这样的检测器有 一些明显的局限性,例如,运动的速度必须在某个由延迟(或低通滤波)接收器的分离距离决 定的范围之内:最后,单个这种类型的检测器的输出不能可靠地决定运动测量。例如,在 有许多运动物体的视场里,如果在p1点的检测器由一个运动物体所激发,而在P2处的检 测器又由另一个物体所激发,这种类型的运动检测器就会错误动作。为了得到准确可靠的 运动测量,来自这样检测器阵列的输出应被组合在一起 另外的相关技术,例如利用原始灰度值上的交叉相关,已被作为人类视觉系统中的运 动测量模型提出来。 Anstis提一种相减的方法,按这种方法把两帧相继图象移位相减,所 得图象中的减小点就标志偏离( displacement)。一般来说,还没有得到关于生理上实现这 样技术的模型的描述。似乎还没有很有说服力的证据说明在人类视觉系统中存在这样的模 (2)梯度方案( gradient schemes) 最近一种用于生理系统运动检测和量测运动的梯度方案,它被作为单个皮层细胞进行 运动分析的模型。这些在猫和猴子的主要视觉皮层( perennial visual cortex)中发现的细胞 有选择地对边缘和光带( Bar of light)作出响应。这些细胞对方位,并且经常对运动的方 向也是有选择性的。这就是说,要激发这样的单元,刺激物必须具有这种单元所选择的方 位,并且必须沿所选择的方向运动。因此对这种简单细胞的结构和功能的分析揭示了视觉 运动的早期检测和测量的机理。这些机理可被用于计算机视觉系统。为了理解简单细胞的 作用,我们需要粗略地描述视网膜对图象的处理。 3)视网膜对图象的处理
132 p1 p1 p2 p2 (a) (b) X AND No t delay delay 图 7.1 延迟比较运动检测方案 P1和 P2是对光点瞬时作出响应的检测器 (a) 对以合适的速度向左移动的光点， P1 和 P2 的响应相重合， 在组合单元处产生正的输出；(b) 禁止方案，对从 P2和 P1的运 动不产生响应，因为 P2从的延迟响应抵消了来自 P1的响应。 另一种比较简单的方法是 And-Not 方法，这是由 Barlow 和 Levick 针对在兔子视觉皮 层中有方向选择性单元所提出的模型，这也是 Emerso 和 Gerstein 针对猫的视觉皮层提出的 模型。这些单元被称为方向选择性，因为这些单元对沿所谓的优先方向运动的刺激物的反 应要比对沿相反方向运动的刺激物的反应强烈得多。因为 Barlow 和 Levick 发现了方向选 择性机理之间固有的相互影响的证据，他们提出一种模型，按这种模型运动检测器计算 D(p ,t) 1 和 D(p ,t − t) 2 “Not” 的“And”（图 7.1(b)）。按这种方案，从 p2 到 p1 的运动由 于来自 p2 的响应被延迟而被禁止，而从 p1 到 p2 的运动产生一个正的响应。 Torre 和 Reichardt 对家蝇的视觉系统提出一种相似的方案，按这种方案，用低通时间 滤波代替延迟。Torre 和 poggio 描述了一种实现这种计算的很巧妙的触突（synaptie mechanism）机理。 延迟比较的某些通用特性值得加以注意。第一，这些检测器不仅有选择地对连续运动 作出响应,而且对在 p1 位置和 p2 位置之间刺激物的跳跃也作出响应；其次,这样的检测器有 一些明显的局限性，例如,运动的速度必须在某个由延迟(或低通滤波)接收器的分离距离决 定的范围之内；最后，单个这种类型的检测器的输出不能可靠地决定运动测量。例如，在 有许多运动物体的视场里，如果在 p1 点的检测器由一个运动物体所激发，而在 p2 处的检 测器又由另一个物体所激发，这种类型的运动检测器就会错误动作。为了得到准确可靠的 运动测量，来自这样检测器阵列的输出应被组合在一起。 另外的相关技术，例如利用原始灰度值上的交叉相关，已被作为人类视觉系统中的运 动测量模型提出来。Anstis 提一种相减的方法，按这种方法把两帧相继图象移位相减，所 得图象中的减小点就标志偏离（displacement）。一般来说，还没有得到关于生理上实现这 样技术的模型的描述。似乎还没有很有说服力的证据说明在人类视觉系统中存在这样的模 型。 (2) 梯度方案（gradient schemes） 最近一种用于生理系统运动检测和量测运动的梯度方案，它被作为单个皮层细胞进行 运动分析的模型。这些在猫和猴子的主要视觉皮层（perennial visual cortex）中发现的细胞 有选择地对边缘和光带（Bar of light）作出响应。这些细胞对方位，并且经常对运动的方 向也是有选择性的。这就是说，要激发这样的单元，刺激物必须具有这种单元所选择的方 位，并且必须沿所选择的方向运动。因此对这种简单细胞的结构和功能的分析揭示了视觉 运动的早期检测和测量的机理。这些机理可被用于计算机视觉系统。为了理解简单细胞的 作用，我们需要粗略地描述视网膜对图象的处理。 (3) 视网膜对图象的处理
视网膜结构主要完成两个功能。第一个是把进入的光线记录在对光敏感的光接收器阵 列上。第二,所记录的图象完成初始的转换。所转换的图象从最后的视网膜细胞层(神经 节细胞层)沿着大约上百万的神经纤维送到LGN(外侧膝状体),并从LGN送到视觉皮 层。如前所述,视网膜对图象1进行(G*D)运算,G是高斯函数。运算后结果中的过 零点对应于原始图象中灰度急剧变化处,利用附加的子单元可确定过零点的运动。设Z表 示过零点当前的位置。从图72可看到,如果过零点向右运动,在位置Z的卷积值就增 加:如果过零点向左运动,这个值就减小。因此,通过检查卷积对时间的导数的符号就可 以明确地确定运动的方向 图72 按这种方案,运动可由过零点的斜率和时间导数来确定,因此,这是以灰度为基础的 方案,它不要求在时间域上作元素的匹配。在相反方向上的运动是由另外的单元来检测 的。这样的一个关于人类视觉的观点得到心理物理学证据的支持。 利用这种方案,可以将过零点轮廓用于运动量测。然而,由于图73中所示的孔径问 题,以纯粹的局部测量为基础既不可能完全地确定轮廓的运动,也不可能完全地确定任何 其他线性特性。如果是由跟轮廓相比较小的单元来检测运动,可以抽取的唯一信息是垂直 于局部边缘方向的运动分量。沿边缘的运动是感觉不到的。要完全地确定运动,在第二阶 段必须组合局部量测,或者在局部邻域中沿着轮廓检测。 (4)计算机视觉中的以灰度为基础的技术 已经提出了许多用于计算机视觉系统的以灰度为基础的运动检测和测量的方案。其中 个方案是用于测量图象对中运动的灰度交叉相关技术。例如,这种技术可用于根据卫星 图象数据测量云层的运动,以及用于交通控制和用于SLR图象的比较。已提出一种基于比 较小的图象区域上灰度分布的方案。图象相减的方法已被用于运动和变化探测以及用于运 动测量 大多数交叉相关法和相减法的基本问题是这些方法假设图象(或大部分图象)是作为 整体在两帧图象之间运动。包含独立运动物体的图象以及由物体在空间无限制地运动引入 的图象畸变造成了这些技术的困难
133 视网膜结构主要完成两个功能。第一个是把进入的光线记录在对光敏感的光接收器阵 列上。第二，所记录的图象完成初始的转换。所转换的图象从最后的视网膜细胞层（神经 节细胞层）沿着大约上百万的神经纤维送到 LGN（外侧膝状体），并从 LGN 送到视觉皮 层。如前所述，视网膜对图象 I 进行 ( ) d dx G I 2 2 运算， G 是高斯函数。运算后结果中的过 零点对应于原始图象中灰度急剧变化处，利用附加的子单元可确定过零点的运动。设 Z 表 示过零点当前的位置。从图 7.2 可看到，如果过零点向右运动，在位置 Z 的卷积值就增 加；如果过零点向左运动，这个值就减小。因此，通过检查卷积对时间的导数的符号就可 以明确地确定运动的方向。 图 7.2 按这种方案，运动可由过零点的斜率和时间导数来确定，因此，这是以灰度为基础的 方案，它不要求在时间域上作元素的匹配。在相反方向上的运动是由另外的单元来检测 的。这样的一个关于人类视觉的观点得到心理物理学证据的支持。 利用这种方案，可以将过零点轮廓用于运动量测。然而，由于图 7.3 中所示的孔径问 题，以纯粹的局部测量为基础既不可能完全地确定轮廓的运动，也不可能完全地确定任何 其他线性特性。如果是由跟轮廓相比较小的单元来检测运动，可以抽取的唯一信息是垂直 于局部边缘方向的运动分量。沿边缘的运动是感觉不到的。要完全地确定运动，在第二阶 段必须组合局部量测，或者在局部邻域中沿着轮廓检测。 (4) 计算机视觉中的以灰度为基础的技术 已经提出了许多用于计算机视觉系统的以灰度为基础的运动检测和测量的方案。其中 一个方案是用于测量图象对中运动的灰度交叉相关技术。例如，这种技术可用于根据卫星 图象数据测量云层的运动，以及用于交通控制和用于 SLR 图象的比较。已提出一种基于比 较小的图象区域上灰度分布的方案。图象相减的方法已被用于运动和变化探测以及用于运 动测量。 大多数交叉相关法和相减法的基本问题是这些方法假设图象（或大部分图象）是作为 整体在两帧图象之间运动。包含独立运动物体的图象以及由物体在空间无限制地运动引入 的图象畸变造成了这些技术的困难
图73孔径问题 孔径比运动的轮廓小时,不能唯一地确定运动方法,从对孔 径A观察不可能确定边缘是朝B方向还是朝C方向运动。 (5)计算机视觉系统中的梯度方法 这些方法都基于在给定点上的灰度梯度和在这些点当灰度图案运动时引入的灰度随时 间变化之间关系。如果E(x,y)表示图象中的光强,那么 dt =EU+Ev 其中dE/d是在位置(x,y)处灰度随时间的变化;Ex和E,表示在这个图象点的灰度 梯度;u,v是沿x和y方向的局部速度 梯度方法和过零点方法在几个方面是相似的。这两种方法都利用时间变化和图象梯度 去测量在梯度方向上的局部运动。 以灰度为基础的图象速度场计算方法还有一些困难问题有待解决。因为在一般情况下 (无限制的运动,几个物体)图象的不同部分有不同的运动。所以,原先的初始量测是局 部的。这些量测不足以完全确定运动。因此,在稍后的阶段必须将局部测量组合起来。组 合阶段是理解生理系统和构成计算机视觉系统中主要的未被解决的问题 3标记匹配方案 按测量运动的标记匹配方法,首先要确定可识别的基元 标记,然后匹配不同时间的标记。以上所讨论的表观运动 P2 现象( apprent motion phenomena)说明了人类视觉系统有能 力通过匹配在空间和时间上相距相当间隔的标记来建立运动 感觉。在检测相继出现的基元之间的连续运动时,视觉系统 必须建立依次出现的基元之间的对应关系。这就是说,在第 二帧图象中必须找到跟第一帧中的基元相对应的基元的位 置。一个简单的对应问题如图74中所示。图中实心的小圆 表示在第一帧中的,空心小圆表示在第二帧圆的。在这两帧 图中有两种可能的一对一的匹配,这导致两种可能的可感觉 的运动:水平的和对角线的 Q2k 在图7-4中只有两种方式的多义性,在实际中,每帧图 中可包含许多排列成复杂图形的基元,因此必须在它们之间图74对应性问题,P 建立对应关系。对控制人类视觉系统中对应过程的规律已进和P2在第一帧,Q1和Q 行了若干研究,但离完全理解这个问题还很远 在下一帧 当参加运动的基元是一些孤立的点,它们的对应关系主 要由点之间的距离来控制。在其他参数相同的条件下,每个点优先跟下一帧中相距最近的 点匹配
134 C B A E 图 7.3 孔径问题 孔径比运动的轮廓小时，不能唯一地确定运动方法，从对孔 径 A 观察不可能确定边缘是朝 B 方向还是朝 C 方向运动。 (5) 计算机视觉系统中的梯度方法 这些方法都基于在给定点上的灰度梯度和在这些点当灰度图案运动时引入的灰度随时 间变化之间关系。如果 E(x, y) 表示图象中的光强，那么 E u E v dt dE − = x + y 其中 dE dt 是在位置 (x, y) 处灰度随时间的变化； Ex和Ey 表示在这个图象点的灰度 梯度； u, v 是沿 x和y 方向的局部速度。 梯度方法和过零点方法在几个方面是相似的。这两种方法都利用时间变化和图象梯度 去测量在梯度方向上的局部运动。 以灰度为基础的图象速度场计算方法还有一些困难问题有待解决。因为在一般情况下 （无限制的运动，几个物体）图象的不同部分有不同的运动。所以，原先的初始量测是局 部的。这些量测不足以完全确定运动。因此，在稍后的阶段必须将局部测量组合起来。组 合阶段是理解生理系统和构成计算机视觉系统中主要的未被解决的问题。 3. 标记匹配方案 按测量运动的标记匹配方法，首先要确定可识别的基元 —标记，然后匹配不同时间的标记。以上所讨论的表观运动 现象（apperent motion phenomena）说明了人类视觉系统有能 力通过匹配在空间和时间上相距相当间隔的标记来建立运动 感觉。在检测相继出现的基元之间的连续运动时，视觉系统 必须建立依次出现的基元之间的对应关系。这就是说，在第 二帧图象中必须找到跟第一帧中的基元相对应的基元的位 置。一个简单的对应问题如图 7-4 中所示。图中实心的小圆 表示在第一帧中的，空心小圆表示在第二帧圆的。在这两帧 图中有两种可能的一对一的匹配，这导致两种可能的可感觉 的运动：水平的和对角线的。 在图 7-4 中只有两种方式的多义性，在实际中，每帧图 中可包含许多排列成复杂图形的基元，因此必须在它们之间 建立对应关系。对控制人类视觉系统中对应过程的规律已进 行了若干研究，但离完全理解这个问题还很远。 当参加运动的基元是一些孤立的点，它们的对应关系主 要由点之间的距离来控制。在其他参数相同的条件下，每个点优先跟下一帧中相距最近的 点匹配。 图 7-4 对应性问题，P1 和 P2 在第一帧，Q1 和 Q2 在下一帧。 or P2 d Q1 c Q2 P1 Q1 P2 b P1 Q2 a