上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人。但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了。在1973年，有人将视觉系统套用于机器人控制系统，在这一时期把这一过程称作视觉反馈(visual feedback)。直到1979年，hill和park提出了“视觉伺服”(visual servo)概念。很明显，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制的全过程，所以视觉伺服比视觉反馈能更全面地反映机器人视觉和控制的有关研究内容。

上个世纪80年以来，随着计算机技术和摄像设备的发展，机器人视觉伺服系统的技术问题吸引了众多研究人员的注意。到了90 年代，随着计算机能力的增强和价格下降，以及图像处理硬体和 CCD 摄像机的快速发展，机器视觉系统吸引了众多研究人员的注意。去的几年里，机器人视觉伺服无论是在理论上还是在套用方面都取得了很大进展。在许多学术会议上，视觉伺服技术经常列为会议的一个专题。视觉伺服已逐渐发展为跨机器人、自动控制和图像处理等技术领域的一门独立技术。

最早基于视觉的机器人系统, 採用的是静态look and move 形式。即先由视觉系统採集图像并进行相应处理， 然后通过计算估计目标的位置来控制机器人运动。这种操作精度直接与视觉感测器、机械手及控制器的性能有关，这使得机器人很难跟蹤运动物体。到80年代，计算机及图像处理硬体得到发展，使得视觉信息可用于连续反馈，于是人们提出了基于视觉的伺服( v isual servoing ) 控制形式。这种方式可以克服模型( 包括机器人、视觉系统、环境) 中存在的不确定性，提高视觉定位或跟蹤的精度。

目前，机器人视觉伺服控制系统有以下几种分类方式：

●按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统

●按照摄像机放置位置的不同，可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)

●按照机器人的空间位置或图像特徵，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统

视觉伺服所面临的主要问题

视觉伺服的研究到目前已有近20年的历史，但是由于视觉伺服所涉及的学科众多，所以其发展有赖于这些学科的发展，目前在视觉伺服的研究中仍然有很多问题没有很好地解决。

●图像处理的方法在理论和实际计算处理速度上都是图像伺服最大的难点；

●在图像处理完成后，图像特徵与机器人关节运动之间模型的建立是图像伺服的另一难点；

●目前的许多控制方法都不能保证系统在工作时是大範围稳定的，所以对有关控制方法的研究也是必要的。

视觉伺服的性能依赖于控制迴路中所用的图像特徵。特徵包括几何特徵和非几何特徵，机械手视觉伺服中常见的是採用几何特徵。早期视觉伺服中用到的多是简单的局部几何特徵，如点、线、圆圈、矩形、区域面积等以及它们的组合特徵，其中点特徵套用最多。局部特徵虽然得到了广泛套用，而且在特徵选取恰当的情况下可以实现精确定位，但当特徵超出视域时则很难做出準确的操作。特别是对于真实世界中的物体，其形状、纹理、遮挡情况、噪声、光照条件等都会影响特徵的可见性。所以单独利用局部特徵会影响机器人可操作的任务範围。近来有人在视觉控制中利用全局的图像特徵，如特徵向量，几何矩，图像到直线上的投影，随机变换, Fourier描述子等。全局特徵可以避免局部特徵超出视域所带来的问题, 也不需要在参考特徵与观察特徵之间进行匹配，适用範围较广，但定位精度比用局部特徵低。总之，特徵的选取没有通用的方法，必须针对任务、环境、系统的软硬体性能，在时间、複杂性和系统的稳定性之间进行权衡。

值得提出的是, 伺服控制用的特徵与图像识别用的特徵，其选择指标有一定的差别。从图像识别角度看，特徵应具有鲁棒性和唯一性；但是从伺服的观点看，特徵又必须对物体姿态的变化具有敏感性，即如果物体的位置和姿态发生变化，图像的特徵必须变化。另一方面特徵必须可控，即通过一系列的控制行为能够得到所选择的图像特徵。

机器人视觉应在以下几个方面进一步加强研究：

1) 图像特徵的选择问题。视觉伺服的性能密切依赖于所用的图像特徵，特徵的选择不仅要考虑识别的指标，还要考虑控制指标。从控制的观点看，用冗余特徵可抑制噪声的影响，提高视觉伺服的性能，但又会给图像处理增加难度。因此如何选择性能最优的特徵，如何处理特徵以及如何评价特徵，都是需要进一步研究的问题。针对任务有时可能需要从一套特徵切换到另一套，可以考虑把全局特徵与局部特徵结合起来。

2) 结合计算机视觉及图像处理的研究成果，建立机器人视觉系统的专用软体库。在视觉伺服中，需要进行图像採集、图像处理、特徵抽取及由二维信息重构三维信息等，要处理的数据量较大，算法複杂多样。如果有这样的软体平台，在进行视觉伺服任务时，就可以少走弯路。当然更希望生产出性能价格比较高的相关硬体。

3) 加强系统的动态性能研究。目前的研究多集中于根据图像信息确定期望的机器人运动这一环节上，而对整个视觉伺服系统的动态性能缺乏研究。

4) 利用智慧型技术的成果。虽然神经网路在机器人视觉伺服中已得到套用，但多数都是针对具体物体的具体特徵，或只进行了仿真实验，还有待于进一步的研究。考虑到人类看到并拿起某个物体时，事先并没有在数字上準确计算物体的位置，而是通过不断地观察、判断和推理，其中包含学习和模糊推理的内容，由此可以考虑用模糊神经技术解决机器人视觉伺服问题。

5) 利用主动视觉的成果。主动视觉是当今计算机视觉和机器视觉研究领域中的一个热门课题。它强调的是视觉系统与其所处环境之间的互动作用能力，因而有可能使被动感知方式下一些病态问题转化为良态问题，使非线性问题转化为线性问题。

6) 多感测器融合问题。视觉感测器具有一定的使用範围, 如能有效地结合其它感测器，利用它们之间性能互补的优势，便可以消除不确定性, 取得更加可靠、準确的结果。