[科普中国]-视频图像处理系统

发展及现状

图像处理的发展依赖于计算机的应用和发展，它是计算机应用领域中非常活跃的一部分，所以有时图像处理和计算机图像处理是等同的。图像处理系统的发展极其迅速，最主要是因为计算机的超高速发展，此外，半导体器件的快速发展也加快了图像处理系统的发展速度。同时，越来越多的人开始从事图像处理的研究工作，理论研究的发展又反过来推动了图像处理系统的发展。至今，图像处理系统的发展势头依然非常强劲。

图像处理系统分为通用图像处理系统和专用图像处理系统两大类。通用图像处理系统是以计算机为基础，如微机，小型机，工作站，大型机等;专用图像处理系统是指最终用户使用的系统，它是随着嵌入式应用而产生和发展起来的，通常是以ASIC ( Application Specific Integrated Circuit，专用集成电路)，DSP ( DigitalSignal Processing，数字信号处理)，FPGA等硬件为基础，这种系统无需二次开发。目前，随着多媒体技术和半导体技术的不断发展，采用嵌入式图像处理系统逐渐成为主流。嵌入式图像处理系统主要是采用专用处理芯片的硬件解决方案，数字信号处理器DSP或现场可编程逻辑门阵列FPGA。

目前，可编程逻辑器件的发展速度特别快，FPGA的容量己超过百万门级，而且在FPGA上可以实现SOPC。FPGA主要有以下优点：可重复，编程系统级升级方便易行;速度和容量稳步提高，系统内部的软件和硬件可以根据需要灵活配置，此外，很多厂家还提供许多通用的IP核，使设计变得相当的模块化，在短时间内就能够设计出复杂的系统。软硬件设计可以在同一个平台下进行，可以方便的实现系统功能。上边种种原因，使现场可编程门阵列FPGA成为解决图像处理系统的重要首选方案之一。1

处理技术传统的视频图像处理技术主要用PC机来做实时图像处理，由于PC机的结构是基于冯诺依曼的复杂指令计算机，本质上是顺序执行指令，不能实现并行处理，故实时性很差；用DSP专用芯片来做实时图像处理，由于其采用数据与程序空间相分离的哈佛结构，可以实现一定的并行处理和复杂算法，但无法实现一些更为复杂的逻辑运算和高速处理；随着半导体工艺的不断进步，FPGA不仅价格低廉，而且性能也显著提升，同时硬件资源集成度高，可编程逻辑单元容量大，速度较PC机和DSP芯片快，开发周期也大大缩短，还可实现SOPC(片上可编程系统)，越来越多地被运用到视频图像处理技术中。2

典型视频图像处理系统典型的视频处理系统使用一个微处理器来控制一个视频流水线，该视频流水线包括一个视频源和宿，一个用于存储视频数据的大型存储器，和一个视频算法函数，实现些算法处理功能。如图所示。3

视频图像数据的特点是数据量大，计算量大，非常耗费时间。在视频图像处理系统中，一般采用PC机的CPU用于对图像数据作运算或处理。由于PC机是基于冯·诺依曼架构的，本质上是顺序执行的。对于大数据量的图像处理，处理速度慢，实时性不好。

随着数字融合的进一步发展，系统的设计和实现需要更大的灵活性，以解决将完全不同标准和要求的产品，集成为同类产品时引发的诸多问题。人们迫切要求实现高速图像处理系统的新思路。大规模现场可编程门阵列FPGA是当今应用极为广泛的方法，使用FPGA作为视频图像处理平台可以充分利用硬件上的并行性，从本质上改善图像处理的速度，使对大数据量的图像处理达到实时性。

分类视频图像处理系统以其种类和综合特点来说可以分为基于PC的视频图像处理系统和基于DSP或FPGA的图像处理系统。

基于PC的视频图像处理系统
基于PC的视频图像处理系统是架构在基于冯·诺依曼架构计算机平台上的，应用广泛且适用性强。一般情况下，由视频采集卡完成视频图像的采集，视频采集卡以PCI接口与PC机相连。视频信号进入PC机后，由架构于操作系统之上的软件负责图像的处理和显示。PC机的内存和硬盘则用于存储图像数据。随着视频采集卡性能的提升和计算机处理能力的提高，越来越多的基于PC的多媒体开发技术得以在PC上实现如Direct X系列，同时更多丰富的应用也在不断的涌现。基于PC的视频图像处理系统大致经过了以下几个发展阶段：

第一阶段大体上是20世纪60年代末到80年代中期，主要以体积较大，功能强大，价格也比较昂贵的机箱式的图像计算机以及图像分析系统为主。主要的代表产品有美国和英国的一些公司推出的各种图像计算机以及图像分析系统。

第二阶段是从80年代中期到90年代初期，主要以小型化的插卡式系统为主。通过把采集卡插到计算机内，即可和计算机构成图像采集系统。这个时期主流机型都采用PC，计算机总线采用ISA总线。视频采集卡大都是采用大规模集成电路或是专用集成电路。

第三阶段是从90年代初开始，这个阶段的系统结构并没有发生变化仍是采用插卡式。随着PCI总线技术的成熟，因为其性能的优越性而采用PCI总线的产品逐步取代采用ISA总线接口的产品。国内为都出现了很多相关产品，本文采用的Decklink的非线性编辑卡就是其中的佼佼者。该类产品的特点是：视频采集卡采用PCI总线与PC相连，在Windows操作系统上运用相关多媒体技术平台，开发视频图像处理软件。

基于DSP或FPGA的视频图像处理系统
伴随着数字信号处理器(DSP)和现场可编程门阵列(FPGA)芯片集成度，运算性能的迅猛提高，大规模集成电路和专用集成电路的造价大幅度降低，这些芯片成为脱机图像系统的主流处理器。在DSP技术发展较早的国家如美国TI公司在DSP市场上的主导地位使得TI公司的视频图像处理平台一直在世界上处于领先地位。国内的DSP技术虽然起步较晚，但近些年发展很快。90年代末就有相当应用水平的产品出现。

采用DSP芯片如TI的DSP系列来构建处理系统是运用其数学运算单元(MAC)，同时在硬件上配备不同等级的流水结构和哈佛结构来实现高速实时的数字信号处理。但由于固定的硬件结构，流水线等级以及编程指令集的差异性使得DSP在开发过程中仍存在一些缺陷。

采用可编程逻辑器件FPGA来构建处理系统相比DSP就显得较为灵活。因为其较好的逻辑器件的基础，可以用来定制各种专用电路，摆脱了专用芯片的束缚。开发人员在开发过程中可以灵活的使用其强大的逻辑资源和寄存器资源来实现自己的设计理念。同时，FPGA拥有比DSP更为强大的计算速度，并行执行硬件的方式可以应对大量的高速电子线路的设计需求。随着半导体工艺的进步加速了FPGA成本的降低，并使其性能显著提高，进一步缩短设计周期，减少了开发成本。

从目前的发展现状来看，在没有特殊限制的场合中，通用的视频图像处理系统的构建仍然以计算机+视频采集开为主流配置，主要是因为视频采集卡和计算机硬件性能的不断提升以及PCI总线的高速吞吐能力。专用的视频图像处理系统将主要构建于大规模集成电路之上，主要代表仍然是DSP和FPGA平台。随着半导体技术的迅速发展，专用的视频图像处理系统的开发与应用将会发展到更加细分更高的水平。

应用(1)航天航空方面。主要运用在太空成像、飞机遥感和卫星遥感技术中。这些图像无论是在成像、存储、传输过程中，还是在判读分析中，都必须采用图像处理方法。现在世界各国都在利用卫星所获取的图像进行资源调查，灾害检测，资源勘察，农业规划和城市规划等。在气象预报和对太空其它星球研究方面，图像处理技术也发挥了相当大的作用。

(2)生物医学工程方面。主要用于CT技术和对医用显微图像的处理分析，如红细胞、白细胞分类，染色体分析，癌细胞识别等。此外，在X光肺部图像增晰、超声波图像处理、心电图分析、立体定向放射治疗等医学诊断方面都有广泛的应用。

(3)通信工程方面。主要用于声音、文字、图像和数据结合的多媒体通信，具体地讲是将电话、电视和计算机以三网合一的方式在数字通信网上传输。其中以图像通信最为复杂和困难，因图像的传输数据量十分巨大，要高速率地将数据实时传送出去，必须采用图像处理技术中的编码技术来压缩信息的比特量。

(4)工业工程方面。主要用于如自动装配线中检测零件的质量、并对零件进行分类，印刷电路板疵病检查，弹性力学照片的应力分析，流体力学图片的阻力和升力分析，邮政信件的自动分拣，在一些有毒、放射性环境内识别工件及物体的形状和排列状态，工业视觉等。还有智能机器人的研发。

(5)军事公安方面。主要用于导弹的精确制导，各种侦察照片的判读，具有图像传输、存储和显示的军事自动化指挥系统，飞机、坦克和军舰模拟训练系统等；公安业务图片的判读分析，指纹识别，人脸鉴别，不完整图片的复原，以及交通监控、事故分析等。目前己投入运行的高速公路不停车自动收费系统中的车辆和车牌的自动识别都是图像处理技术成功应用的例子。