[科普中国]-计算机辅助分析

计算机辅助信息分析工作框架计算机辅助信息分析框架内容

计算机辅助信息分析系统由数据库、信息分析方法、信息分析软件和信息分析人员四大要素构成。其中，数据库是基础，数据库系统中的数据资源是信息分析的对象；信息分析方法是手段，选择先进、合理、有效的方法是信息分析取得实质性成果的重要条件；信息分析软件是工具，在功能上保证信息分析目标和方法的实现；信息分析人员是主体，决定数据库、方法和软件的建设与选择。

计算机辅助信息分析系统的四个要素是否相互适配，即要素之间的相互结合能否产生协同性，是计算机辅助信息分析系统的整体功能能否大于各个要素功能之和的关键所在。也就是说，对特定的信息分析课题，若数据资料完整准确，方法选择得当，软件工具具有与之相匹配的先进功能，信息分析人员能按照课题要求对这些要素进行有效的整合，并在此基础上进行创新性的研究，则该计算机辅助分析系统就是一个高效能的系统。其中，信息分析人员对其他要素的有效运用、对课题的理解及其所表现出来的智慧在很大程度上决定着信息分析的质量。

计算机辅助信息分析工作流程计算机辅助信息分析工作流程包括5个主要步骤，如右图所示。

1、信息采集

信息采集是按照信息分析课题的需要，遵循一定的程序，采用科学的法，对真实、有价值的信息进行有组织、有计划、有目的的采集的全过程，其目标是系统采集与课题相关的尽可能完整的信息资源。信息采集是信息分析的前提和基础。信息采集有以下5个原则。

①真实性原则。指采集的信息必须反映真实的状况，真实性原则是信息采集的基础。

②完整性原则。信息采集必须按照一定的标准要求，采集反映事物全貌的信息，完整性原则是信息利用的基础。

③及时性原则。信息采集的及时性是指能及时获取所需的信息。及时性原则保证信息采集的时效。

④准确性原则。准确性原则是指采集到的信息与需求的关联程度比较高，采集到的信息的表达准确无误。准确性原则保证信息采集的价值。

⑤广泛性原则。信息采集渠道应是多方面的，内外部信息、Web站点的信息、Internet资源、联机数据库、人际网络等。广泛性原则保证信息采集的整体性。

2、信息有序化组织

对采集到的信息进行有序化的组织，包括两个步骤：数据筛选和鉴别；数据的有序化组织。对所收集的原始数据，首先要进行筛选和鉴别，剔除虚假的、过时的、错误的信息，提高信息的准确性和有效性。一般来说，还需要建立相应的信息评价体系，根据所收集的信息的基本特征或特点，分别置入评价体系进行价值评价，做适度的筛选以利于信息的针对性使用。在筛选与鉴别的基础上，按照某种统一的数据格式，对多文件或多数据库环境中的数据进行合并处理，建立信息分析的专用数据库。

3、分析方法与辅助分析软件的选择

信息分析方法从性质上看，有定性方法、定量方法、拟定量方法；从功能上看，有相关分析方法、预测方法、评估方法、综合分析方法等。方法的选择及其组合应保证信息分析各项目标的实现。辅助分析软件作为一种工具，是为方法功能的实现和课题任务的完成服务的，一般来说，需要综合运用多种分析软件和工具。因此，在建立信息分析专用数据库的情况下，除利用有关软件完成基本的数据的统计、计算和分析之外，还可结合运用联机分析处理软件和数据挖掘工具，相互验证分析结论和有关事实，从而提高信息分析的效率和质量。

4、信息分析

信息分析是整个计算机辅助信息分析流程中的关键步骤。在专用数据库的支持下，利用所选择的软件工具和方法，展开具体的信息分析过程。信息分析要受到目标的支配，无论分析的目标是非常具体的，还是比较抽象的，都应该首先明确分析目标。必要时可建立起相应的假设，一部分假设由信息分析人员自己提出，一部分假设由信息分析工具产生或建立。经过统计、计算、比较分析，验证或证明假设，得出分析结论。

5、结果表达和解释

信息分析的最后需要按用户要求提供信息分析结果，指出分析结果的适用范围和边界等。在决策支持系统中，要按决策者的要求来描述知识，如用挖掘出的知识建立决策树或集成发现的规则到决策支持系统的知识库中；同时要把已描述的知识输入到知识库中，成为知识库的新的构成要素。

计算机辅助信息分析的主要技术20世纪90年代以来，数据仓库（DW）、联机分析处理（OLAP）、数据挖掘（DM）等信息分析处理技术相继问世，为信息分析提供了有效的体系化解决方案，显著提升了信息分析的智能化程度。其中，数据仓库主要用于数据的获取、组织和存储；联机分析处理集中于数据的多维分析和查询；数据挖掘致力于从大量模糊的、随机的数据中提取具有潜在价值的知识。而联机分析处理和数据挖掘既可以作为数据仓库的工具层的组成部分，又可以独立于数据仓库。

数据仓库（DW）数据仓库是适应数据的分析型处理而兴起的一种新的数据存储和组织技术，它在原有各类数据库的基础上，为了满足高层分析和决策的需要，通过分离操作型处理和分析型处理，为人们建立一个单独的分析处理环境。在技术上人们根据其工作过程可将数据仓库的关键技术与内容分为数据抽取与集成、数据存储与管理及数据分析与表现三个基本方面。

1、数据抽取与集成。数据抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统（OLTP）、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互联、复制、增量、转换、调度和监控等方面。经过数据抽取，将形式多样、结构不一致的大量数据清洗、转化、综合后加载到数据仓库中。

2、数据存储和管理。数据仓库组建和运行的关键是数据的存储和管理。其组织管理方式决定了它有别于传统数据库对外部数据的表现形式。一般来说，数据仓库的存储可由大型含有并行组件的关系型数据库系统来完成，也可以使用多维数据库，进行大批量数据分析和复杂处理。

3、数据分析与表现。主要集中在多维分析、数理统计和数据挖掘方面。可利用 OLAP、DM及用户查询与报表工具。随着互联网技术的发展和普遍运用，使得多维分析和数据挖掘领域的工具和产品更加注重提供基于Web前端的联机分析界面，拓展了DW的数据分析与表现形式。1

联机分析处理（OLAP）联机分析处理概念由关系数据库之父E.F.Codd于1993年提出。当时，由于联机事务处理系统（OLTP）已不能满足终端用户对数据库进行查询分析的需要，SQL语句对数据库的简单查询也不能满足用户深入分析的需要，要解决用户决策分析中对关系数据库进行大量的、深层次的计算的问题，需要多维数据库和多维分析技术的支持。联机分析处理遂作为一种具有独特效能的信息分析工具得到迅速发展。

联机分析处理是针对特定问题的联机数据访问与分析，使分析人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解。它的技术核心是 “维”这个概念。“维”是人们观察客观世界的角度，是一种高层次的类型划分。“维”一般包含着层次关系，这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维（dimension），使用户能对不同维上的数据进行比较。OLAP的基本多维分析操作有钻取（roll up和drill down）、切片（slice）、切块（dice）及旋转（piovt）等。

根据综合性数据的组织方式的不同，目前常见的OLAP主要有基于多维数据库的 MOLAP及基于关系数据库的 ROLAP两种。MOLAP是以多维的方式组织和存储数据，ROLAP则利用现有的关系数据库技术来模拟多维数据。在数据仓库应用中，OLAP应用一般是数据仓库应用的前端工具，同时OLAP工具还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。

数据挖掘 （DM）DM是一种从大量的、模糊的和随机的数据中提取、发现隐含于其中的潜在数据模式和有用信息的过程。DM涉及数据统计、模糊理论和人工智能等多种技术，是进行预测性分析的有效工具。用户使用DM工具不必提出确切的问题，只需DM工具通过关联知识的挖掘去智能地定位潜在信息、预测未来的发展趋势和探测未知模式。作为DW工具层的组成部分，OLAP和DM是相辅相成的：OLAP更多地依靠用户输入问题和假设，得出分析结论，DM则自动发现隐藏的数据模式，做出预测和发现未知的事实。因此，可以结合 OLAP和DM验证分析结论，提高信息分析的质量。目前的一个发展趋势是，OLAP和DM出现了相互融合的趋势，以至出现了联机数据挖掘 （OLDM：Online Data Mining）的新概念。

按照IBM的划分，DM的主要分析方法有如下四类：

1、关联分析。即利用关联规则进行数据挖掘。目前人们提出了多种关联规则的挖掘算法，如APRORI、STEM、AIS、DHP等算法。关联分析的目的是挖掘隐藏在数据间的相互关系。

2、序列模式分析。序列模式分析的侧重点在于分析数据间的前后序列关系。序列模式分析描述的问题是：在给定的交易序列数据库中，每个序列是按照交易时间排列的一组交易集，挖掘序列函数作用在这个交易序列数据库上，返回该数据库中出现的高频序列。

3、 分类分析 。设有一个数据库和一组具有不同特征的类别（标记），该数据库中的每一个记录都被赋予一个类别的标记，这样的数据库称为示例数据库或训练集。分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述，或建立分析模型，或挖掘出分类规则，然后用这个分类规则对其他数据库中的记录进行分类。目前已有多种分类分析模型得到应用，其中典型的有线性回归模型、决策树模型、基本规则模型和神经网络模型。

4、聚类分析。即根据一定的规则 （聚类算法）合理地划分记录集合，确定每个记录所在的类别。它所采用的分类规则是由聚类分析工具决定的。聚类分析的方法很多，包括系统聚类法、分解法、加入法、动态聚类法、模糊聚类法、运筹方法等。采用不同的聚类方法，对于相同的记录集合可能有不同的划分结果。聚类分析与分类分析是两种互补的分析方法：一方面分类分析的分类标准可以通过聚类分析不断得到补充；另一方面聚类分析可以直接采用分类算法进行。2

发展趋势计算机辅助信息分析正日益成为信息分析的主流工作模式，显著地提升了信息分析的职业水平，但信息分析界对计算机辅助信息分析理论和应用的研究比较薄弱，这显然不符合计算机辅助信息分析进一步深化和拓展的需要，不符合信息分析在现代信息环境下进行理论更新和职业建构的需要。需要指出的是，计算机辅助信息分析从总的发展方向上来看，虽然越来越智能化，但计算机不可能完全取代人，无论其功能多么强大，最终只能是人的辅助工具。信息分析中人的地位是主导性的，理论框架的形成、对方法和模型的选择，以及根据背景知识和经验理解、解释所得到的数据或结论，这些信息分析中创造性思维的工作部分最终只能由信息分析人员自己完成，这是由信息分析作为一种知识或智能劳动的特点所决定的。