瞬间搜索海量数据

编者按：

2004年9月，《每周电脑报》受中国轻工业联合会、中国轻工业企业信息化领导小组的委托，进行了《全国轻工业企业信息化调查》，结果表明几乎所有的企业都认为目前信息化建设的问题是：“数据信息利用不充分，大量的数据仅以物理状态被简单地存储着。同时由于无法实现海量数据的高效搜索，使得这些数据无法为企业的发展提供决策支持。”其实，这种情形，不仅在轻工行业存在，在其它行业、企业也同样存在。那么，如何打破海量数据搜索的瓶颈，如何让数据成为企业决策的支持已经成为信息化建设的重点。

瞬间搜索海量数据

目前不少行业的数据量已经发展成与业务应用相关的海量数据（MASS DATA），在国土资源、空间气象、生物制药、医学影像等领域尤其明显。例如，我国国家测绘局的全国1：25万地形数据库达4.5Gb；覆盖全国的TM（Thematic Mapper，专题制图仪）影像数据达135Gb。另据IDC的研究显示，数字内容几乎每18个月翻两倍。而Jupiter Research的报告也认为数据信息至少以每6~8个月增长一倍的速率急增。因此，今天信息化的重点已经不再是办公自动化和企业内部网的搭建了，而是利用海量数据帮助企业进行决策支持。

数据“变革”要经历三个阶段

为了让数据焕发出强大的力量，成为企业决策的支持，企业信息化的数据“变革”通常要经历三个阶段。

第一阶段：海量数据的存储——现在完成时

数据中蕴藏着企业的财富，但由于数据的增长太快，因此首先要解决的是海量数据的存储问题。这种存储是企业信息化的基础架构，更多地定位在硬件方面。随着数据量的激增，客观上逼迫企业必须实施海量存储的解决方案，因此这个阶段很多企业已经完成，或者正在实施。本报曾经在2004年8月的一期《产品&应用》热点中组织了题为：《网络存储“平民化”》的专题报道，集中分析了这第一个阶段的发展。

第二阶段：海量数据的搜索——现在进行时

面对蕴藏着企业财富的海量数据，如何才能快速、高效地找到我们需要的那些“金子”呢？现在看来，海量数据的搜索已经成为制约信息化进一步深化的瓶颈。

也许有人会说，具有一定信息化程度的企业都有自己的数据库，而利用数据库都可以实现查询。这就引出了一个“时间成本”的问题。当数据量达到一定级别，查询条件达到一定数量，同时有多人查询时，从一个数据库中要找到自己需要的数据通常就会花费较长的时间，如果每天有大量时间花在数据库的搜索上，那就将造成高额的时间成本。而如果要提高数据库的查询速度，就必需对数据库进行大量的索引配置并对硬件进行大幅度升级，这样又会造成设备成本的提高。因此，从应用的角度看，迫切需要一些新技术来解决海量数据的快速搜索问题。

第三阶段：商业智能（BI，Business Intelligence），包括数据的整合/分析/决策支持——将来时

在实现了海量存储和搜索之后，我们已经能够快速地找到所需要的多项结果了，但如何把这些有用的结果整合起来，并加以分析和提炼，最终形成一个支持企业业务发展的决策呢？这就是第三个阶段要完成的任务，我们通常也把这个阶段称为商业智能阶段。这个阶段才是真正让信息焕发出强大的力量，成为企业发展的决策支持的阶段。当然，这个阶段的到来必需以前两个阶段为基础，尤其是要依靠海量数据的高效搜索。

通过上述分析可知：如果不能突破海量数据搜索这一障碍，未来商业智能的实现只能是一句空话。

海量搜索将最先在哪些行业展开

一般来说，海量数据的搜索将首先在信息化开展较早、较好的行业和企业中实现，因为，只有这些行业和企业的数据才够海量，才会遇到降低搜索时间成本的问题。同时，为了实现商业智能，客观上也迫使行业企业必需尽快实现海量搜索。提到信息化积累较好的行业，应首推金融、证券、电信等行业，海量搜索固然在这些行业有广阔的前景，但也正是由于这些行业的信息化建设较早，因而推行海量搜索的新技术也会有一定难度，主要表现在新技术与旧架构间的整合，甚至是碰撞问题。相反地，在另外一些新兴的信息化领域，海量搜索的技术将有更大的生机，在数字图书馆、生物制药业、医学影像等行业将有广泛的前景。在这些行业一方面信息化的需求急迫，另一方面信息化的旧有桎梏也较少，因而容易推广海量数据的搜索技术。

如何推广海量搜索技术

从我国企业目前的信息化现状，特别是数据应用的状况来看，海量搜索已经是信息化进一步深入的瓶颈，也是未来商业智能发展的入门关。那么如何推动海量搜索技术的应用和发展呢？显然这不只是少数厂商的事情，已经不是能靠少数厂商销售他们的软件、硬件能解决的问题了，用户的参与和认可已经成为必需。

其实，要推广海量搜索技术，我们可以参考信息技术发展史上其它重要技术的推广和普及方式，比如：开放源代码。开放源代码之所以能迅速普及很重要的原因要归功于开放源代码协会。这是一个第三方的中立机构，它的宗旨就是推动和普及开放源代码的应用，帮助更多用户认识、使用开放源代码技术。

有鉴于此，我们认为：要推动商业智能及其相关技术的发展，应该成立数据应用联盟。这个联盟可以由厂商、用户和技术专家共同组成。它具有承上启下的作用，上承数据应用的第二阶段，即海量搜索阶段，同时下启数据应用的第三阶段，即商业智能阶段，它扮演着信息化数据应用领域的引领者和推动者。利用这个联盟机构，可以让更多的行业用户和企业用户了解海量搜索技术，了解数据中蕴涵的力量。

实现海量搜索必需突破的四个难点

1、不能干扰和破坏企业现有的数据结构和常规业务流程。

2、必须实现多约束条件、多数据源、多数据格式、多人同时的高效搜索。

3、必须实现对硬件成本的良好控制。

4、简化相关开发和性能优化过程。

什么是海量数据（MASS DATA）？

简单地说：海量数据是指巨大的、浩瀚的数据。随着信息化程度的提高，数据已超出它原始的范畴，它包含各种空间数据、文字、声音、图像、超文本等信息。现在，在许多行业中都需要操作海量数据，如水利系统，气象系统，测绘系统，这些部门至少拥有数十Gb的数据。

什么是商业智能（BI，Business Intelligence）？企业界认为：商业智能是指一种能力，通过智能地使用企业的数据财产来制定更好的商务决策。各种企业的决策人员以企业中的数据仓库（Data Warehouse）为本，经由各式各样的查询分析工具（Query/Report Tools）、联机分析处理（OLAP）工具、或是数据挖掘（Data Mining）工具加上决策规划人员的行业知识（Industry Knowledge），从数据仓库中获得有利的信息，进而帮助企业获利，提高生产力与竞争力。

学术界的观点是：商业智能实际上是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合，其主要目标是将企业所掌握的信息转换成竞争优势，提高企业决策能力、决策效率、决策准确性。

显然，学术界对BI的定义更加宽泛，这同时也给了BI厂商以更多的发挥空间。