信息化企业的大数据转型之路

信息化企业的大数据转型之路

**问：**行业用户在数据管理方面都面临哪些问题？

**作者：**虽然每个行业的前端应用不一样，但在数据管理上都面临类似的问题。首先，随着行业信息化建设完善及智能设备的普遍使用，出现了大量“图片”、“视频”、“传感”等多结构化数据，如果采用以往的技术难以进行分析处理，亟需一个数据平台来整合处理大量结构化和非结构化数据；其次，用户的业务基础数据复用率越来越高，但数据缺乏有效的统一规划管理，系统间数据联系不紧密，数据互通效率较低；再次，用户多年积累的历史数据较多，但由于缺少数据挖掘与分析工具，数据的有效利用率不充分，无法对行业决策和专业应用做到有效的数据支撑。

基于以上问题，用户的诉求也很明确：建立统一的数据管理平台，解决数据孤岛现象，实现数据的共享交换，激活数据价值。

**问：**你们在解决上述问题过程遇到最大的挑战是什么？

**作者：**如何“激活数据价值”是我们面临最大的挑战。因为用户也不清楚处理好的数据应该怎么用、要产生什么价值。通过前期的服务，我们对用户的业务底层资源已经非常熟悉，但还是需要我们再次深入用户实际业务，通过梳理和研究帮助用户共同寻找数据价值。

问：在您的实践过程有没有找到应对“激活数据价值”这一挑战的有效方法？

**作者：**不盲目进行系统建设，先做咨询应该是比较可行的方法。我一直认为行业大数据建设不仅仅是系统集成项目也不仅仅是软件开发项目，它首先是一个咨询项目。前期要开展详细的调研，了解用户的数据结构和业务逻辑，帮助用户做好大数据建设规划，和用户达成分步实施共识，有耐心的一步步来才有可能发现规律、产生预测，真正帮助用户实现数据价值。

**问：**那么在实施过程中又面临哪些难题呢？

**作者：**首先，用户是有惯性思维的，而且用户的想法很现实，他们的投资一定要看到效果。你讲大数据技术如何炫、模型算法有多难都是没用的，用户就是要看到价值、得到结果。所以有时候用户只看前端的可视化展现，不重视底层平台和数据交换建设。不得已我们要先做个前端Demo，用户觉得不错再开始从底层一步步来做大数据。所以，做行业大数据要做好打“持久战”的准备。

其次如何实施，一定要结合用户真实需求。我们做的首先是咨询，全面了解用户数据、深入刨析用户业务、耐心做好用户培训、详细做好规划设计。咨询的成果就是为用户出具大数据系统设计及建设方案，同时与用户达成建设共识，仅咨询一项就要耗费数月甚至更长时间。按照建设方案，第一步是建设基础数据平台完成数据集成和清洗，建立数据集群，技术上是以Hadoop框架为主。第二步是建立共享交换系统，创建业务模型，使数据产生逻辑依据；创建数据服务总线，使数据互联互通。第三步是做数据可视化，包括报表统计、多维分析、决策支持和数据应用服务。第四步是贯穿始终的运维服务，包括数据维护、模型优化、系统升级等。在实施过程中我们注重保护用户既有投资，同时保证数据安全也是我们重点考虑的。

再者，落地数据应用服务。这是用户最关心的，也是我们最着重做的工作，同时这也是大数据建设的出发点和落脚点。我们在实际项目中，本着“循序渐进，由易至难”的原则，从大处着眼，从小处着手，随着数据量归集的增加和数据种类的增多，根据实际需要一步步来实现数据应用。

我们现在做的行业大数据主要以系统业务数据为基础，建成面向业务层的统一数据管理平台，通过业务数据抽取整合，实现数据共享交换，利用大数据处理方式提炼形成数据分析模型，为上层业务应用提供数据服务，同时为相关人员提供决策支持，实现业务数据的“可知、可视、可控、可评”。

我举几个做过的行业应用案例：

在农业行业：我们可以实现农业信息“一张图”展现，即基于农业地理信息GIS地图，直观查询展现各地各产区的土壤墒情、重点农作物指标、农产品价格行情、病虫害监测预警信息；定期发布农业信息数据报告，包括针对性的数据成果报告和定期数据简报；通过农产品动态变化趋势及市场预测，指导精细农业生产。

在铁路交通行业：我们针对铁路运行的基础设备，通过建立分析模型，预测线路基础设施状态变化趋势和演变规律，建立有效的预警机制，提供监测结果展现和智能化诊断预测，可有效评价设备运行及维护状态，实现设备运行状态查询及变化预测、设备病害预警及分析、运行安全监测及预判、自动化建立维护及大修计划等。

**问：**你认为做行业信息化应用和做行业大数据，在商业模式上有什么不同？

**作者：**商业模式上确实有非常大的区别，行业信息化应用还是以系统集成和软件开发为主，主要还是项目制。而行业大数据就像我刚才提到的，它的周期很长，除了咨询、实施外，后期的运维非常重要。比如：用户业务的变化会带来逻辑的变换、数据种类和数据量的增加会带来模型的不断训练优化、随着数据挖掘的深入会出现更多的数据价值点，这些后续工作由谁来做？初始的大数据建设方最合适也最适合。那么再以项目制的方式来做行业大数据已经不适合，商业模式也必须要转型。

我一直认为：海量数据是大的数据、数据有了价值才是大数据，大数据获益的最终途径一定是数据服务。同样，数据的价值变现方式也就是行业大数据的商业模式，那么它一定是服务制，即从项目集成转型为运营服务。

**问：**你们在大数据转型过程中有些什么经验可以和我们分享一下？

**作者：**我们的转型之路既有经验也有教训，但更多的是思考。信息化公司转型大数据要面临数据思维、技术重构、人员配备、业务模式等多方面的转型：

首先，要转型先要回答一个问题：我们要用大数据为用户解决什么问题，能为他们带来什么价值？这个问题想明白了就立即去做，想不明白再去想。

其次，转型前要全面分析自身的优势和劣势，并想办法弥补短板。一般来讲，大数据专业人才对信息化公司来讲是一个天生的短板。他们可能不缺软件研发和系统实施人员，但相对于大数据专业技术（Hadoop、ETL、Spark、算法）来讲人才匮乏。另外要做行业大数据，不仅需要IT技术人才，还需要行业内的业务专家，只有技术和业务结合起来才能做好行业大数据。关于人才，除了引进合作和自我培养外没有好的办法，这才是基础工程，要舍得投入，并且要做好提前储备。

再次，就是数据。数据是个很现实的存在，不管你看到还是看不到，数据就在那。没有谁能指定哪些数据是热的，哪些是冷的，只是我们有没有能力把它变热。A与B之间的关系、A与C之间的逻辑，他们的相关性到底是怎样的。这些都需要我们去探寻，这也就是模型的重要性，但要通过模型做出准确的预测，就需要我们在数据归集上做的再全一些、数据种类上获取的再多一些、业务理解上再深一些。当然，数据也分内部数据和外部数据。我们在利用行业内部数据初步建模后，同样要引入外部数据做验证训练和不断优化。

最后，就是耐心。数据是时间沉淀下来的，同样要剖析数据也需要时间。对于行业大数据建设更应如此，建议涉及行业不宜过多，因为每个行业的数据质量、业务逻辑、数据价值点各不相同，没有一个成熟模型是可以完全跨行业使用的。这需要我们能够耐得住寂寞不急于求成，扎扎实实的把一个行业做透，待到拨开数据迷雾的那刻，或许就是转型成功之时。

作者：张保国 山东麦港数据系统有限公司总经理。中国计算机学会专业会员、农业大数据产业技术创新战略联盟理事，资深IT技术运营专家。