问: 云计算、智慧城市、移动互联网、大数据与物联网已经成为大数据时代的技术特征,实现了人、机器与实物的多维互联互通。对语言的理解一直是大数据深入应用的一道门槛。互联网上的内容很多,可以说是信息泛滥,那么要从网络挖掘内容价值,是不是也有一些条件和要求需要满足?
作者: 是的。网络搜索与挖掘其实就是四步曲: 目标分解,信息收集,分析去噪,情报提炼。据此可以看出,要进行网络搜索与挖掘,也必须具备四个要件。
信息可达——互联网真实记录并可采集抽取到相关的信息,无论深浅,无论真假,无论规模;
群体规模——海量规模确保各类UGC(用户产生的内容)能满足挖掘所需;
目标可解——挖掘目标本身具有可解性,能够进一步分解具体落实;
工具可行——检索工具与分析工具具备可行的计算代价与分析效率。
问: 大数据搜索与挖掘目前在国内有什么实际应用?
作者: 大数据搜索与挖掘目前应用很广泛,它在政府舆情、军事信息战、企业竞争情报、金融征信,个人社交等方面均具有广泛的应用前景。
一个实用案例是中国证监会的网络舆情系统,这是我做的。它会广泛搜集网上各种各样的信息,采集BBS论坛新闻,包括采集微博信息。采完以后进行各种分析提炼,可以发现有什么人在发布虚假信息。
再比如用于地图开发。我们的GPS数据,许多都是由地图厂商那里来的。地图商们总是面临一个问题,某地新盖了一栋楼了,或者搬地方了,或者又多了一家宾馆,等等。地图厂商要获得这些信息,其实是相当耗钱费力的,他们要每天派300辆车在全国各地跑,一直跑一直拍,沿途发现什么地方变化了,或者路断了,就要分析再入库。
用网络搜索和数据挖掘的手段来解决此事就方便许多了。现在是网络时代,例如某地要盖个楼、开家宾馆什么的,一般网上都会有消息发出来,那么就可以用技术手段,从新闻或网友发言中分析挖掘出来。地图商或交管局拿了这个数据,稍微核实一下就能够用来更新自己的数据库。
此外,国内网上的“水军”现在是很厉害的,要炒作什么话题,要把谁捧上去或贬下来,手法多种多样,真是翻手为云覆手为雨。我们就可以通过数据挖掘,辨别出“水军”力量的运作线索。
**问:**按照您的说法,大数据搜索能去除干扰,精准的挖掘出你想要的信息,如果用在搜索领域是否使用户更加快捷方便查询。
**作者:**现在的网络搜索服务一般都是用户输入搜索条件,然后跳出一大堆链接,让你点进去看页面。这种方式既浪费时间工作量又大。给出一些条件,利用大数据搜索挖掘直接给出最终答案是可以实现的。这种技术,在专业领域应用可以,并且我们也已经有了这种案例,这种搜索的专业定位叫“问答式搜索引擎”,但是,在通用搜索的领域不可能全部实现这种服务。因为人的知识,到目前为止,并没有一个有效的方法实现全部的逻辑推理。
**问:**张老师在大数据吧搜索挖掘技术领域深耕10多年了,现在大数据搜索挖掘需要什么样的技术链条呢?
**作者:**这看似简单,其它是一个很复杂的过程,我在此领域不止10年了,从我读大学到现在一直在坚守阵地。要满足应用者对大数据文本的处理需求,需要完整的技术链条包括:网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。
但在大数据文本处理这部分既相对独立,又需要无缝地融合到其它的各类复杂应用系统之中,所以在选择这部分组件的时候看能否兼容各大主流的平台,能否被Java,C/C++,C#, Python,Php, R等各类主流开发语言很好调用其所有功能。
作者:张华平 北京理工大学副教授,博士,研究生导师,知名汉语分词系统ICTCLAS创始人,大数据搜索与挖掘实验室主任,《大数据搜索与挖掘》作者。