各位观众大家好！随着互联网、物联网，特别是移动互联网的迅猛发展，一个以信息爆炸为主要特征的大数据时代正在来临，这对于维护社会治安为主要职能的公安机关而言，既是一场挑战，更是一场机遇，公安机关如何在打击违法犯罪、维护社会治安稳定，和服务群众中，依托大数据来提升工作效能，推动警务机制变革，我们和多家省、市公安机关进行了合作，进行了一些有益的尝试，这些工作主要体现在三个方面，预警、预知和预测。

首先我来说说预警，何为预警？预警就是公安机关能够及时对影响社会治安的各类因素进行提前的警示或者警告，防患于未然，预防或者避免违法犯罪行为的发生。其实在以往的信息化运用过程中，预警在公安机关的使用已经比较成熟，特别我举个例子，对于逃犯的这个预警，只要在逃人员在我们的各类登记系统，譬如说旅馆登记、乘车、乘飞机，相关系统立刻就能根据身份证号码来进行这个比对预警提示，但是这些以往的做法都是在小数据的背景下的应用。简单，而且比较容易被犯罪分子规避，那么大数据背景下的预警它是怎么回事呢？

我们首先来看一个案例。大家都知道，我们已经逐步进入了一个车能国家，路网现在越来越发达，车辆也越来越多，越来越多的犯罪分子违法作案，也开始搭上了汽车这个载体，犯罪分子开车作案，最好是开没有牌照的车，但是大家都知道我们现在整个推动警力上路，路面的警力越来越密集，对于没有挂牌的车子查控的越来越严厉，那么这些犯罪分子只好退而求其次，他怎么办呢，他就是挂假牌，其中挂假牌有一个比较突出的常用的伎俩就是套牌，特别是两台车，同一个品牌，同一个颜色挂同一个牌照，那我们大数据背景下的套牌车的排查模型这个就应运而生了，我们2011年就开始在探索的一个项目，在这个项目中我们的目标很清楚，在12个亿的电子警察抓拍数据中，找出套牌的车辆，这个和以往的数据挖掘方法也是一样的，对于大数据的处理的基本原则，也是以业务规则为核心，以数据资源为基础，以运算能力为支撑，因此我们也是按照这个三步来进行工作的。

那我们第一个要做的什么呢？就是要搞清业务规则，我们的这个规则是在较短的一个时间内，同一车牌不可能被不同路口的电子警察设备抓拍到，这其中涉及到三个变量。一个是时间，一个是车牌，还有一个是我们电子警察的这个地理位置。我们跟交管部门专业的交警部门进行了一系列的业务研究之后，基本确定下了这么一个规则，在5分钟之内如果距离大于十公里的两个电子警察设备，同时抓拍到了一个车牌，那这个车牌可能就是套牌了，或者说套牌的概率已经非常非常大了，因为它不可能会开得这么快。我们第二步就来组织数据，如果面对的是百万级的或者千万级的数据，那我们用常规的办法，关系型的数据库就可以把它解决掉了，但是在我们这个案例中遇到的数据是什么呢，是上亿的数据，我们在2011年的时候有12个亿的数据，三年的电子警察抓拍的数据的和，因为我们在2011年左右，一个中等城市的电子警察的规模一天抓拍量大概在1000万到1200万这个概率，然后我们三年大概汇聚了12个亿。因此这个实例，我们这个案例处理的一个技术架构，我们在技术上讲的就是一个HADOOP，加上一个关系型数据库数据，用HADOOP来处理上亿的数据，然后预处理之后，用关系型数据库，传统的关系型数据库来进行小数据的处理。第二个数据是电子警察的地理位置，这个数据其实我们很好获取，因为我们全国公安机关都建设了一个叫Police GIS警用地理信息系统，在警用地理信息系统上，我们每一个路口的电子警察都标明了位置，因为它在地理信息系统上标明了位置，所以我们很容易判断这两个或者多个电子警察之间的距离，因为只要有坐标，记录了经纬度，那我就很容易计算。

还有一个很重要的因素是什么呢？时间，时间我们不是用来去采集的，我经常说这个时间我们是用来校准的，因为所有的信息化设备它都会有时间这个一个基础的要素，但是我们往往很多的这个设备上的时间不同步，用我们专业的话讲叫统一授时，就是所有的电子警察必须要在同一个时间上统一授时。好了，有了这三个数据，那我们就可以来进行计算了。当然这个具体的计算过程我在这儿也不详细说了，也是一个非常典型的HADOOP的MAP-REDUCE的一个计算框架，由MAP来分发数据，由REDUCE来汇总数据，最后来得到我们的结果。我们第一次是有十台很普通的PC服务器搭建了一个HADOOP集群，我们第一次运行就从12亿的车辆抓拍数据里面获取了394辆疑似的套牌车。很多人认为，你看你已经抓到394辆套牌车了，可以了，工作已经完成了，是不是这样的，其实不是这样的，我跟大家讲，套牌车抓到了这辆，我知道了这个套牌车的这个车牌不一定在我警务工作中最后能解决问题，我解决的问题是什么，要找到这辆车，抓到这个坐在车上的人。好了，那我们所以说这个案例大数据应用我们前面才进行了一半，用我们的专业讲法前面是叫针对离线数据，离线的大规模数据进行一个挖掘分析，后面我们要用到什么呢，后面我们要用到大数据的实时计算模式，我们要实时计算，因为这个车辆的查控时效性非常强，车辆在路面上跑，耽误一分钟它可能就经过了两三个路口，每一个路口它就又会有三个指向，所以时间越短，这辆嫌疑车辆，或者说我们的套牌车辆它逃窜掉的概率它就越小，所以我们在技术处理上采取了一个什么呢，叫KS的架构，K就是我们现在开源的叫Kafka，分布式的一个消息订阅系统。第二个就是我们Storm 大名鼎鼎的这个流式计算的框架Storm。具体是怎么来干的呢这个事情，就是在生产端，比如说A线区吧，将数据输入到Kafka的这个消息队列中去，然后在消费端，譬如说另外一个线区，我们姑且叫B线区，B区，接收到队列中的数据，然后把它扔给Storm的计算框架来进行流式的比较分析处理，最终将实时的可疑的车牌比对出来，第一时间发送到我们路面的交警、巡警的移动终端上，这样这个应用才会服务实战，才有生命力。当然我们还可以将这个结果数据作为一个新的源头数据，再次通过这个Kafka把它流到各个生产库里去，进行一个再比对，一旦发现有新的轨迹可以把它调出来进行综合研判分析，这种比对的实效要大大地优于传统的布控系统，我们说这是一种真正的实时查控。

另外，在自然宣传防范上，大数据的预警也在逐步让我们的老百姓，让社会公众尝到甜头，我们可以先看一个视频。

吴女士是怎么知道这个幕后大数据应用的工作原理呢？吴女士如果知道了幕后大数据运用的原理，她就不会再惊讶了，因为按照我们公安消防部门的群租房这么一个主题应用，我们构建了一个水电煤气的一个专题库，也就是说我们居民家里的用水、用电、用煤气我们都进行了动态的记录，这些符合大数据特征的动态数据，最后我们把它整合起来通过模型的比对，我们就会知道这个房子，这个出租房它的用水、用电、用气的量大大地大于一般居民户的用水、用电、用气的量，很容易就推断出它是多人居住的一个群租房，那么我们相关的应用系统就可以立即发出预警指令，以短信、微信等方式，包括一些上门宣传，推送给我们的社区民警，我们的治安网格员，包括我们的房屋出租户的租赁户主，提醒他们做好检查监督和其他的安全防范工作，类似于这种针对性的安全防范案例还很多，我们把它称为大数据背景下的精准投放，主要原理多数也是基本类同的，就是通过大数据的运用，开展人物的刻画，给不同的用户贴上不同的属性标签，对汇聚了某一类或者某几类属性的标签的人群推断其的身份，推断其的行为，然后有针对性的开展安全防范工作，譬如说我们对经常夜间网吧上网人员我们进行一系列的安全预警，对残疾人，对我们的旅馆、网吧在高峰时段我们进行预警，还有譬如我们消防部门的易自燃的机动车，包括电瓶车是在夏季非常容易自燃，我们有针对性的对车子进行刻画，然后推出预警，包括还有假日期间我们针对学生家长的一些安全预警，这是第一个方面，大数据背景下的预警。

第二是大数据背景下的预知。如果说预警还是针对个体、个案的大数据应用，那预知就是对事物发展规律的一种总结性的应用。我们先来看一个小故事，似乎这个故事跟我今天要讲的这个公共安全大数据没什么关系，但是它从中也能看出很多的道理来，大家看到的这是一本很普通的书，这本书叫The Cuckoo's Calling《布谷鸟的呼唤》。2013年4月这本小说在英国上市了，大家可以看到作者是谁呢，上面写的是罗伯特，作者自我介绍他也是一名前警察，前便衣警察，然后2003年退役进入私人保安行业，写下了这本书，这本书发行三个多月也没有卖出什么东西，几乎因为别人也不知道这个罗伯特到底是谁，也不是一个很著名的作家嘛，这本书在整个英国的零售书商只卖出了400多本，然后在全球知名的网上书店亚马逊英国站上面排名，排名排到了五千多位，也就是说基本上无人问津，书商们、书评商们最多对他的评价说文笔还不错，故事也写的很吸引人，但是不那么特殊，之前还有出版社拒绝出版这本书。然而在一夜之间，一个消息改变了一切，在亚马逊网站上这本书迅速地攀升到了畅销书的前几位，为什么会这样的呢，因为有了一个消息，这个消息说，这个男性的作者罗伯特其实是一个匿名者，真正写的是谁呢，是一个女性，不单单是一个女性，还是一个写过七集哈利·波特，并以此书成为历史上第一位靠写作收入超过10亿美元的女作家J.K.罗琳。我们知道，以罗琳的知名度，和在写作上的成功，她的小说攀升到这么比较靠前的位置根本不算什么，对不对，并不稀奇，但是这里面有两个很有趣的问题。

第一个，J.K.罗琳她为什么要隐姓埋名，以一个男人的身份来发表一个新作品。第二个更关键，我们是怎么知道，罗琳就是真正的作者呢，对于第一个问题我想也并不难理解，作为一个从不名一文的小写手开始写起，最终到写作上非常非常成功地成为一个大文豪，大作家，经济上更是叫前无古人的这么一个作家，继续写作的动力可能也不是太大了，所以重新开始对于她来说可能是一种乐趣，所以她在最后被揭露之后，她才说，这个东西也不是我透露的，她说我一直希望这个秘密能够保持的更久一些，因为作为罗伯特来发表这个文章是一种更自由的体验，以另外一个名字发表，没有任何期望值和吹嘘，是如此地美妙，你看一个大作家她这么说。但是第二个问题，到底是谁发现了这本书《布谷鸟的呼唤》，就是J.K.罗琳写的呢？这个才是我讲的重点，是谁呢，是大数据的技术，恰恰是大数据破译了这个秘密，我们英国的两位计算机语言学家使用了大数据的分析方法，对《布谷鸟的呼唤》还有另外的两本书，大家应该都很熟悉的两本书，《临时空缺》和《哈利波特和死亡圣器》进行了科学的比对，一种大数据方法的比对，那这种比对是怎么比对呢，我们可以简单地看一下，他用了这么几种大数据比对的方法，第一种在每本书里对比所有的词组或者相连续的短语集，大家知道这是一个很大的数据量的一个比对了。第二个通过一种叫N-gram的算法，作为一个语言模型，来分析用词或者字符的序列关系。其实我们很多作家，包括我们很多普通人在写作，或者在说话的时候，他都是有自己的行为习惯的，只是你自己可能不太清楚这种习惯，这里面可以做一个语言模型，来进行分析你的序列关系，一般你先喜欢写什么，再喜欢写什么，一般写了这个字的之后，后面一个字是什么？第三，对每本书中使用最频繁的一百个词进行了比较，对比出他们出现频率的这个细微差别。第四，来分析词的长度，排除词意的因素。最后一个，也是一个比较关键的，叫主成份分析，对比每本书中的六个特点：单词长度、句子长度、段落长度、字符频率、标点频率，还有词的用法。我们两个计算机科学家花了五个小时。五个小时后，这两位计算机语言学家利用他们的大数据分析技术，十分肯定地证明了罗伯特就是大名鼎鼎的J.K.罗琳。归根到底，这个案例告诉我们一个道理，成功之处在哪里，就是说他找到了J.K.罗琳的写作的规律。那我们在公共安全上，是不是也可以来借鉴这个做法，来进行分析呢，我们认为当然是可以的。早在2013年，我就带领一支团队也开始用大数据的技术来分析十年以来违法犯罪人员，入住旅馆是一个什么规律，当时的出发点也很初步，就是想看看他们什么时间到旅馆去开房间，去入住的。首先跟我们前面的这个案例也一样，也是组织数据，我们2013年的时候经过多方的努力，汇聚到了十年左右的旅馆的一个住宿的数据，当时的数据量大概15亿条，这个也比较庞大了。10年某一个地级市的违法犯罪数据因为这个违法犯罪数据是一个内部数据，不能够很精确，我只能告诉大家大概是在多少呢，大概是在60几万的光景。我们搭建了一个比对模型，其实也就15个亿来比我们的60多万人，最后得到十年间旅馆住宿人员曾经违法犯罪过的，这个数据有多少条呢，200多万条，通过碰撞比对200多万条，这个就是一个在我们技术范畴看，就是一个典型的小数据了，用传统的关系型数据库可以很容易地去解决它，去处理它，去挖掘它，但是由于里面涉及到一些比对，我们还要后面会说到跟15亿数据去比对，所以这个案例还是我们大数据的工具，叫HADOOP，跟我们传统的关系型数据库一个混搭的处理模式。

大家现在看到的这一张图是我们正常入住旅馆的一个人群的时段分析，就十年以来我们普通人是怎么住旅馆的，这个折线图的横轴是我们的时间段，1时到24时；纵轴，大家看数值是一个百分比，其实它代表了数量，因为我要进行数值的脱密脱敏，所以你可以把它就看成数量，通过这个图我们可以看出，这个也是十多亿，用HADOOP的MAP-REDUCE来进行分组段来跑的，跑出来之后这个效率还是比较高的，我记得当时十多分钟就把它跑出来了，跑出来得出图中的结果可以看出，我们正常人一般开房的高峰是在下午的13时和夜间的21时左右，这个是我们一个正常人的。大家我们来看第二张图，这张图是什么呢，是违法犯罪人员入住旅馆的他的时段的一个分析，大家一看这张图跟前面这张图的折线不一样了吧，有着明显的区别了吧，你看它的峰值在哪里在凌晨的3点左右，高峰期从凌晨的1时一直持续到早上的5时到6时，也就是说在前十年中这段时间是我们所谓的犯罪嫌疑人吧，或者通俗来讲坏人入住旅馆的高峰，同时结合前面一张图，偏偏在这个时候是我们正常人入住旅馆的一个低谷，所以显而易见，你看犯罪嫌疑人是高位，我们正常人是低谷，对不对，这个分析对我们的实战，特别对旅馆业查控，对旅馆业管理的实战将产生十分重大的意义。

那好，那我刚才讲的是所有的违法犯罪人员，那我还可以分的细一点，现在比较突出的犯罪是什么呢，侵财类犯罪，侵财类犯罪里面又以盗窃类犯罪为多，那我可以看一看，盗窃类的这个违法犯罪人员，在十年间他入住是一个什么规律，在这里面我要再强调一下所谓的大数据的思维，就是我们要需要一定的数据量级之后才能采取这种大数据的分析方式，我为什么没有把盗窃类下面再细分呢，譬如我们可以分为白日闯、分为爬二楼，对不对，我为什么没有去再分呢，因为再分这个数据量太少了，一少之后对于大数据的分析来说它就意义不大了，这个也是一种大数据的思维，在我们传统的小数据思维下，想把数据的维度划分的非常细，甚至划分的越细越好，但是越细带来每一类的数据量它都会急剧地减少，一减少之后我们大数据特别是针对归类总结性的分析它意义就不大了，很容易来误导，所以我们这个分析大家已经看到了，盗窃类的嫌疑人很有意思，他们开房的高点在哪里？一个是凌晨的两点，一个是早上的七点，关于这个结果呢，我也请教过很多刑侦、治安的老前辈，他们说你这个很有意义，为什么呢？符合盗窃类犯罪嫌疑人的作案规律，他们一般会在一点左右作案，做到了之后他就去开房了，第二个他们会在五六点钟作案，作完案他们可能七点钟左右去开房，有这么一个规律，那我们还可以拓展，拓展到什么，这张图是年龄的分析，我可以看一看凌晨一点到七点，我们重点要查缉的盗窃类犯罪嫌疑人，入住的他一个年龄范围是多少，这个图大家一看就比较清楚了，19到23岁，在这个点里面住着是比较有嫌疑的，好，那我们还可以来看他的叫入住的档次，这一条红的虚线是正常人的入住档次，高档，中档，中低档，我们可以看出主要是在中档左右，普通人，这也是一个大数据的分析，而你看犯罪嫌疑人他们住的什么，到中档最后就持平了，就证明我们盗窃类的，侵财类的，侵财类里面盗窃的犯罪嫌疑人，他基本上是在住中档，中低档和低档的这个旅馆，这个就是我们治安防范要重点去关注的这个部位。从上面的分析可以看出，大数据的思维可能它不会很准确的指出，谁谁谁你就是坏人，你就是犯罪嫌疑人，但是我们通过对积累的海量数据的分析可以基本去掌握一个事物的运行规律和趋势，知道了这个事物的运行规律和趋势，也就是我们要讲的预知，我们就可以预知，一旦符合这些条件的人，是不是19到23岁，凌晨一点到七点，甚至来自哪个地区的，入住的中低档旅馆，一旦他入住，我们后续的一些防范工作就可以有针对性的跟进，及时发现和制止违法犯罪行为。

在大数据预知犯罪中还有一个比较常用的分析方法，我们称为叫日常分析，我也可以举个例子给大家看看，大家看这张图，我们还是以旅馆住宿为例，大家看看这个入住有什么特点，对不对，对，大家可能都发现了，他入住旅馆的档次忽高忽低，一会住五星级酒店，一会住没有星级的车站旅馆，这个是什么呢，这个就是很典型的，犯罪分子的入住规律，特别是侵财类犯罪分子，有了钱赶紧挥霍，没有钱他只好去住20块钱一个晚上的车站旅社，这些都逃不过我们数据的眼睛，通过海量数据的这个筛选，我们用大数据的方法，把这些日常入住的数据瞬间捕捉，直接提供给我们的刑侦民警，治安民警来进行进一步的工作。

最后是预警。预警是大数据运用的高级阶段，它的原理其实也很简单，也就是将前面规律性的应用把它映射到或者叫投射到我们的未来中，看未来会不会发生同样的事情。李克强总理经常说的一个，人在干，云在算。在我们公安我的理解，所谓的云在算，更多的就是要通过大数据进行预警，这块我们还处于一个起步阶段，所以也没有形成很成熟的应用的规模效应，所以今天我跟大家介绍几个我们正在探讨的这个案例。

第一个，是对于车辆未来行经路线的预测，就是说基于汽车经过我们电子警察卡口，这个的数据，前面已经说过了，这是一个数据量非常庞大的数据，我们通过若干个算法来对未来这一辆车辆可能会经过一个，或者哪几个卡口进行预测，这个我们称为叫一个规律路径的预测，这个应用对于公安机关来讲是有很现实的这个意义的，很现实的实战意义的，特别是对于我们需要重点去控制的一些车辆跟驾车人，在这个以往的应用中大多数基于GPS，GPS说实话比较难获取，我们用电子警察的卡口更精准，更完备，所以比GPS数据对于我公安目前而言是一个比较优化的一个方案。

我们也经过了实测，这里面的算法主要是用到了聚类，还有用到了回归，我们经过实测，判断往后面一个周期一辆车某一辆车行经路线，其实是经过哪一个路口了，准确的概率目前的测试已经达到了68%以上。

第二个实例，跟大家讲的案例，是我们对刑满释放人员，他会不会重新犯罪进行一个预测。这个我们也是依托工具平台，依托一个云架构的工具，因为要分布式处理，数据量很大，然后我们会有一些警用的算法，主要也是聚类、回归，来对这个刑满释放人员对他的是否会重新犯罪进行一个预测，这里面我们涉及到很多预测因子的指标，包括年龄、羁押期间的一些相关的信息，家庭或者他家族的一些依附关系的情况，包括他个人的受教育情况，还包括他的人身经历，还有包括不良社会交往，甚至一些反社会的行为，我们都要把它建库建表，作为一个预测因子，然后通过一个动态的指标表，通过我们回归跟聚类的算法，来判断出一个什么呢，他一旦刑满释放之后，他重新犯罪的概率用多大，因为我们大概知道了这个概率之后呢，可以相对应的采取不同的我们叫帮教也好，帮扶也好，采取一系列的让他回归社会，成为一个正常人，采取一系列的预防措施。

第三个案例是我目前正在做的，是化工园区的火灾隐患的预测，这个也是非常有现实意义的。化工园区的火灾不同于一般的火灾，大家都知道天津港这个事件，对公共安全的杀伤力极大，因此我们看能不能通过大数据的应用，对化工园区进行火灾隐患的预测，这个对公共安全非常有意义，我们通过整合单位消防安全管理的一些数据，包括它日常管理，单位的一些隐患信息呀，整改情况啊，设备设施的运行情况，维保情况，包括还有互联网上的一些反映，这些信息。还有我们一些消防违法行为的处罚信息，他单位行业主管部门我们消防机构对他的处罚性信息，包括我们既往火警火灾的一些数据，特别是我们以往积累了大量的119的报警数据，我们火灾调查的火调数据，对于这些数据我们来建立指标，进行相关的预测因子的因素的设置。最后我们来预测一个化工园区是否会发生火灾，在未来会发生火灾进行一个预测，进行一个概率的预测，同时把这些影响的隐患要立即要告诉我们的消防机构，告诉我们的化工园区单位，要进行有针对性的整改和防范，前面跟大家说了大数据背景下的预警，预知和预测。

下面我简单地最后谈几条体会，因为我一直在从事这一方面的研究工作。

第一条，就是叫不要空谈大数据。注意，不是不谈，是不要空谈，为什么说不要空谈呢？我把几个问题把它列出来了，第一个我们目前的确没有很好的、很成熟的非结构化，或者半结构化数据的处理工具，这是一个现状。第二个，我们很缺少机器学习和相配套的这么一个知识库。我们这个阿法狗为什么会战胜人类，其实它就有了机器学习和知识库这两个法宝。第三也我是经常说的，我们目前还没有符合行业特点的传感器。我也经常说一句话，没有传感器就不要谈大数据，所以看到这三个问题我想我们当前的一个阶段，我们重点应该在哪里呢，应该是去聚焦海量的结构化数据的处理，这是第一条。

第二条，提升数据处理能力，它是王道。我们没有足够的计算能力，你再有用的信息也会被数据淹没，你存在那儿就是个死数据，存的下，不等于你能够算得动，我们现在的警务运用往往就是能查，能查询，能查远远不能满足警务实战的需求，那我们怎么干呢，那就是大数据的套路，分布式处理，分布式处理是当前提升计算能力的必由之路，包括微观分布，就所谓的在一个机房，甚至在一个机器里面可以有一个分布。另外呢宏观分布，基于不同机房，不同地理位置的一个宏观分布。最后还要注意一个什么呢，基于不同类型的数据库，我们现在有关系型，NOSQL型，内存型，多种数据库的一种混搭运用，混合计算模式，前面讲的都是混合计算模式，传统型的关系型数据库还不能丢。

第三条，努力要使数据流动起来。大数据不在于大，我一直在强调这个观点，在于在线和流动，数据就像我们的货币一样，只有流通它才能增值。你把货币，你把你的钱放在家里，存在银行里，它这个增不了值，只有让它流通起来，来买东西，买卖、商品交易，我们的数据也是一样的，数据增值的最佳办法，我们目前发现的就两个，一个重组，A跟B进行重组，得出一个新的数据集来增值，第二个就是跨界，就通过站在这个维度的范畴去看另外一个维度，我前面讲的旅馆住宿档次的这个案例，就是很典型的一个跨界，其实我通过旅馆住宿的行为去判断出了他的金字情况的异常，对不对，一会住的高，一会住的低嘛，金字情况的异常，这就是数据的一个跨界运用，我们说要让数据在不同的维度上去体现不同的价值。总之啊，要让信息时时处于一个在线的状态，让更多的人能使用的到。各位观众，以上就是我简要的介绍了我们公安机关如何依托大数据来开展这个预警、预知预测、这些应用的情况。应该讲从数据中获取价值，让数据逐步成为公安机关工作的一个主导因素，特别是用大数据的思维，大数据的方法，大数据的技术来提高我们的工作效率，推动警务机制变革，催生智慧警务落地，这个我们正在这条道路上不断地探索前行，谢谢大家。