數據分析與挖掘是人工智能發揮真正價值的(de)核心。傳統的(de)大數據分析，不管是傳統的(de)聯機(jī)分析處理(lǐ)(OLAP)技術還是數據挖掘技術，都難以應對大數據的(de)挑戰。一(yī)是執行(xíng)效率低(dī)，傳統數據挖掘技術都是基于集中式的(de)底層軟件架構開發，難以并行(xíng)化，在處理(lǐ)TB級以上數據時效率低(dī)；二是數據分析精度難以随着數據量提升而得到改進，特别是難以應對非結構化數據。深度學(xué)習具有(yǒu)自(zì)行(xíng)處理(lǐ)、分布存儲和(hé)高(gāo)度容錯等特性，非常适合處理(lǐ)非線性的(de)或者模糊、不完整、不嚴密的(de)知識和(hé)數據。智能大數據分析技術利用深度學(xué)習算法自(zì)動開展多種分析計算，探究數據資源中的(de)規律和(hé)異常點，輔助用戶更快、更準地(dì)找到需求點，從而實現風險預測和(hé)評估。

習近平總書記深刻指出，"要推動大數據技術産業創新發展""要運用大數據提升國(guó)家治理(lǐ)現代化水平"。李克強總理(lǐ)在今年(nián)的(de)政府工作報告中提出，要"深化大數據、人工智能等研發應用"。公安機(jī)關必須積極推進公安大數據戰略，加快推動公安工作由信息化向智慧化升級轉型，在促進大數據與社會治理(lǐ)深入融合中提升社會治理(lǐ)能力和(hé)水平，讓打防管控的(de)矛更利、盾更堅，切實築牢維護國(guó)家政治安全、确保社會大局穩定、促進社會公平正義、保障人民安居樂(yuè)業的(de)堅強防線。

一(yī)、公安大數據建設要點

1.PB級數據存儲管理(lǐ)：信息化建設在推進，數據規模随之飛(fēi)速增長(cháng)，為(wèi)了滿足大規模數據的(de)存儲和(hé)分析，大數據存儲系統應支持單一(yī)系統擴展至10PB以上規模，以滿足未來數據爆發的(de)存儲需要

　　2.多種數據類型與協議支持：公安數據形式多樣，包含文檔、圖片、視(shì)頻、栅格、矢量等，因此該系統需要能夠支持結構化、半結構化、非結構化多種數據類型，提供NFS/CIFS/JDBC/ODBC等多種接口，以便業務對多種數據進行(xíng)訪問和(hé)操作；

　　3.高(gāo)質量的(de)數據整合：好的(de)數據質量是數據分析挖掘等有(yǒu)效應用的(de)基本條件，面對公安行(xíng)業交互複雜而繁多的(de)系統，勢必需要将這些多源異構的(de)數據進行(xíng)抽取、轉換及裝載，實現數據的(de)整合、消重，提供高(gāo)質量的(de)數據，在此基礎上進行(xíng)關聯、建模，為(wèi)實戰業務提供可(kě)用的(de)數據；

　　4.高(gāo)效的(de)數據分析能力：百億條記錄的(de)檢索、上千張表的(de)碰撞、幾百個小時的(de)視(shì)頻分析、大量的(de)移動互聯網和(hé)社交媒體數據處理(lǐ)等應用，無不對大數據系統的(de)數據分析能力提出更高(gāo)的(de)要求；

　　5.可(kě)管理(lǐ)和(hé)開放性：可(kě)管理(lǐ)、開放化、标準化的(de)大數據技術體系架構，不僅可(kě)以為(wèi)公安帶來更高(gāo)的(de)性價比、更出色的(de)擴展性，更能為(wèi)警務建設在大數據平台上開展新探索、新應用解除後顧之憂；

　　6.安全可(kě)靠，自(zì)主可(kě)控：公安系統中很多數據關系着國(guó)家安全和(hé)人民生命财産安全，因此，要求該系統具備非常高(gāo)的(de)可(kě)靠性，同時，為(wèi)進一(yī)步加強數據安全性，避免數據洩露，最好選用具備完全自(zì)主知識産權的(de)國(guó)産設備和(hé)系統。

二、公安大數據的(de)技術選型

　　大數據的(de)實質是對數據的(de)管理(lǐ)與開發利用，與當前以信息資源開發為(wèi)核心的(de)公安工作具有(yǒu)廣泛的(de)共通性，如(rú)何借助大數據技術推動公安工作的(de)發展和(hé)變革？技術選型非常重要。在各個企業和(hé)組織紛紛助推下，大數據領域的(de)相關技術呈現百花齊放局面，涵蓋數據收集、存儲、計算、挖掘、資源調度等，下面就以最核心的(de)計算層和(hé)存儲層兩個維度介紹下有(yǒu)關技術路線和(hé)發展趨勢。

　　數據處理(lǐ)：

　　簡而言之，不管對何種應用，當數據量很大時就無法在一(yī)台服務器上解決計算問題，此時分布式計算優勢就體現出來，而HadoopMapReduce的(de)重要創新便是當處理(lǐ)一(yī)個大數據集時會将其任務分解并在運行(xíng)的(de)多個節點中處理(lǐ)，這種批處理(lǐ)框架常用于離(lí)線的(de)複雜的(de)非結構化數據處理(lǐ)，如(rú)ETL、數據挖掘等場景；與Hadoop的(de)使用硬盤來存儲數據不同，Spark是基于內(nèi)存的(de)叠代計算框架，适用于需要多次操作特定數據集的(de)應用場合；而Storm則是專門針對實時數據類型的(de)流式計算分析框架，應用在低(dī)延遲的(de)場景中，實現海量事件的(de)實時分析、處理(lǐ)和(hé)決策。除此之外，為(wèi)應對不斷增長(cháng)的(de)海量結構化數據的(de)存儲和(hé)快速處理(lǐ)以及靈活的(de)業務建模需求，數據庫系統必将引入分布式架構、MPP處理(lǐ)技術。

　　數據存儲：

　　上面提到了MapReduce将任務分發到多個服務器上處理(lǐ)大數據的(de)能力。而對于分布式計算，每個服務器必須具備對數據的(de)訪問能力，這就是HDFS所起到的(de)作用，HDFS有(yǒu)着高(gāo)容錯性、高(gāo)吞吐量的(de)特點，适合大數據集的(de)應用。與此同時，業內(nèi)也有(yǒu)許多其他類型的(de)文件系統推出，不僅能解決了傳統存儲體系結構存在的(de)難題，又能提高(gāo)存儲利用率和(hé)數據讀寫性能，可(kě)以替代HDFS作為(wèi)Hadoop架構的(de)底層文件系統/數據存儲。

　　不同的(de)技術思路各有(yǒu)偏重，由于公安業務種類繁多，大數據應用場景多樣化，除了建立各類基礎大數據資源庫之外，還需要做(zuò)到事前預測警務研判、事中實時情報分析及事後案事件分析，及可(kě)視(shì)化查詢統計等，建議公安用戶基于智能融合的(de)大數據架構構建上層應用，積極引入大數據領域的(de)先進技術，推動公安工作邁入大數據發展階段。

三、公安大數據應用領域

　　（一(yī)）大數據與應急

　　借助大數據，既可(kě)以預測某一(yī)區域乃至全國(guó)的(de)某種類型的(de)犯罪趨勢，也可(kě)以預測某一(yī)時間某一(yī)具體地(dì)點某種類型的(de)犯罪，還可(kě)以預測某一(yī)個體的(de)犯罪概率。根據預測，我們可(kě)以制訂計劃，優化警力配置，提升行(xíng)動效率。

　　（二）大數據之與社會維穩

　　互聯網成為(wèi)人們日常交流、表達思想和(hé)宣洩情緒的(de)重要平台，也是相關內(nèi)容安全保障的(de)重要平台。網絡輿論已成為(wèi)社會輿論的(de)重要組成部分，越來越多地(dì)引起全社會的(de)高(gāo)度重視(shì)。搜索引擎、微博、微信、論壇、貼吧(ba)等互聯網輿論集中的(de)區域，搜集這些數據便獲取到了以往無法掌握的(de)社會輿論動向，熱度輿論、以及輿論領袖。一(yī)些突發事件和(hé)熱點、敏感問題在網上被惡意炒作，形成強大的(de)網上輿論氣候，各種負面信息通過互聯網的(de)各種服務方式快速、廣泛傳播，嚴重影響社會穩定和(hé)政府單位形象。互聯網不僅是現實社會的(de)虛拟映像，還是現實問題的(de)聚焦鏡和(hé)放大器。

　　通過輿情機(jī)制，一(yī)方面可(kě)以加強互聯網信息監管，另一(yī)方面，對于及時應對網絡突發的(de)公共事件和(hé)全面掌握社情民意，并對于及時發現社會蘊藏的(de)潛在不穩定因素，提早預防起着重要作用。

來源：警用科(kē)技