Spark Streaming屬于Spark的核心api，它支持高吞吐量、支持容錯的實時流數據處理。它可以接受來自Kafka, Flume, Twitter, ZeroMQ和TCP Socket的數據源，使用簡單的api函數比如 map, reduce, join, window等操作，還可以直接使用內置的機器學習算法、圖算法包來處理數據。

城市大數據平臺，首先是作為一個數據管理平臺，核心需求是數據的存和取，然后因為海量數據、多數據類型的信息需要有豐富的數據接入能力和數據標準化處理能力，有了技術能力就需要縱深挖掘附加價值更好的服務，如信息統計、分析挖掘、全文檢索等，考慮到面向的客戶對象有的是上層的應用集成商，所以要考慮靈活的數據接口服務來支撐。

“十三五”期間，隨著我國現代信息技術的蓬勃發展，信息化建設模式發生根本性轉變,一場以云計算、大數據、物聯網、移動應用等技術為核心的“新IT”浪潮風起云涌，信息化應用進入一個“新常態”。***（某政府部門）為積極應對“互聯網+”和大數據時代的機遇和挑戰，適應全省經濟社會發展與改革要求，大數據平臺應運而生。

從企業的技術選型角度，hadoop能滿足大數據場景下絕打多數需求，同時在技術可行性與成本上，具有無可比擬額優勢。

Hadoop是Apache軟件基金會所開發的并行計算框架與分布式文件系統。最核心的模塊包括Hadoop Common、HDFS與MapReduce。HDFS是Hadoop分布式文件系統（Hadoop Distributed File System）的縮寫，為分布式計算存儲提供了底層支持。采用Java語言開發，可以部署在多種普通的廉價機器上，以集群處理數量積達到大型主機處理性能。HDFS采用master/slave架構。一個HDFS集群包含一個單獨的NameNode和多個DataNode。NameNode作為master服，它負責管理文件系統的命名空間和客戶端對文件的訪問。NameNode會保存文件系統的具體信息，包括文件信息、 文件被分割成具體block塊的信息、以及每一個block塊歸屬的DataNode的信息。對于整個集群來說，HDFS通過NameNode對用戶提供 了一個單一的命名空間。DataNode作為slave服務，在集群中可以存在多個。通常每一個DataNode都對應于一個物理節點。DataNode負責管理節點上它們擁有 的存儲，它將存儲劃分為多個block塊，管理block塊信息，同時周期性的將其所有的block塊信息發送給NameNode。

城市大數據平臺，首先是作為一個數據管理平臺，核心需求是數據的存和取，然后因為海量數據、多數據類型的信息需要有豐富的數據接入能力和數據標準化處理能力，有了技術能力就需要縱深挖掘附加價值更好的服務，如信息統計、分析挖掘、全文檢索等，考慮到面向的客戶對象有的是上層的應用集成商，所以要考慮靈活的數據接口服務來支撐。

在本篇文章中，我將對機器學習做個概要的介紹。本文的目的是能讓即便完全不了解機器學習的人也能了解機器學習，并且上手相關的實踐。這篇文檔也算是EasyPR開發的番外篇，從這里開始，必須對機器學習了解才能進一步介紹EasyPR的內核。當然，本文也面對一般讀者，不會對閱讀有相關的前提要求。