城市大數據平臺,首先是作為一個數據管理平臺,核心需求是數據的存和取,然后因為海量數據、多數據類型的信息需要有豐富的數據接入能力和數據標準化處理能力,有了技術能力就需要縱深挖掘附加價值更好的服務,如信息統計、分析挖掘、全文檢索等,考慮到面向的客戶對象有的是上層的應用集成商,所以要考慮靈活的數據接口服務來支撐。
“十三五”期間,隨著我國現代信息技術的蓬勃發展,信息化建設模式發生根本性轉變,一場以云計算、大數據、物聯網、移動應用等技術為核心的“新IT”浪潮風起云涌,信息化應用進入一個“新常態”。***(某政府部門)為積極應對“互聯網+”和大數據時代的機遇和挑戰,適應全省經濟社會發展與改革要求,大數據平臺應運而生。
從企業的技術選型角度,hadoop能滿足大數據場景下絕打多數需求,同時在技術可行性與成本上,具有無可比擬額優勢。
工作流管理系統(Workflow Management System, WfMS)是一個軟件系統,它完成工作量的定義和管理,并按照在系統中預先定義好的工作流規則進行工作流實例的執行。工作流管理系統不是企業的業務系統,而是為企業的業務系統的運行提供了一個軟件的支撐環境。
Hadoop是一個開發和運行處理大規模數據的軟件平臺,是Apache的一個用java語言實現開源軟件框架,Hadoop集群是一種專門為存儲和分析海量非結構化數據而設計的特定類型的集群。本質上,它是一種計算集群,即將數據分析的工作分配到多個集群節點上,從而并行處理數據。Hadoop框架中最核心設計就是:HDFS和MapReduce.