Spring Hadoop - 整合Spring框架和Apache Hadoop平臺的開源項目

openkk 12年前發布 | 90K 次閱讀 Spring Hadoop 分布式/云計算/大數據

這個項目整合了 Spring 框架和 Apache Hadoop 平臺。該項目提供了一種方便的機制,讓我們可以通過 Spring 容器來配置、創建和執行各種各樣的服務和工具,像 MapReduce、Hive、Pig 和 Cascading 作業等。此外,該項目還通過 JVM 腳本語言——像 Groovy、JRuby、Jython 和 Rhino——提供了對 HDFS 數據訪問的支持,為 HBase 提供了聲明式配置的支持,以及對 Hadop 工具(包括 FS Shell 和 DistCp)提供了聲明和編程的支持。  

可能更有意義的是,工具還為基于 Spring 的應用程序提供了一種便利方式,可以使用 Hadoop 作為數據分析工具,而這些數據可能來自多個源,像 Spring Integration 和 Spring Batch,以及傳統的關系型數據庫等等。“例如,你可以讓 Hadoop 作業成為 Spring Batch 環境中的 tasklet,從而我們可以開始對其進行調整,并在作業完成時擁有觸發器。

這樣,和新發布的 Hadoop 項目一樣,它更廣泛的目標是為各種不同樣式的 SQL 和 NoSQL 數據庫——關系型數據庫、圖型數據庫、文檔數據庫、鍵值數據庫等等——提供一等支持,并顯式地支持某些那種更流行的產品類型。當前這包括對 JPA 的支持,還有 MongoDB、Redis 和 Neo4J,并且 Cassandra 方面也在進行中。Colyer 認為這個列表反映出當前 SpringSource 的企業用戶中處于領先地位的產品,但是需要強調的是,在大多數大型企業中,對 NoSQL 數據庫的使用還處于初級階段。

項目主頁:http://www.baiduhome.net/lib/view/home/1330747413217

 本文由用戶 openkk 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!