現在大數據，云計算已經成為互聯網的標配，但是現在主流的大數據處理依舊是使用batch模式，batch模式就是將數據按某種規則分成塊，然后對整個塊跑計算邏輯，缺點是延遲太高(至少是分鐘)，常用的工...

服務端/后臺開發中如何生成id是每個開發者都會遇到的問題，在電商、游戲領域尤其突出。如何保證生成id的唯一性、可靠性、高可用性，如何組織id的格式，在不同的應用場景和限制下實現方式也不盡相同。

本環境使用的單個宿主主機，而不是跨主機集群，本spark集群環境存在的意義可能在于便于本地開發測試使用，非常輕量級和便捷。這個部署過程，最好在之前有過一定的hadoop，spark集群部署經驗的...

Apache Eagle Committer 和 PMC 成員，eBay 分析平臺基礎架構部門高級軟件工程師，負責Eagle的產品設計、技術架構、核心實現以及開源社區推廣等。

zookeeper安裝：用戶為hadoop，安裝目錄為/opt/app下面 上傳安裝文件到/opt下面 root用戶解壓 [root@master opt]$ tar -...

gocryptfs 是一個使用 Go 開發的，加密的覆蓋文件系統。gocryptfs 基于 go-fuse FUSE 庫和其 LoopbackFileSystem API 構建。gocryptf...

Spark大數據分析框架的核心部件：Spark大數據分析框架的核心部件 Spark大數據分析框架的核心部件包含RDD內存數據結構、Streaming流計算框...

十八款Hadoop工具幫你馴服大數據：Hadoop已經通過自身的蓬勃發展證明，它不僅僅是一套用于將工作內容傳播到計算機群組當中的小型堆棧--不，...

Hadoop使用了MapReduce編程范式，目前已經被公認為是分布 式環境中分析大數據的標準框架。然而，它并不能很好的應用于大規模的計算幾何處理。本文介紹的CG_Hadoop是一套可伸縮的和高...

SpatialHadoop實例：面向空間數據的高效MapReduce框架：作者：Ahmed Eldawy；Mohamed F.Mokbel 摘要：本文實例介紹了SpatialHadoop平臺，它...

開源大數據處理工具匯總（上） ：本文一共分為上下兩部分。我們將針對大數據開源工具不同的用處來進行分類，并且附上了官網和部分下載鏈接...

開源大數據處理工具匯總（下）：作者：大數據女神-諾藍（微信公號：dashujunvshen）。本文是36大數據專稿，轉載必須標明來源36大數據。 ...

在使用hadoop集群的時候,所有的任務都是最終以Application的形式跑在集群中,不管你是自己寫的MR程序亦或是你寫的hive sql轉化成的mr任務,最終都是以Application應...

云平臺hadoop搭建以及wordcount實例運行：我的第一篇博客，希望大家能夠看懂！ hadoop是大數據處理的平臺，是基于linux系統下的，在windows安裝

介紹一下基于zookeeper的一些API的編程。 在此之前，我們先來熟悉一下相關知識： Zookeeper的Session： （1）客戶端和server間采用長連接

Trident是一個基于Storm的用于實時計算的高級抽象原語。它支持高吞吐（每秒百萬級別），有狀態的流處理，并且還能夠提供低延時的分布式查詢功能。如果你熟悉一些比較高級的批處理工具，比如Pig...

部署Spark 0.9集群：Spark 0.9 1 部署Spark集群 這種是運維人員在生產環境下，搭建起一個Spark集群。

hadoop 之分布式安裝

1 hadoop目前支持以下三種調度器： FifoScheduler：最簡單的調度器，按照先進先出的方式處理應用。只有一個隊列可提交應用，所有用戶提交到這個隊列。沒有應用優先級可以配置。

hadoop2.6.0 在64位CentOS 6.4系統上的編譯：直接使用官網上下載的hadoop2.6.0在運行時候經常都會遇到WARN util.NativeCodeLoader: Unab...