Storj 是基于 blockchain 技術和點對點協議來提供最安全，私有和加密的云存儲。

簡介：本文是對大數據領域的基礎論文的閱讀總結，相關論文包括GFS，MapReduce、BigTable、Chubby、SMAQ。

Packet是一家成立不久的公司，他們主要是為用戶提供基于裸機服務器的IaaS，本文的作者是Packet平臺的VP，作者在文中講述了他們構建Packet平臺的動機以及在構建過程中遇到了哪些問題。...

大數據相關技術、Hadoop生態、LinkedIn內部實戰

把分布式系統中各個組件的工作匯總起來，就可以得到一個全面的跟蹤系統。 每個公司都會有一套自己的分布式跟蹤系統。Google的Dapper，Twitter的zipkin，淘寶的鷹眼，新浪的...

講給硅谷創業者的大數據精華集合

Orleans是一個提供構建分布式高伸縮性計算應用的簡單方法的框架，不需要學習和應用復雜并發或者其它伸縮模式。

Ceph讀寫流程

Apache Falcon 提供了一個用于治理和編排 Hadoop 內部和周邊數據流的數據處理框架。該框架為獲取和處理數據集、復制與保留數據集、重新定向位于非Hadoop擴展中的數據集、維護審核...

ceph 集群訪問權限配置

本文詳細總結Spark分布式集群的安裝步驟，幫助想要學習Spark的技術愛好者快速搭建Spark的學習研究環境。

前段時間在為內部自研的計算框架設計算子層，參考對比了一些開源的計算框架的算子層，本文做一個粗粒度的梳理。 下面這張圖是我對計算框架抽象層次的一個拆分，具體可以參考上周日杭州S...

本文是我對分布式計算的算子這層的一些認識和想法。因為最近自己的開發任務也是這方面相關的，公司內部有自研的類流式計算框架需要做一層算子層。我主要分析的是流式系統上實現算子這一點入手，對比現有計算框...

本文嘗試從源碼層面梳理Spark在任務調度與資源分配上的做法。

散仙在上篇文章中，介紹過如何使用Pig來進行詞頻統計，整個流程呢，也是非常簡單，只有短短5行代碼搞定，這是由于Pig的內置函數TOKENIZE這個UDF封裝了單詞分割的核心流程，當然，我們的需求...

典型大數據計算模式與系統

Hive 是基于 Hadoop 的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的 sql 查詢功能，可以將 sql 語句轉換為 MapReduce 任務進行運行。 其優...

Zookeeper 是 一個分布式。開放源碼的分布式應用程序協調服務，是Google Chubby的一個開源實現，大多數的分布式應用都需要Zookeeper的支持，這篇文章先簡單的和大家分享如何...

Spark 基于內存計算，提高了在大數據環境下數據處理的實時性，同時保證了高容錯性和高可伸縮性，允許用戶將Spark 部署在大量廉價硬件之上，形成集群。

本文記錄在Hive 0.14 + hadoop 2.4.1 環境下，如何時用 jdbc連接到hive hive 的JDBC驅動還是比較好找的，在hive的包里就有 hive-jdbc-0....