本文詳細介紹了 Storm 集群的安裝配置方法。如果需要在 AWS 上安裝 Storm，你應該先了解一下 storm-deploy 項目。 storm-deploy 可以自動完成 E2 上 St...

微博平臺研發作為微博的底層數據及業務支撐部門，已經經歷了5年的發展歷程。伴隨著從數據及業務暴發式增長，我們在海量數據存儲方面遭遇了諸多挑戰，與此同時也伴隨著豐富經驗的積累。 本文主要面...

storm集群配置

簡單分析一下GraphX是怎么為圖數據建模和存儲的。

Openshift是一個非常有前途的私用PAAS解決方案，它可以減少從項目開始時到自動構建應用和布署的時間， 它支持絕大多數的WEB架構，將成為基于容器的私有平臺即服務的一個參照。

MORPHiS 現在是早期階段，主要目標是成為一個全局加密分布式存儲，為了替代云存儲。MORPHiS 現在包含一個 DMAIL（分布式郵件），內置垃圾郵件攔截，內置加密，免費發送信息。

大數據在近些年來越來越火熱，人們在提到大數據遇到了很多相關概念上的問題，比如云計算、 Hadoop等等。那么，大數據是什么、Hadoop是什么，大數據和Hadoop有什么關系呢?

關于 Ceph 的介紹網上一大堆，這里就不重復了。Sage Weil 讀博士的時候開發了這套牛逼的分布式存儲系統，最初是奔著高性能分布式文件系統去的，結果云計算風口一來，Ceph 重心轉向了分布...

構建一個分布式系統是很困難的。它需要可擴展性、容錯性、高可用性、一致性、可伸縮以及高效。為了達到這些目的，分布式系統需要很多復雜的組件以一種復雜的方式協同工作。例如，Apache Hadoop在...

本文介紹了 Storm 命令行客戶端中的所有命令操作。如果想要了解怎樣設置你的 Strom 客戶端和遠程集群的交互，請按照配置開發環境一文中的步驟操作。

hyflow-go是一款可進行地理復制、主內存main-memory的高一致性數據存儲，其最大特點是將低延時和高事務完美統一。

通過對Hadoop分布式計算平臺最核心的分布式文件系統HDFS、MapReduce處理過程，以及數據倉庫工具Hive和分布式數據庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術核心。

嗨，大家好。今天我們來學一學Swarm相關的內容吧，我們將學習通過Swarm來創建Docker原生集群。Docker Swarm是用于Docker的原生集群項目，它可以將一個Docker主機池轉...

在網絡流量的分析中，基于流的分析被大多數ISP所采用，分析系統一般部 署在一臺高配置的服務器中。如由CERT網絡勢態感知團隊(CERT-NetSA)開發的用于大規模網絡安全分析的網絡交互分析工具...

Spark能夠自動推斷出Json數據集的“數據模式”（Schema），并將它加載為一個SchemaRDD實例。這種“自動”的行為是通過下述兩種方法實現的：

本文主要記錄最近一段時間學習和實現Spark MLlib中的協同過濾的一些總結，希望對大家熟悉Spark ALS算法有所幫助。 更新：

以下是我參與藍鯨數據平臺的建設過程中的一些心得體會，關于整個藍鯨平臺的更多內容，請見

TDW（Tencent distributed Data Warehouse，騰訊分布式數據倉庫）基于開源軟件Hadoop和Hive進行構建，打破了傳統數據倉庫不能線性擴展、可控性差的局限，并且...

Spark Kernel 的最主要目標：提供基礎給交互應用程序聯系和使用 Apache Spark。

做軟件開發的都知道模塊化思想，這樣設計的原因有兩方面： 一方面是可以模塊化，功能劃分更加清晰，從“數據采集--數據接入--流失計算--數據輸出/存儲”