thorns_project 分布式異步隊列系統，wydomain分析目標系統信息后，返回給thorns控制臺進行任務調度下發至redis隊列系統，worker客戶端從redis隊列系統獲取任務...

Apache Kafka的管理工具。Kafka在雅虎內部被很多團隊使用,媒體團隊用它做實時分析流水線,可以處理高達20Gbps(壓縮數據)的峰值帶寬。

為什么 Cloudera 要創建 Hadoop 安全組件 Sentry ？

在這篇文章中，我將介紹一下Spark SQL對Json的支持，這個特性是Databricks的開發者們的努力結果，它的目的就是在Spark中使得查詢和創建JSON數據變得非常地簡單。隨著WEB和...

OpenStack為用戶帶來了諸多好處。使用免費開源工具構建自己的云對許多公司而言都非常有吸引力。但啟動OpenStack項目之前，要有一個切實可行的目標。Rajiv Sodhi是OpenSta...

Spark是起源于美國加州大學伯克利分校AMPLab的大數據計算平臺，在2010年開源，目前是Apache軟件基金會的頂級項目。隨著 Spark在大數據計算領域的暫露頭角，越來越多的企業開始...

Packet是一家成立不久的公司，他們主要是為用戶提供基于裸機服務器的IaaS，本文的作者是Packet平臺的VP，作者在文中講述了他們構建Packet平臺的動機以及在構建過程中遇到了哪些問題。...

本文使用了一個基于場景的方法，概述了可能有助于定義大數據解決方案的解決方案模式。每個場景都從一個業務問題開始，并說明為什么需要大數據解決方 案。本文會將一個具體的解決方案模式（由原子模式和復合模...

摘要：本文中介紹的模式有助于定義大數據解決方案的參數。本文將介紹最常見的和經常發生的大數據問題以及它們的解決方案。原子模式描述了使用、處 理、訪問和存儲大數據的典型方法。復合模式由原子模式組成，...

大數據解決方案的邏輯層可以幫助定義和分類各個必要的組件，大數據解決方案需要使用這些組件來滿足給定業務案例的功能性和非功能性需求。這些邏輯層 列出了大數據解決方案的關鍵組件，包括從各種數據源獲取數...

本文介紹一種評估大數據解決方案的可行性的基于維度的方法。通過回答探索每個維度的問題，您可以通過自己對環境的了解來確定某個大數據解決方案對您是否適合。仔細考慮每個維度，就會發現有關是否到了改進您...

大數據可通過許多方式來存儲、獲取、處理和分析。每個大數據來源都有不同的特征，包括數據的頻率、量、速度、類型和真實性。處理并存儲大數據時，會涉及到更多維度，比如治理、安全性和策略。選擇一種架構并構...

隨著CoreOS和Kubernetes等項目在開源社區日益火熱，它們項目中都用到的etcd組件作為一個高可用強一致性的服務發現存儲倉庫，漸 漸為開發人員所關注。在云計算時代，如何讓服務快速透明地...

OpenStack為用戶帶來了多個好處，所以不難理解用免費的開源工具自行構建云這個概念為何吸引眾多公司企業。然而，誰要是想啟動 OpenStack項目，就應切合實際。我們Mirantis公司在構...

Spark是起源于美國加州大學伯克利分校AMPLab的大數據計算平臺，在2010年開源，目前是Apache軟件基金會的頂級項目。隨著Spark在大數據計算領域的暫露頭角，越來越多的企業開始關注和...

Spark是基于內存的大數據分析平臺，由UC Berkely AMP lab發布的一大神器。相比Hadoop而言，其最大的優勢是基于內存，這樣可以極大提高其速度和通用性。

Kinetic 是希捷公司的開放存儲平臺，這是一個基于對象的存儲組織結構（DHT 分布式哈西表結構），對象之間沒有層次化關系，每個對象都是同級別的。對象的操作包括 PUT、GET 和 DELET...

Apache Falcon 是一個面向Hadoop的、新的數據處理和管理平臺，設計用于數據移動、數據管道協調、生命周期管理和數據發現。它使終端用戶可以快速地將他們的數據及其相關的處理和管理任務...

DebOps 是基于 Debian 的數據中心。 DebOps 是 Ansible 方案集合，可伸縮，從一個容器到一個條目數據中心。

IPFS 是分布式文件系統，尋求連接所有計算機設備的相同文件系統。在某些方面，這很類似于原始的 Web 目標，但是 IPFS 最終會更像單個比特流群交換的 git 對象。