最近這幾周大數據領域可謂動作頻頻，初創公司和老牌企業都紛紛發布新品，更新或改進現有的產品系列，以及達成戰略性關系。

作為一家大數據公司，Glow每天都會收到海量的數據。這些數據的快速存取，是必須面對的一個問題。Cache，則是眾多解決方案中，最實用的一個。筆者將給大家介紹一下Glow的Cache框架，希望能對...

這里說的并不是性能，因為我沒嘗試對比過（下文會有簡單的說明），而是嘗試從某種更高一層次的的角度去看，為什么Spark SQL 是遠遠超越MPP SQL的。

在京東上季度的財報中，無線端（包括移動端和微信等其他無線平臺）占比已經超過72%，這也給京東無線業務部帶來了巨大的壓力。今年，京東618主會場首次全面采用個性化策略，同時，618期間的一系列促銷...

Apache Hadoop近十年的成長證明，用開源技術處理與訪問海量數據并不是什么炒作。然而，Hadoop的一個缺點是不可預測性。Hadoop不能確保企業的關鍵任務按時完成，也不能完全發揮集群的性能。

RPC 的主要功能 目標是讓構建分布式計算（應用）更容易 ，在提供強大的遠程調用能力時不損失本地調用的語義簡潔性。為實現該目標，RPC 框架需提供一種透明調用機制讓使用者 不必顯式的區分本地調用和遠程調用 。

我每天都在思考，思考很重要，是一個消化和不斷深入的過程。

最近CoreOS推出來重量級產品Torus，專門為容器集群量身打造的分布式存儲系統，可以為通過Kubernetes編排和管理的容器集群提供可靠可擴展的存儲。讓我們來感受下新產品給我們的集群分布式...

由于在平時的工作中，線上服務器是分布式多臺部署的，經常會面臨解決分布式場景下數據一致性的問題，那么就要利用分布式鎖來解決這些問題。所以自己結合實際工作中的一些經驗和網上看到的一些資料，做一個講解...

2016年1月，RightScale進行了年度云計算現狀調查。此次調查就云計算架構的應用情況詢問了大部分典型組織內的技術專家。

Apache ?hadoop 項目組最新消息，hadoop3.x以后將會調整方案架構，將Mapreduce 基于內存+io+磁盤，共同處理數據。

在所有的這些例子中，如果有了模型的持久性，那么保存和加載模型的問題將變得更容易解決。在即將到來的2.0版本中，通過基于DataFrame的API，Spark機器學習庫MLlib將實現幾乎完整的M...

日前，LinkedIn在 Github上 基于Apache 2許可證協議開源了其 分布式對象存儲系統Ambry 。Ambry是一個是 不可變對象的存儲系統 ，非常易于擴展，它能夠存儲KB到GB大...

在本篇文章，作者將討論機器學習概念以及如何使用Spark MLlib來進行預測分析。后面將會使用一個例子展示Spark MLlib在機器學習領域的強悍。

隨著用戶使用天數的增加，不管你的業務是擴大還是縮減了，為什么你的大數據中心架構保持線性增長的趨勢？很明顯需要一個穩定的基本架構來保障你的業務線。當你的客戶處在休眠期，或者你的業務處在淡季，你增加...

目前Databricks訂閱用戶已經能夠獲取Spark 2.0的技術預覽版。性能提升、SparkSessions以及數據流處理能力將成為新版本的主要發展方向。

OpenStack Foundation每年會對OpenStack用戶進行兩次調查，最新一次調查是在2016年4月完成的， 調查報告 現已出爐。本次調查涉及來自全球1111家組織的1603名成員...

Flink 認為 Batch 是 Streaming 的一個特例，所以 Flink 底層引擎是一個流式引擎，在上面實現了流處理和批處理。而窗口（window）就是從 Streaming 到 Ba...

此列子雖然簡單，但是其可以使用Spark解決實際問題。我們可以計算Twitter上主題趨勢。

大數據的浪潮仍在繼續。它滲透到了幾乎所有的行業，信息像洪水一樣地席卷企業，使得軟件越發龐然大物，比如 Excel 看上去就變得越來越笨拙。數據處理不再無足輕重，并且對精密分析和強大又實時處理的需...