本著更好地理解大數據生態圈的本意以及工作的需要，前段時間熟悉了SQL查詢引擎SparkSQL、Hadoop文件格式Parquet/CarbonData、大數據基準測試標準TPCDS/TPCH等相...

傳統的數據庫通常以行單位做數據存儲，而列式存儲（后文均以列存儲簡稱）以列為單位做數據存儲

這里說的并不是性能，因為我沒嘗試對比過（下文會有簡單的說明），而是嘗試從某種更高一層次的的角度去看，為什么Spark SQL 是遠遠超越MPP SQL的。

RDD、DataFrame和DataSet是容易產生混淆的概念，必須對其相互之間對比，才可以知道其中異同：DataFrame多了數據的結構信息，即schema。RDD是分布式的 Java對象的集...

Spark SQL允許我們在Spark環境中使用SQL或者Hive SQL執行關系型查詢。它的核心是一個特殊類型的Spark RDD：SchemaRDD。

數據科學家們早已熟悉的R和Pandas等傳統數據分析框架 雖然提供了直觀易用的API，卻局限于單機，無法覆蓋分布式大數據場景。在Spark 1.3.0以Spark SQL原有的SchemaRDD...

Spark SQL性能優化

在Apache Spark文章系列的前一篇文章中，我們學習了什么是Apache Spark框架，以及如何用該框架幫助組織處理大數據處理分析的需求。

在這篇文章中，我將介紹一下Spark SQL對Json的支持，這個特性是Databricks的開發者們的努力結果，它的目的就是在Spark中使得查詢和創建JSON數據變得非常地簡單。隨著WEB和...

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現的分布式計算，擁有Hadoop Map...

Spark SQL允許相關的查詢如SQL，HiveQL或Scala運行在spark上。其核心組件是一個新的RDD：SchemaRDD，SchemaRDDs由 行對象組成，并包含一個描述此行對象的...