基于 Chrome App 的開發工具：Spark 經驗
Spark 是谷歌公司推出的一款基于 Chrome 瀏覽器的開發環境。提供一組可重用的 UI 組件。采用 Dart 開發。 安裝方法請看： https://github.com/dart-la
jopen 最夯的大數據分析工具-Apache Spark 經驗
我是貓大，大家還記得我的好友咪咪(那位想要知道自己養的貓，會不會抓老鼠的那位愛貓人士)嗎?在過去文章什么 ? SVM會賺錢 !中貓大介紹了SVM的概念，以及如何通過LIBSVM，幫助使用者解決分類問題。 記憶體不足 前幾天咪
Spark on Yarn: Cluster模式Scheduler實現 經驗
背景 Spark on Yarn分yarn-cluster和yarn-client兩種模式。 本文通過Cluster模式的TaskScheduler實現入手，梳理一遍spark on yarn的大致實現邏輯。
c6g3 Spark RDD API詳解(一) Map和Reduce 經驗
RDD是什么？ RDD是Spark中的抽象數據結構類型，任何數據在Spark中都被表示為RDD。從編程的角度來看，RDD可以簡單看成是一個數組。和普通數組 的區別是，RDD中的數據是分區存儲的，這樣不
如何使用Spark ALS實現協同過濾 經驗
本文主要記錄最近一段時間學習和實現Spark MLlib中的協同過濾的一些總結，希望對大家熟悉Spark ALS算法有所幫助。 更新： 【2016.06.12】Spark1.4.0中MatrixFacto
大數據處理框架Apache Spark入門 經驗
什么是Spark Apache Spark 是一個圍繞速度、易用性和復雜分析構建的大數據處理框架。最初在2009年由加州大學伯克利分校的AMPLab開發，并于2010年成為Apache的開源項目之一。
使用Docker在本地搭建hadoop，spark集群 經驗
使用Docker在本地搭建hadoop，spark集群 簡介和環境說明 本環境使用的單個宿主主機，而不是跨主機集群，本spark集群環境存在的意義可能在于便于本地開發測試使用，非常輕量級和便捷。這
Spark MLlib實現的中文文本分類–Native Bayes 經驗
com/archives/2016/01/605.htm 關鍵字：spark mllib、文本分類、樸素貝葉斯、native bayes 文本分類是指將一篇文章歸到事先定義好的某一類或者某幾類，在數據平臺的一個
Spark Tungsten-sort Based Shuffle 分析 經驗
來自： https://community.qingcloud.com/topic/341/spark-tungsten-sort-based-shuffle-分析 Tungsten-sort 算不得一個全新的shuffle
961408017 微型的Java Web框架 Spark 經驗
Spark是一個微型的Java Web框架，它的靈感來自于Sinatra，它的目的是讓你以最小的代價創建出一個Java Web應用。 示例代碼： import static spark.Spark
fmms 基于Java的IM客戶端 Spark IM 經驗
Spark是一個開源，跨平臺IM客戶端。它的特性支持集組聊天，電話集成和強大安全性能。如果企業內部部署IM使用Openfire+Spark是最佳的組合。 Open Source File Transfer
從Hadoop到Spark的架構實踐 經驗
8/2824889 當下，Spark已經在國內得到了廣泛的認可和支持：2014年，Spark Summit China在北京召開，場面火爆；同年，Spark Meetup在北京、上海、深圳和杭
關于Spark的基本概念和特性簡介 經驗
Spark是近年來發展較快的分布式并行數據處理框架，可以與Hadoop聯合使用，增強Hadoop的性能。同時，Spark還增加了內存緩存、流數據處理、圖數據處理等更為高級的數據處理能力。這里簡單介紹了
Hadoop和Spark的處理模型比較 經驗
概述 Apache Spark的高性能一定程度上取決于它采用的異步并發模型（這里指server/driver端采用的模型），這與Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop
Spark核心概念RDD（Resilient Distributed Datasets） 經驗
http://my.oschina.net/sulliy/blog/617259 本文介紹Spark的RDD。作為一個概念，RDD本身是與編程語言無關的，你即可以用Scala實現，也可以是Java
Spark本地開發環境搭建 經驗
10.6，sbt。請自行提前裝好。 設置SSH，本地免密碼登錄 因為Spark master需要ssh到Spark worker中執行命令，所以，需要免密碼登錄。 cat ~/.ssh/id rsa
hadoop-2.2.0+spark1.1.0安裝過程 經驗
hadoop-2.2.0+spark1.1.0安裝過程 首先介紹一下整個過程中需要用到的一些軟件 虛擬機vmwareworkstation 10 Linux版本 CentOS 6.4 Jdk
P13 openfire+smack+spark實現傳輸demo文檔 文檔
org/downloads/download-landing.jsp?file=smack/smack_3_2_2.zip 代碼中還用到了junit，junit jar下載地址：http://ebr.springsource.co
Spark vs. MapReduce 時間節約66%，計算節約40% 資訊
本文將介紹基于物品的協同過濾推薦算法案例在TDW Spark與MapReudce上的實現對比，相比于MapReduce，TDW Spark執行時間減少了66%，計算成本降低了40%。 本文將介紹基于物品的協同過濾推薦算法案例在TDW
Spark 和 Hadoop 是朋友不是敵人 資訊
宣布計劃大規模投資 Spark 相關技術，此項聲明會促使越來越多的工程師學習 Spark 技術，并且大量的企業也會采用 Spark 技術。 Spark 投資的良性循環會使 Spark 技術發展更加成熟