提供程序使用 Apache Spark 的基礎：Spark Kernel

ynnc 9年前發布 | 20K 次閱讀 分布式/云計算/大數據 Apache Spark

Spark Kernel 的最主要目標：提供基礎給交互應用程序聯系和使用 Apache Spark。

幾個主要特性：

  1. 定義和運行 Spark 任務

    • 以類似 Scala REPL 和 Spark Shell 的方式，動態地執行 Scala 代碼

  2. 收集數據存儲的結果

    • 通過 Spark Kernel，將執行結果和數據流返回到你的應用程序。

    • 使用 Comm API —— 一個 IPython 協議的抽象 —— 在你的應用程序和 Spark Kernel 之間進行更詳細的數據通信和同步。

  3. 脫離 Apache Spark 來主持（Host）和管理你的應用。

    • Spark Kernel 作為向 Apache Spark 集群發出的請求的一個代理。



提供程序使用 Apache Spark 的基礎：Spark Kernel

項目主頁：http://www.baiduhome.net/lib/view/home/1438092747753

 本文由用戶 ynnc 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！