英特爾推出用于Apache Spark的深度學習庫

Pho81C 7年前發布 | 12K 次閱讀 Spark 深度學習 分布式/云計算/大數據

英特爾今天宣布推出開源 BigDL，一個用于 Apache Spark 開源集群計算框架的分布式深度學習庫。

深度學習庫是英特爾公司在行業中實現最先進的人工智能戰略的一部分。在去年 11 月宣布的公司戰略，詳細介紹了英特爾所做的工作——通過旗下的人工智能學院（Intel? Nervana?）使人工智能訓練和工具被更廣泛的開發人員所獲取。

BigDL 具有基于 Spark 架構的高效大規模分布式深度學習庫，使大數據用戶和數據科學家更容易獲得深度學習。BigDL 使得 AI 專家能夠像在數百個領域的數千個應用程序中工作的數據科學家一樣研究數據。

BigDL 還可以作為用于數據存儲、處理和挖掘、特征工程以及機器和深度學習工作量等的統一數據分析平臺（Hadoop / Spark）。它允許開發人員將深度學習應用程序編寫為在現有 Spark 或 Hadoop 集群之上運行的標準 Spark 程序，以使深度學習工作量與他們使用的數據更直接地接觸。BigDL 已經在 Databricks Spark 平臺上運行。

英特爾軟件與服務部高級副總裁兼總經理 Doug Fisher 說：「BigDL 是一個開源項目，我們鼓勵所有開發人員在 BigDL Github 上與我們聯系，采樣代碼并為項目做出貢獻。」

BigDL：在 Apache Spark 上的分布式深度學習

BigDL 是一個為 Apache Spark 而建的分布式深度學習庫；通過 BigDL，用戶能夠以標準的 Spark 程序編寫深度學習應用，并能直接在現有的 Spark 或 Hadoop 集群上運行。

豐富的深度學習支持。BigDL 是在 Torch 之后搭建的模型，為深度學習提供全面支持，包括經由 Tensor 的數字計算和高級神經網絡；此外，用戶還可以通過使用 BigDL 把 Caffe 或 Torch 里預訓練的模型加載到 Spark 程序中。

極其完美的運行表現。為了獲取非常好的運行表現，在每個 Spark 任務中 BigDL 使用因特爾 MKL 和多線編程。因此，在單個節點的至強（Xeon，與主流 GPU 比較）處理器上的處理比即用部署的開源框架 Caffe、Torch 以及 TensorFlow 有量級上的提升。

高效的橫向擴展性能。BigDL 能高效的進行橫向擴展從而實現大數據的數據分析，通過發布 Apache Spark（快如閃電般的分布式數據處理框架），以及 Spark 上有效實施的同步 SGD 和全局歸約交流機制。

為什么是 BigDL?

你也許想用 BigDL 寫一些深度學習程序如果：

  • 你想要在存儲數據（例如 HDFS，HBase，Hive 等）的相同大數據（Hadoop / Spark）集群上分析大量數據。

  • 你想要為你的大數據（Spark）程序和/或工作流程添加深度學習功能（訓練或預測）。

  • 你想要利用現有的 Hadoop / Spark 集群來運行深度學習應用程序，然后可以與其他工作量（例如 ETL、數據倉庫、特性工程、經典機器學習、圖形分析等）動態共享。

怎樣使用 BigDL？

  • 想學習如何安裝和搭建 BigDL（Linux 和 macOS 上的安裝），你可以查閱構建文檔（Build Page）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Build-Page

  • 想學習如何運行 BigDL 程序（運行一個局部 Java 程序或者 Spark 程序），你可以查閱開始指導頁面（Getting Started Page）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Getting-Started

  • 想在 EC2 上嘗試使用 BigDL，你可以查閱在 EC2 上運行的頁面（Running on EC2 Pages）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Running-on-EC2

  • 想在幾分鐘內學到如何通過 BigDL 創建實用的神經網絡，你可以查閱教程頁面（Tutorial Page）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Tutorials

更多細節內容，可以在說明文檔中查閱（Documents Page），說明文檔包含教程、范例、編程指南等內容。鏈接：https://github.com/intel-analytics/BigDL/wiki/Documents

支持

  • 你可以加入 BigDL 谷歌網上論壇（https://groups.google.com/forum/#!forum/bigdl-user-group）（或訂閱郵件列表：bigdl-user-group+subscribe@googlegroups.com）以獲得更多關于 BigDL 的問題和討論。

  • 你可以在問題頁面上發布錯誤報告和功能請求。

 

 

來自：http://www.jiqizhixin.com/article/2255

 

 本文由用戶 Pho81C 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！