微軟開源用于Spark的深度學習庫MMLSpark

微軟開源了 MMLSpark，用于用于 Apache Spark 的的深度學習庫。MMLSpark 可以與微軟認知工具包和 OpenCV 完美整合。

微軟發現，雖然 SparkML 可以建立可擴展的機器學習平臺，絕大多數開發者的精力都耗在了調用底層 API 上。MMLSpark 旨在簡化 PySpark 中的重復性工作。

以 UCI 的成人收入普查數據集舉例，使用其他項目預測收入：

        如果直接使用 SparkML，每一列都需要單獨處理，整理為正確的數據類型；在 MMLSpark 中只需要兩行代碼：

model = mmlspark.TrainClassifier (model=LogisticRegression ()， labelCol=” income”) .fit (trainData) predictions = model.transform (testData)

        深度神經網絡（DNN）在圖像識別和語音識別等領域不遜于人類，但是 DNN 模型的訓練需要專業人員方可進行，與 SparkML 的整合也十分不易。MMLSpark 提供了方便的 Python API，可以方便地訓練 DNN 算法。MMLSpark 可以方便地使用現有模型進行分類任務、在分布式 GPU 節點上進行訓練、以及使用 OpenCV 建立可擴展的圖像處理管線。

        以下 3 行代碼可以從微軟認知工具集中初始化一個 DNN 模型，從圖像中抽取特征：

cntkModel = CNTKModel () .setInputCol (“images”) .setOutputCol (“features”) .setModelLocation (resnetModel) .setOutputNode (“z.x”) featurizedImages = cntkModel.transform (imagesWithLabels) .select ([‘labels’，’features’]) model = TrainClassifier (model=LogisticRegression (),labelCol=”labels”) .fit (featurizedImages)

        MMLSpark 已經發布到 Docker Hub 上，使用下面的命令即可在單機部署：

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

        MMLSpark 使用 MIT 協議授權。

        查看英文原文：

        https://github.com/Azure/mmlspark

        https://blogs.technet.microsoft.com/machinelearning/2017/06/07/announcing-microsoft-machine-learning-library-for-apache-spark/

來自: InfoQ