Hortonworks進軍物聯網，發布基于Apache NiFi項目的DataFlow產品

Hortonworks已經在不知不覺中完成了他們的DataFlow平臺，這個平臺基于Apache NiFi項目并準備去解決物聯網（IoAT）中的數據處理需求。

Hortonworks公司在最近的一次 研討會 上向石油和天然氣行業的客戶介紹了其DataFlow （HDF）平臺。HDF（Hortonworks Data Flow）平臺基于 Apache NiFi 項目，它是一種實時數據流處理 系統，在去年由美國安全局（ NSA ）開源并進入Apache社區，NiFi初始的項目名稱是Niagarafiles。當NiFi項目開源之后，一些早先在NSA的開發者們創立了初創公司 Onyara，Onyara隨之繼續NiFi項目的開發并提供相關的支持。Hortonworks公司最近收購了Onyara并將其開發者整合到自己的團隊中。

因為NiFi可以對來自多種數據源的流數據進行處理，Hortonworks認為HDF平臺非常適合用于物聯網 (IoAT)的數據處理。HDF中的數據流動可以是多個方向，甚至是點對點的，用戶可以同收集到的數據流進行交互，這種交互甚至可以延伸到數據源，比如一些傳感器或是設備。按照Hortonworks公司的說法，HDF產品是對 HDP 產品的補充，前者主要處理移動中的數據，而后者基于Hadoop技術，主要負責從靜止的數據中獲取洞察。

NiFi項目在創建過程中遵循了一些理念：1）精細化管理信息流的能力；2）跟蹤數據相關事件和信息的能力，比如數據從哪里來，在路徑中發生了什么；3）保證控制和數據面的安全能力。NiFi的主要特性包括：

• 有保證的數據交付
• 支持背壓（back-pressure）機制的數據緩沖
• 有優先級的隊列
• QoS
• 數據溯源（Data provenance）：NiFi對數據流路徑上的每次變化都會保留日志記錄，從而保證結果的可追溯，以及數據的恢復、重播、審計和評估。
• 通過日志記錄數據的歷史細節
• 支持交互式命令和控制臺，并對系統變化提供可視化的反饋
• 支持流模板（Flow templates）
• 支持插入式（Pluggable）/多角色（multi-role）的安全機制
• 支持對數據操作的擴展
• 支持集群管理

NiFi并非只能用于物聯網，實際上，它可以用于所有種類的實時數據處理，比如預測分析、欺詐檢測、大數據注入、資源評估等等。NiFi項目自身提供了90個數據處理器 （data processors），這其中包括了數據的編碼、加密、壓縮、轉換、從數據流創建Hadoop的序列文件、同AWS交互、發送消息到Kafka、從 推ter上獲取消息，以及其它等等。你可以在拖放風格的可視化界面上來配置這些數據處理器，把它們鏈接到一起，并在它們之間使用背壓機制來進行流控。NiFi還提供了內置的自動擴展、請求復制、負載均衡和故障切換機制。

在NiFi的 路標 中還可以看到以下特性：對流的配置管理做進一步的提升、一個擴展和模板注冊表、對Avro的優先支持、交互式隊列管理、多租戶的數據流，以及其它。

目前，HDF已經可以在沙箱式的環境中配合 Apache Ambari 進行測試驗證。

查看英文原文： Hortonworks Addresses the IoAT with DataFlow Based on NiFi