大數據研究常用軟件工具與應用場景

 

工欲善其事，必先利其器。眾多新的軟件分析工具作為深入大數據洞察研究的重要助力， 也成為數據科學家所必須掌握的知識技能。

然而，現實情況的復雜性決定了并不存在解決一切問題的終極工具。實際研究過程中，需要根據實際情況靈活選擇最合適的工具（甚至多種工具組合使用），才能更好的完成研究探索。

為此，本文針對研究人員（非技術人員）的實際情況，介紹當前大數據研究涉及的一些主要工具軟件（因為相關軟件眾多，只介紹常用的），并進一步闡述其應用特點和適合的場景，以便于研究人員能有的放矢的學習和使用。

Excel、SPSS、SAS 這三者對于研究人員而言并不陌生。

SPSS（SPSS Statistics)和SAS作為商業統計軟件，提供研究常用的經典統計分析（如回歸、方差、因子、多變量分析等）處理。

上述三個軟件在面對大數據環境出現了各種不適，具體不再贅述。但這并不代表其沒有使用價值。如果使用傳統研究方法論分析大數據時，海量原始數據資源經過前期處理（如降維和統計匯總等）得到的中間研究結果，就很適合使用它們進行進一步研究。

數據挖掘作為大數據應用的重要領域，在傳統統計分析基礎上，更強調提供機器學習的方法，關注高維空間下復雜數據關聯關系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身為Clementine）

 
SPSS Modeler 的統計功能相對有限, 主要是提供面向商業挖掘的機器學習算法（決策樹、神經元網絡、分類、聚類和預測等）的實現。同時，其數據預處理和結果輔助分析方面也相當方便，這一點尤其 適合商業環境下的快速挖掘。不過就處理能力而言，實際感覺難以應對億級以上的數據規模。
另一個商業軟件 Matlab 也能提供大量數據挖掘的算法，但其特性更關注科學與工程計算領域。而著名的開源數據挖掘軟件Weka，功能較少，且數據預處理和結果分析也比較麻煩，更適合學術界或有數據預處理能力的使用者。

近兩年來出現了許多面向大數據、具備可視化能力的分析工具，在商業研究領域，TableAU無疑是卓越代表。

 
TableAU 的優勢主要在于支持多種大數據源/格式，眾多的可視化圖表類型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場景。不過 要注意，其并不能提供經典統計和機器學習算法支持， 因此其可以替代Excel, 但不能代替統計和數據挖掘軟件。另外，就實際處理速度而言，感覺面對較大數據（實例超過3000萬記錄）時，并沒有官方介紹的那么迅速。

關系分析是大數據環境下的一個新的分析熱點（比如信息傳播圖、社交關系網等），其本質計算的是點之間的關聯關系。相關工具中，適合數據研究人員的是一些可視化的輕量桌面型工具，最常用的是Gephi。

 
Gephi 是免費軟件，擅長解決圖網絡分析的很多需求，其插件眾多，功能強且易用。我們經常看到的各種社交關系/傳播譜圖, 很多都是基于其力導向圖（Force directed graph）功能生成。但由于其由java編寫，限制了處理性能（感覺處理超過10萬節點/邊時常陷入假死），如分析百萬級節點（如微博熱點傳播路徑）關 系時，需先做平滑和剪枝處理。 而要處理更大規模（如億級以上）的關系網絡（如社交網絡關系）數據，則需要專門的圖關系數據庫（如GraphLab/GraphX）來支撐了，其技術要求 較高，此處不再介紹。

當前很多軟件（包括TableAU）都提供了時空數據的可視化分析功能。但就使用感受來看，其大都只適合較小規模（萬級）的可視化展示分析，很少支持不同粒度的快速聚合探索。

如 果要分析千萬級以上的時空數據，比如新浪微博上億用戶發文的時間與地理分布（從省到街道多級粒度的探索）時，推薦使用 NanoCubes（http://www.nanocubes.net/）。該開源軟件可在日常的辦公電腦上提供對億級時空數據的快速展示和多級實時鉆 取探索分析。下圖是對芝加哥犯罪時間地點的分析，網站有更多的實時分析的演示例子

基于自然語言處理（NLP）的文本分析，在非結構化內容（如互聯網/社交媒體/電商評論）大數據的分析方面（甚至調研開放題結果分析）有重要用途。其應用處理涉及分詞、特征抽取、情感分析、多主題模型等眾多內容。

由 于實現難度與領域差異，當前市面上只有一些開源函數包或者云API（如BosonNLP）提供一些基礎處理功能，尚未看到適合商業研究分析中文文本的集成 化工具軟件（如果有誰知道煩請通知我）。在這種情況下，各商業公司（如HCR）主要依靠內部技術實力自主研發適合業務所需的分析功能。

前 面介紹的各種大數據分析工具，可應對的數據都在億級以下，也以結構化數據為主。當實際面臨以下要求： 億級以上/半實時性處理/非標準化復雜需求 ，通常就需要借助編程（甚至借助于Hadoop/Spark等分布式計算框架）來完成相關的分析。 如果能掌握相關的編程語言能力，那研究員的分析能力將如虎添翼。

當前適合大數據處理的編程語言，包括：

前面的內容介紹了面向大數據研究的不同工具軟件/語言的特點和適用場景。 這些工具能夠極大增強研究員在大數據環境下的分析能力，但更重要的是研究員要發揮自身對業務的深入理解，從數據結果中洞察發現有深度的結果，這才是最有價值的。