大數據的浪潮仍在繼續。它滲透到了幾乎所有的行業，信息像洪水一樣地席卷企業，使得軟件越發龐然大物，比如 Excel 看上去就變得越來越笨拙。數據處理不再無足輕重，并且對精密分析和強大又實時處理的需...

數據分析的統計計數和多維分析，我們通常稱之為數據探索式分析，這個步驟旨在了解數據的特性，有助于我們進一步挖掘數據的價值。而基于我們對數據的理解，再引入機器學習的算法對數據做出預測就變得水到渠成了。

2016年QCon全球軟件開發大會北京站 于4.21-4.23在北京國際會議中心舉辦，參會者對整體內容設置及安排反饋良好。這里我們梳理出了22號“大數據生態構建”廠商共建專場的重點演講內容，為沒...

楊尚剛，美圖公司數據庫高級DBA，負責美圖后端數據存儲平臺建設和架構設計。前新浪高級數據庫工程師，負責新浪微博核心數據庫架構改造優化，以及數據庫相關的服務器存儲選型設計。

最近在對已有的大數據采集和數據集成工具進行梳理，并考慮進行相關的產品整合工作，經過對已有的產品的測試和驗證，已經實際需要的業務場景，初步考慮清楚后續需要進行新增和完善部分的內容。

大數據不再像過去幾年一樣，受限于工具缺乏的問題。那時候搞大數據意味著團隊里必須有數據科學家，還會被R和Hadoop之類的開源工具搞得心煩意亂。現在許多公司在大數據分析中最頭疼的問題，其實是如何獲取數據。

編者注： 原文是 FirstMark Capital 的 Matt Turck 的 文章 。本文全面總結了大數據領域的發展態勢，分析認為盡管大數據作為一個術語似乎已經過氣，但是大數據分析與應用才...

自從相關工具創建以來，我們一直通過對海量的隨機數據執行排序來測試MapReduce。這種方式很受歡迎，因為生成任意數量的數據非常簡單，想要驗證輸出結果是否正確也很簡單。

PostgreSQL 支持的數字類型包括整型，浮點，以及PG自己實現的numeric數據類型。

在“用Apache Spark進行大數據處理”系列的前兩篇文章中，我們看到了Apache Spark框架是什么(第一部分)還有如何使用Spark SQL庫訪問數據的SQL接口(第二部分)。

上一章有提到過[基于關鍵詞的空間向量模型]的算法，將用戶的喜好以文檔描述并轉換成向量模型，對商品也是這么處理，然后再通過計算商品文檔和用戶偏好文檔的余弦相似度。

在寫這篇文章之前，我發現身邊很多IT人對于這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹，如果你問他大數據和你有什么關系?估計很少能說出一二三來。究其原因，一是因為大家對新技術有著相同的原...

To knowledge 是目標，手段還是 mining ，俗稱數據民工。每當大家講到大數據，都會不約而同的提到大數據幾個 V 的定義： Volume ， Variety ， Velocity ...

Big Data非常復雜，涉及到的技術繁多。我們常“耳聞”的技術，如果MapReduce, Hadoop等處于哪一層次，下圖會給你一個整體印象。

Gearpump：基于 Akka 的大數據實時處理引擎

傳統數據挖掘/機器學習庫存在的問題

標簽： Cloudera-Manager CDH Hadoop 部署 集群 摘要：管理、部署Hadoop集群需要工具，Cloudera Manager便是其一。本文先是簡要對比了當前的類似工具...

HDFS全稱是Hadoop Distribute File System,是一個能運行在普通商用硬件上的分布式文件系統。與其他分布式文件系統顯著不同的特點是：

現如今的大數據處理方案需要在比以往更短的時間內應對越來越大的數據量。MS SQL 2012版本首次引入了列存儲（CS）索引技術，這也是SQL Server首次嘗試從傳統的行存儲結構轉變為面向列的...

現在大數據，云計算已經成為互聯網的標配，但是現在主流的大數據處理依舊是使用batch模式，batch模式就是將數據按某種規則分成塊，然后對整個塊跑計算邏輯，缺點是延遲太高(至少是分鐘)，常用的工...