數據分析工作雖然隱藏在業務系統背后，但是具有非常重要的作用，數據分析的結果對決策、業務發展有著舉足輕重的作用。隨著大數據技術的發展，數據挖掘、數據探索等專有名詞曝光度越來越高，但是在類似于Had...

聚類是一種將數據點按一定規則分群的機器學習技術。給定一組數據點，我們可以使用聚類算法將每個數據點分類到一個特定的簇中。理論上，屬于同一類的數據點應具有相似的屬性或特征，而不同類中的數據點應具有差...

過去的一年多的時間中，大部分的工作都圍繞著Zeppelin這個項目展開，經歷了Zeppelin的從無到有，再到逐步完善穩定。見證了Zeppelin的成長的同時，Zeppelin也見證了我的積累進...

在現代分布式系統中，節點數目是巨大的。在 CAP 理論的范圍內， MichaelStonebraker 斷言分區必然會發生，并且系統內發生節點失敗的機會隨著節點數的增加而呈指數級增加

思來想去，個人覺得要理解 「分布式事務」 ，必須先知道什么是“事務（Transaction）”。

本文主要介紹騰訊 SNG 開發全鏈路日志監控平臺所經歷的挑戰及解決方案。

本文從計算機領域的“祖師爺”艾倫·圖靈提出的圖靈機概念開始，介紹了圖形計算的概念，并以示例介紹了apache storm，基于apache storm如何進行分布式圖形計算。apache sto...

雖然現在最火的是AI，但是大數據和計算能力仍然是機器學習/AI算法的重要支撐，我們的業務場景大部分是通過手機終端、服務器日志不斷產生日志數據，通過消息通道發送到大數據平臺進行存儲、加工和統計，然...

氣象數據是一類典型的大數據，具有數據量大、時效性高、數據種類豐富等特點。氣象數據中大量的數據是時空數據，記錄了時間和空間范圍內各個點的各個物理量的觀測量或者模擬量，每天產生的數據量常在幾十TB到...

我們正面臨云時代的終結，這是一個很大膽的論調，甚至有一些瘋狂，但請耐心看完下面的內容。

隨著監控領域的飛速發展，新技術的誕生也是接踵而至，云存儲是人們最為樂道的高新技術產品。它具有如下幾大主要的技術。

隨著大數據 2.0 時代悄然到來，大數據從簡單的批處理擴展到了實時處理、流處理、交互式查詢和機器學習應用。早期的處理模型 (Map/Reduce) 早已經力不從心，而且也很難應用到處理流程長且復...

大數據和人工智能的浪潮正在席卷全球，眾多熱門詞匯蜂擁而至：人工智能（Artificial Intelligence）、大數據（Big Data）、云計算（Cloud Computing）、機器學...

初始階段 的小型系統 應用程序、數據庫、文件等所有的資源都在一臺服務器上通俗稱為LAMP特征：應用程序、數據庫、文件等所有的資源都在一臺服務器上。描述：通常服務器操作系統使用linux，應用程序...

Azure Stack 作為微軟最新的混合云產品，在整個軟件架構和基礎設施層面結合了原生的 Azure 技術與最新的 Windows Server 2016 軟件定義數據中心（Software ...

大數據時代，中大型企業數據的爆發式增長，幾乎每天都能產生約 100GB 到 10TB 的數據。而企業數據分系統構建與擴張，導致不同應用場景下大數據冗余嚴重。行業亟需一個高效、統一的融合數倉，從海...

在DevOps的理念中，企業的IT價值鏈流轉的速度越快，意味著企業的互聯網產品的交付能力越強，這也意味著在同行業的競爭中，企業憑借IT能力的優勢，能夠收獲更大的競爭優勢。也因此，DevOps框架...

Region自動切分是HBase能夠擁有良好擴張性的最重要因素之一，也必然是所有分布式系統追求無限擴展性的一副良藥。HBase系統中Region自動切分是如何實現的？這里面涉及很多知識點，比如R...

在 2006 年的 OSDI 上，Google 發布了名為 Bigtable: A Distributed Storage System for Structured Data 的論文，其中描述...

美團點評作為綜合性多業務的互聯網+生活服務平臺，覆蓋“吃住行游購娛”各個領域，SRE就會面臨一些特殊的挑戰。