FastDFS是一款類Google FS的開源分布式文件系統，它用純C語言實現，支持Linux、FreeBSD、AIX等UNIX系統。它只 能通過專有API對文件進行存取訪問，不支持POSIX接...

所謂分布式系統，指的是一組通過發送消息實現協作、從而共同達成同一目標的資源集合。正如知名計算機科學家 Leslie Lamport所指出之定義：“所謂分布式系統，其中任意一臺計算設備——即使使用...

新世紀以來，互聯網及個人終端的普及，傳統行業的信息化及物聯網的發展等 產業變化產生了大量的數據，遠遠超出了單臺機器能夠處理的范圍，分布式存儲與處理成為唯一的選項。從2005年開始，Hadoop從...

本文主要講述了通過規范化處理流程，可以使用相同的處理流程來處理流式或者批量處理任務，例如Hadoop和Storm，從而提高重用性。

在Twitter，他們使用復制日志來解決分布式系統中存在的一系列問題。比如，他們有一個Manhattan分布式鍵值數據庫。該系統采用了一種靈活的最終一致性數據模型，允許開發者以一致性換取低延遲。...

這篇文章翻譯自Storm官方文檔，可以幫助以快速大致了解一下Storm

Apache Calcite是面向Hadoop新的查詢引擎，它提供了標準的SQL語言、多種查詢優化和連接各種數據源的能力，除此之外，Calcite還提供了OLAP和流處理的查詢引擎。正是有了這些...

JStorm 是一個類似于 Hadoop 的MapReduce的計算系統，它是由Alibaba開源的實時計算模型，它使用Java重寫了原生的Storm模型（Clojure和Java混合編 寫的）...

Gobblin 是 Hadoop 通用數據攝取框架，可以從各種數據源中提取，轉換和加載海量數據。比如：數據庫，rest APIs，filers，等等。Gobblin 處理日常規劃任務需要所有數據...

Hadoop分布式文件系統(HDFS)是一種被設計成適合運行在通用硬件上的分布式文件系統。HDFS是一個高度容錯性的系統，適合部署在廉價的 機器上。它能提供高吞吐量的數據訪問，非常適合大規模數據...

我們TripAdvisor公司擁有大量的用戶評價數據，據最近的一次公告，大約有幾億條。我是從事機器學習相關的工作，在機器學習中我們常喜歡做的一件事就是堆砌大量數據來分析。

如果覺得有幫助的話就頂下吧 在統計的時候經常會用到排重，比如想統計每日登陸用戶，但是一個用戶一次多次登陸情況，或者一個產品被多少個用戶下載。。

相對于單機系統，分布式系統非常復雜，涉及到非常多的技術，作為一個屌絲，有幸能夠在大規模分布式系統下工作，故在此記錄一些淺薄認識，作為自己未來學習路線的參考。

最近在和人交流時談到數據相似度和數據共性問題，而剛好在業務層面有類似的需求，今天和大家分享這類問題的解決思路

Celery 是 Distributed Task Queue，分布式任務隊列，分布式決定了可以有多個 worker 的存在，隊列表示其是異步操作，即存在一個產生任務提出需求的工頭，和一群等著被...

之前在學校的時候一直就想學習大數據方面的技術，包括hadoop和機器學習啊什么的，但是歸根結底就是因為自己太懶了，導致沒有堅持多長時間， 加上一直為offer做準備，所以當時重心放在C++上面了...

hadoop集群數據節點gmond安裝

FastDFS是一個開源的輕量級分布式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務...

與近期與InfoQ的一次對話中， Vaughn Vernon 分享了一些他在開發分布式系統方面的心得。他特別指出，在分布式系統中，有可能會出現局部故障之類的問題。對于這種類型的問題以及一些其它挑...

海量小文件存儲（簡稱LOSF，lots of small files）出現后，就一直是業界的難題，眾多博文(如 [1] )對此問題進行了闡述與分析，許多互聯網公司也針對自己的具體場景研發了自己的...