氣象數據是一類典型的大數據，具有數據量大、時效性高、數據種類豐富等特點。氣象數據中大量的數據是時空數據，記錄了時間和空間范圍內各個點的各個物理量的觀測量或者模擬量，每天產生的數據量常在幾十TB到...

隨著計算機的日益普及，各種應用每天產生的數據量呈指數級增長。如何存儲這些數據，有效處理分析這些數據,并從中提取有價值的信息,是當下迫切需要解決的問題。在過去的十年里，NoSQL在軟件工程師陣營里...

本篇主要是就系統從開發到最終部署運維過程中常用的技術、框架和方法做了一個總結，當然以上經驗總結來源于本人從業以來所經歷的項目中的經驗和教訓，可能還有更好更完美的方案，在此權當拋磚引玉。

當今IT開發人員面對的最大挑戰就是復雜性，硬件越來越復雜，OS越來越復雜，編程語言和API越來越復雜，我們構建的應用也越來越復雜。根據外媒的一項調查報告，中軟卓越專家列出了Java程序員在過去1...

什么我們要去構建一個自己的PHP框架？可能絕大多數的人都會說“市面上已經那么多的框架了，還造什么輪子？”。我的觀點“造輪子不是目的，造輪子的過程中汲取到知識才是目的”。

系統設計入門 目的 學習如何設計大型系統。 為系統設計的面試做準備。 學習如何設計大型系統 學習如何設計可擴展的系統將會有助于你成為一個更好的工程師。 系統設計是一個很寬泛的話題。在互聯網上， ...

本篇文章已經在 IEEE Software 雜志上首發。 IEEE Software 就今天的戰略性技術問題提供了可靠的、經專家評審過的信息。IT管理者和技術領導應依靠新先進解決方案的IT專業人...

大家都相信Urban Airship在手機上會有非常多的商業機會。Urban Ship是一家已有七年歷史的老SaaS公司，她也提供了免費增值商業模式，所以你可以試試免費體驗一下。現在每天Urba...

爬蟲代理IP池 在公司做分布式深網爬蟲，搭建了一套穩定的代理池服務，為上千個爬蟲提供有效的代理，保證各個爬蟲拿到的都是對應網站有效的代理IP，從而保證爬蟲快速穩定的運行，當然在公司做的東西不能開...

NoSQL數據庫提供了非常完美的體驗：一個安裝包，啟動數據庫，使用JSON API進行數據讀寫操作。此外，NoSQL支持快速迭代。

互聯網二次革命的移動互聯網時代，如何吸引用戶、留住用戶并深入挖掘用戶價值，在激烈的競爭中脫穎而出，是各大電商的重要課題。通過各類大數據對用戶進行研究，以數據驅動產品是解決這個課題的主要手段，攜程...

NoSQL，泛指非關系型的數據庫，全稱Not Only SQL，意即“不僅僅是SQL”。

互聯網二次革命的移動互聯網時代，如何吸引用戶、留住用戶并深入挖掘用戶價值，在激烈的競爭中脫穎而出，是各大電商的重要課題。通過各類大數據對用戶進行研究，以數據驅動產品是解決這個課題的主要手段，攜程...

【編者按】關注 NoSQL 的動態發展很重要。NoSQL 的好處并不僅限于新的應用開發。在某些案例中，你可以見識到重新訪問現有的、傳統的框架帶來的積極效果，比如說你的 JPA 的實現。本文系國內...

關注 NoSQL 的動態發展很重要。NoSQL 的好處并不僅限于新的應用開發。在某些案例中，你可以見識到重新訪問現有的、傳統的框架帶來的積極效果，比如說你的 JPA 的實現。本文系國內ITOM ...

分布式存儲系統除了要保證客戶端寫請求流程的正確性，節點可能會非正常宕機或者需要重啟，在啟動的時候必須要能夠正常地加載/恢復已有的數據，日志管理類在創建的時候要加載已有的所有日志文件，這和創建Lo...

MySQL還是PostgreSQL? 1、如果你的應用對數據的完整性和嚴肅性要求不高，但是追求處理的高速度。例如論壇和社區，你應該使用MySQL。 2、如果你的應用是一個嚴肅的商業應用，對數...

動態網頁是下一個要解決的難題。我們從數據庫中讀取數據，再用動態去渲染出一個靜態頁面，并且緩存服務器來緩存這個頁面。既然我們都可以用Varnish、Squid這樣的軟件來緩存頁面——表明它們可以是...

Big Data非常復雜，涉及到的技術繁多。我們常“耳聞”的技術，如果MapReduce, Hadoop等處于哪一層次，下圖會給你一個整體印象。

所謂實時流計算就是近幾年由于數據得到廣泛應用之后，數據持久性建模不滿足現狀下，急需數據流的瞬時建模或者計算處理。這種實時計算的應用的實例有金融服務、網絡監控、電信數據管理、Web應用、生產制造、...