• 基于key/value+Hadoop HDFS 設計的存儲系統的shell命令接口 經驗

    對于hadoop HDFS 中的所有命令進行解析 接口名稱 功能 操作流程 get 將文件復制到本地文件系統 。如果指定了多個源文件,本地目的端必須是一個目錄。 (1 )按照上述機制,在Config

    jopen 2014-07-10   14097   0

    量化派基于Hadoop、Spark、Storm的大數據風控架構 經驗

    量化派是一家金融大數據公司,為金融機構提供數據服務和技術支持,也通過旗下產品“信用錢包”幫助個人用戶展示經濟財務等狀況,撮合金融機構為 戶提供最優質的貸款服務。金融的本質是風險和流動性,但是目前中國對于個人方面的征信行業發展落后于歐美

    jopen 2015-10-06   52802   0

    基于Hadoop的數據倉庫平臺,Apache Hive 1.2.1 發布 資訊

    Hive是一個基于Hadoop的數據倉庫平臺。通過hive,我們可以方便地進行ETL的工作。hive定義了一個類似于SQL的查詢語言:HQL,能 夠將用戶編寫的QL轉化為相應的Mapreduce程序基于Hadoop執行。

    jopen 2015-06-29   9747   0
    P31

      基于Hadoop生態技術構建阿里搜索離線系統 文檔

    1. 基于Hadoop生態技術構建阿里搜索離線系統阿里巴巴一淘及搜索技術部——任春德/瓦力 2. 個人簡介任春德,花名瓦力 阿里巴巴一淘及搜索事業部 曾就職于阿里集團雅虎中國、阿里云、淘寶子公司,關注

    byc2 2014-11-19   1874   0

    HCatalog - 基于Hadoop數據表和存儲管理服務 經驗

    Apache HCatalog是基于Apache Hadoop之上的數據表和存儲管理服務。 包括: 提供一個共享的模式和數據類型的機制。 抽象出表,使用戶不必關心他們的數據怎么存儲。 提供可操作的

    openkk 2012-06-09   39460   0

    Hadoop數據細粒度的、基于角色的認證功能:Apache Sentry 經驗

    是一個高度模塊化的系統。它為存儲在Apache Hadoop集群中的數據和元數據提供了細粒度的、基于角色的認證功能。 Hadoop生態圈中的項目有著各自不同的、需要單獨配置的認證系統。Hadoop的靈活性使得生態圈中不同的項目(如Hive、Solr、

    jopen 2014-08-24   13274   0

    基于Hadoop的RDF大數據集處理框架,Infovore t20140107 發布 資訊

    map/reduce 框架用于處理 RDF大數據集比如 Freebase 和 DBpedia。它基于Hadoop實現。 發布說明: 這次發布包含了一個Haruhi flows foreach lo

    jopen 2014-01-07   8582   0
    P6

      基于Hadoop架構的分布式計算和存儲技術及其應用 文檔

    內部公開Internal Use Only▲ 于Hadoop架構的分布式計算和存儲技術及其應用 發表時間:2012-2-23 田秀霞 周耀君 畢忠勤 彭源 來源:萬方數據 關鍵字:Hadoop架構 MapReduce機制

    wwqu1020 2012-09-13   631   0

    開發基于VMware虛擬平臺的Hadoop應用 Serengeti 經驗

    Serengeti,支持企業能夠在虛擬和云環境中快速部署、管理和擴展Apache Hadoop。用于在虛擬平臺上快速開發一個Apache Hadoop集群(HDFS, MapReduce, Pig, Hive, ..)。

    openkk 2012-06-15   19326   0

    Hadoop偽分布配置與基于Eclipse開發環境搭建 經驗

    64-bit only ) 輔助工具: WinSCP + Putty Hadoop 版本: 2.5.0 Hadoop 的 Eclipse 開發插件( 2.x 版本適用): http://pan

    jopen 2014-09-02   31951   0

    Go開發的基于Hadoop的ETL抽取工具:Crunch 經驗

    快速開發,快速運行,基于Go工具包。實現基于 Hadoop 的 ETL 和特性抽取工具。 快速入門 Crunch is optimized to be a big-bang-for-the-buck

    jopen 2014-11-20   35244   0

    HadoopHadoop的生態系統資源列表:Awesome Hadoop 經驗

    Awesome Hadoop HadoopHadoop的生態系統資源列表。類似的還有 Awesome PHP , Awesome Python and Awesome Sysadmin Awesome

    jopen 2014-10-15   40861   0

    Python做數據分析:Pandas常用數據查詢語法 經驗

    在使用Pandas之前,大多數數據分析師已經掌握了Excel和SQL,并且在剛上手Pandas時會經常習慣性想到“老辦法”。"如果誰能把常用的數據查詢語法做個對比就好了 ",我也曾不止一次地想享受前人

    benjinxing 2017-08-16   34858   0

    nginx日志分析 - sed彩色標記特定內容 經驗

    之后,只能使用管道一次,如下命令將無任何輸出 tail -f access_log.log | grep 500 | grep 500 顏色標記日志中的特定內容 比如,nginx日志格式為: log_format main '$remote_addr

    jopen 2015-03-22   13777   0

    Java語言實現簡單的詞法分析 經驗

    編譯原理中的詞法分析算是很重要的一個部分,原理比較簡單,不過網上大部分都是C語言或者C++來編寫,筆者近期在學習Java,故Java語言實現了簡單的詞法分析器。 要分析的代碼段如下: 輸入文件

    whatthe89 2016-12-22   16588   0

    每天學點C++知識:合適的工具來分析你的代碼 經驗

    靜態代碼分析工具可簡化編碼過程,檢測出錯誤并幫助修復。有個國外團隊檢測了 200 多個 C/C++ 開源項目,包括了 Php、Qt 和 Linux 內核等知名項目。于是他們每天分享一個錯誤案例,并給出

    jopen 2016-01-14   8219   0

    再見Metro,Windows 10通應用設計趨勢分析 資訊

    語言,傳統桌面和平板兩種模式的融合也是一特色,可這兩種操作模式在使用體驗上的不一致也成為 Windows 8飽受用戶詬病的原因之一,但微軟自始至終都朝著平臺融合的目標堅定前行著。經過一路探索,微軟終于通過在Windows

    xf3f 2015-04-24   6620   0

    google-perftool分析程序的內存/CPU使用 經驗

    最近,用到了google-perftool分析程序的內存和CPU的使用情況,總結一下使用的一些方法和體會,分享給有需要的朋友。首先,說說google-perftool,它是由google開發的用來分析C/C++程序性能的一

    jopen 2012-09-18   39650   0

    logstash,elasticSearch,kibana實現數據收集和統計分析工作 經驗

    進行統計和分析,這個過程通常包括數據采集,清洗,建模,分析,報表等。接下來在本篇文章中,將會構建一個基于 logstash,elasticSearch , kibana 的一套數據收集分析的系統 一、框架概要

    p4cf 2015-11-29   131527   0

    Python分析公開數據選出高送轉預期股票 經驗

    。 1. 選股原理 一般來說,具備高送轉預期的個股,都具有總市值低、每股公積金高、每股收益,流通股本少的特點。當然,也還有其它的因素,比如當前股價、經營收益變動情況、以及以往分紅送股習慣等等。

    ITLMau 2016-11-21   14041   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色