Why Hadoop 數據規模爆炸式增長,大數據計算需要“高效”解決方案 多機環境中網絡成為瓶頸 多機環境下的穩定性問題 如何平衡計算效率和開發效率 What Hadoop Google的GFS + MapReduce的山寨產品 Hadoop = HDFS + MapReduce HDFS:分布式“大文件”存儲系統 MapReduce:分布式計算框架 計算邏輯必須符合Map-Reduce編程規范
Sogou的Hadoop生態系統 Hadoop Quick Start 深入MapReduce 了解MapReduce運行機制 如何調試MapReduce MultiInput & MultiOutput 數據Join操作 關于UigsTools MapReduce進階開發模式 各類資源列表
學習PL/SQL的基礎知識 學會如何使用PL/SQL Developer工具 學會如何調試PL/SQL 程序 介紹PL/SQL的內存表
Oracle Database In-Memory Performance Benefits with MicroStrategy Analytics Platform
Selenium教程基于java的selenium教程*Selenium的簡介Selenium是一個用于Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。支持的瀏覽器包括IE、MozillaFirefox、MozillaSuite等。這個工具的主要功能包括:測試與瀏覽器的兼容性——測試你的應用程序看是否能夠很好得工作在不同瀏覽器和操作系統之上。測試系統功能——創建衰退測試檢驗軟件功能和用戶需求。支持自動錄制動作和自動生成。Net、Java、Perl等不同語言的測試腳本。
MapReduce已經開始顯現老化的跡象,局限性越來越明顯。Tez作為下一代hadoop的執行引擎與傳統的MapReduce相比做了很大的改進和優化,將計算模型直接建立在DAG上面,比傳統的MapReduce更加直接,靈活,在性能上有很大的提升。同時由于Tez從項目開始就集成了Yarn,從而對于整個計算資源的Context了解的更加清楚,這也有助于性能的優化。本次演講將主要對Tez做一個Overview的介紹。
開發可掌控高并發服經驗分享:非阻塞+異步化+隊列小米瞿晉萍大綱服務端軟件=排隊服務回顧常見的并發模型介紹SEDA分享我們的經驗把系統看成一個排隊服務系統挑戰:1)增加服務員的個數(充分利用多核)2)讓每個服務員在保證可接受的時延(Ws)同時追求最大化的吞吐率(U)3)在客戶到達率超過服務處理能力,仍然能保證一定的服務質量傳統的半同步半異步并發模型傳統HsHa的優缺點優點:簡單缺點:依賴lock,對io密集型業務效率不高改進傳統HsHa的方向I/O操作的異步化+非阻塞編程模型的優化服務的可掌控
Hadoop Technical Walkthrough HDFS Databases Using Hadoop in an Academic Environment Performance tips and other tools
案例1-應用不時Load飆高案例2-Perm區GC頻繁性能調優工具及原理介紹JTopBTrace案例1:應用不時Load飆高奇怪的現象不定時Load飆高20以上,有時候40以上重啟后長時間Load正常早上重啟應用,一天表示都正常查看哪個線程占用大量CPU?
從TCP的角度理解速度優化@淘寶-核心系統研發-服務器平臺組叔度問題杭州某用戶帶寬2Mbps,在想要下載一個位于北京的1個字節的文件,需要多少時間?1*8/(2*1024*1024)=4微秒?實際情況在杭州辦公室ping淘寶北京電信CDN延時值為38毫秒Why?原因比特在網絡上要以光/電波傳播北京和杭州之間很近,但是也是有距離的光/電的傳播速度沒有快到可以忽略不計!兩地直線距離1300公里理論值真空中30萬公里每秒光在玻璃的傳播速度是真空的2/3往返距離1300*2=2600公里1300*2/(300000*2/3)=13毫秒其他因素路很難是直線,光纖也不可能全部是直線光在光纖里面全反射傳輸中間傳輸過程中的損耗 .
游標游標游標(Cursor)是處理數據的一種方法,為了查看或者處理結果集中的數據,游標提供了在結果集中一次以行或者多行前進或向后瀏覽數據的能力。就本質而言,游標實際上是一種能從包括多條數據記錄的結果集中每次提取一條記錄的機制。我們可以把游標當作一個指針,它可以指定結果中的任何位置,然后允許用戶對指定位置的數據進行處理。游標的組成游標包含兩個部分:游標結果集:定義該游標的SELECT語句返回的行的集合。游標位置:指向這個結果集某一行的當前指針。
電 電信大數據場景與關鍵技術1.2.數字足跡案例3.平臺和關鍵技術 過濾生成詳單數據模型實時KPI計算/CEP探針周期上報儀表盤15min~sec~sec~msec詳單查詢~hour~min事件產生探針實時上報~msec事件產生…實時KPI15分鐘KPI報表(現狀)15分鐘KPI報表(優化后)1小時KPI報表(現狀)天級KPI報表(現狀)15sec1min>2hour報表查詢15分鐘報表統計HDFS挑戰:1、HDFS的入庫性能2、高性能實時流處理場景一:業務KPI統計分析Page區域人數分布熱力圖直觀的顯示居住區、CBD、旅游點、軟件園等區域各時段人數變化情況。
loadRunner使用之場景設計
提出關于IT內部控制問題的建議;執行IT風險評估執行:體制風險領域的審計一般控制審計應用控制審計控制技術的技術性審計在系統開發和分析活動的內部控制顧問。IT審計角色什么是信息?近代控制論的創始人維納有一句名言:“信息就是信息,不是物質,也不是能量.
JS零碎經驗匯總工欲善其事必先利其器DreamweaverCS5最專業的HTML/CSS編寫工具,最為完善的HTML與CSS自動完成以及HTML代碼折疊站點管理/高速的全局搜索與替換還算不錯的JS語法提示&插件–JSLint內存占用適中(win7下50M),性能相對較高(比起Eclipse好太多)編輯注釋比較麻煩沒有逗號提示與括號的提示Aptana Studio3新浪推薦的JS編輯器基于Eclipse語法檢查較完善啟動慢,前期配置比較麻煩(沒有中文版),全局搜索較慢占用內存較大(win7下102M)Editplus/Notpad++/Vim簡單實用的文本編輯器占用內存少
互聯網創新金融模式研究2013年7月P2P貸款發展概況眾籌融資發展概況電商小貸發展概況虛擬貨幣發展概況互聯網金融帶來的變革2互聯網金融的發展機遇所處時期3互聯網金融的五類模式支付結算網絡融資虛擬貨幣渠道業務其他周邊產業創新能力行業特點金融搜索、理財計算工具、金融咨詢、法務援助等。N/AN/A包含內容第三方支付P2P貸款眾籌融資電商小貸虛擬貨幣金融網銷獨立于商戶和銀行為商戶和消費者提供的支付結算服務。
Erlang分布式系統的的領域語言。傳統服務器集群開發的痛編程語言和模型選擇各種編程語言?多線程?事件模型?阻塞模型?各種庫?典型問題穩定性挑戰C10K問題資源爭奪鎖沖突和粒度多核scale效果網絡編程復雜性內存管理復雜性傳統服務器集群運維的痛集群規模集群規模帶來的問題集群全聯通心跳壓力集群范圍挑戰性能和瓶頸分析日志分析挑戰消息跟蹤需求趨勢分析集群升級不間斷服務帶來的挑戰灰度發布升級和回滾集群容錯機器失效網絡故障機房層面
認識Python Python語言Python的基本語法Python中萬物皆對象字符集Python引用的作用域Python閉包Python的lambda表達式webpyIDE和編輯工具其他Python引用的作用域Python閉包Python的lambda表達式我們在用Python做什么一些Python資源問答python當年初始認識
1.簡明的數學模型揭示問題本質。對于這一類試題,我們 盡量用解析法求解。 2.對給定的問題建立數學模型,或即使有一定的數學模型,但采用數學方法解決有一定困難。對于這一類試題,我們只好用模擬或搜索求解。
The second-most authoritative source of modern C++ libraries Peer-reviewed portable C++ libraries covering an enormous number of uses and domains Experimental lab for code and libraries with the potential to be part of a future C++ standard library