京東Presto獲開源優秀項目大獎 技術因開放而綻放
“第十屆開源中國開源世界高峰論壇”近日在廣州召開,京東的大數據開源計算框架 Presto榮獲2015COPU開源優秀項目大獎,同時,京東集團首席技術顧問翁志先生被評選為2015COPU開源杰出人物。本屆大會以“構建開源平 臺,服務萬眾創新”為主題,向行業分享了業界領先的開源技術。開源作為互聯網技術發展的重要引擎,所帶來的業務革新,對當前的互聯網企業有著重要的影響。 京東一直以開源系統作為構建自身核心技術體系的基礎,在開源領域深耕多年,并積極推動行業分享和交流。
京東資深數據庫開發工程師 戴東東
從Presto中國社區到開放JD-Presto源代碼
Presto是非死book于2013年秋季將其開源的分布式實時計算產品,因其絕佳的計算性能和數據源完全解耦的特性,在北美和歐洲得到廣泛應用,推動了大數據實時計算技術的快速發展。
2014年京東針對Presto進行了二次開發、應用,成為中國軟件業第一家成功將Presto投入生產使用的公司,同時與非死book展開深度合作,并幫助組建了Presto中國社區,支持Presto在中國的推廣。
2015年3月,京東正式發布了JD-Presto源代碼,將京東的工作成果貢獻于社區,開啟了京東回饋中國軟件開源社區的先河,與國內各個領域的開發者和用戶一起推動Presto在中國的發展。
貫穿于京東技術研發體系的開放意識
京東與非死book在業務模式上顯然是不同的,在將Presto引入到京東的技術體 系當中,需要根據自身的業務進行調整。翁志作為京東首席技術顧問,一直致力于推廣開源軟件,主導了Presto產品的引入,組建云平臺Presto研發團 隊。如今Presto已經部署在京東的生產環境當中,翁志表示:“對于Presto的弱點,我們投入了精力進行彌補,改進了JDBC Driver,重寫了并發性的調度,研發出了PDBO功能(Presto For DataBase Optimizer),大幅提升了Presto產品性能,生產使用表明,JD-Presto版本較其它大數據技術,性能提升10倍以上,成本節省一半,在 一個大規模的大數據集群中,這種技術優勢將帶來顯著的經濟效益,同時京東將這些成果反饋于社區,服務于廣大開源用戶,推動整個行業的高速成長。”
這種開放共享的精神,是開源世界所倡導的,也是京東所堅持的。對于京東來說,開放已經成 為技術研發體系非常重要的屬性之一。從系統架構上,京東已經建設完成了調用平臺化、API化、系統內部服務化的開放系統,因為只有開放才能夠滿足當前京東 龐大而復雜的業務需求。在技術文化上,京東同樣崇尚開放和分享,不僅通過內部的開放平臺迅速提升京東技術人的水平,而且更樂于對外開放資源,拉動互聯網行 業的整體技術升級。
JD-Presto終結了數據分析的兩難選擇,提供了速度迅捷又節省資源的方案。開源系 統的高速成長讓京東這樣推崇開源的企業從中獲益,使京東能夠在互聯網企業快速發展的過程中時刻保持創新的動力;同時京東也將自身的研發成果反哺回行業,為 更多的企業提供幫助,讓開放共享的精神成為行業發展動力。
來自:http://news.ccidnet.com/art/1032/20150701/5863129_1.html