基于Hadoop Yarn的DAG(有向無環圖)計算框架:Apache Tez

jopen 10年前發布 | 41K 次閱讀 分布式/云計算/大數據 Apache Tez

Apache Tez是基于Hadoop Yarn之上的DAG(有向無環圖,Directed Acyclic Graph)計算框架。它把Map/Reduce過程拆分成若干個子過程,同時可以把多個Map/Reduce任務組合成一個較大的DAG任務,減少了 Map/Reduce之間的文件存儲。同時合理組合其子過程,減少任務的運行時間。由Hortonworks開發并提供主要支持。

項目主頁:http://www.baiduhome.net/lib/view/home/1400722960815

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!