推ter 重造 Google 的秘密武器

jopen 11年前發布 | 7K 次閱讀 Google Twitter

推ter 重造 Google 的秘密武器

Google 擁有許多數據中心,它如何進行管理呢?答案就是軟件系統 Borg。通過 Borg,公司可以將眾多數據中心視為一個電腦,進行統一管理。Borg 是公司保存最好的秘密之一。不過,推ter 工程師們開發了一個類似的系統,并且是開源的。這就是 Mesos。Wired 網站為我們揭開了 Mesos 開發背后的故事。

 

Borg 由工程師 John Wilkes 主導開發。他并不喜歡 Borg 這個名字,“我樂意稱其為那個不會被命名的系統”。Google 使用這個系統已經有九到十年的時間,而且他的團隊正在開發新的版本,代號是 Omega。

通過 Borg,Google 可以在大量的服務器之間有效分配任務。根據 Wilkes 的說法,這個系統非常有效,它為 Google 節省了一個數據中心。

Borg 是 Google 的秘密。不過,推ter 的工程師已經構建了一個類似的系統:Mesos。Mesos 計劃的創始人是 Ben Hindman。

Mesos 項目開始于 5 年前。當時 Hindman 在加州大學伯克利分校攻讀計算機科學博士學位。他從英特爾那里獲得了一些實驗性的計算機芯片。這些芯片是“多核處理器”。通過將芯片結合在一起,他構建了 64 核,甚至是 128 核的機器,并且編寫了軟件系統,以便在這些芯片間均衡地分配任務。在此過程中,他意識到,這個系統可以應用到整個數據中心,“單一芯片上的 64 核或者 128 核,看起來很像是一個數據中心的 64 臺或 128 臺機器”。

與此同時,他的一些朋友,包括 Andy Konwinsik 和 Matei Zaharia,正在開發跨數據中心的軟件平臺,就是“分布式系統”。Hindman 和朋友們決定一起開發項目。他們合作的成果是 Mesos,一種更有效地運行分布式系統的方法。通過 Mesos,他們可以在單一的服務器集群上運行多個分布式系統。

在 Mesos 計劃開始一年后,Hindman 和他的同事在 推ter 進行了演講,并引起了 推ter 三位工程師的興趣。這三個人曾在 Google 工作。他們告訴 Hindman 說,他們懷念 Borg,Mesos 似乎是重構這個系統的完美方式。

很快,Hindman 成為 推ter 的顧問,與這些前 Google 工程師們一起擴展了 Mesos 項目。他最終成為了 推ter 的全職員工。

Mesos 項目引起了 Google 的注意。John Wilkes 說,“我們發現他們在做的事情,我開始安排他們到這里,大概是每六個月來一次,只是聊聊天”。

Mesos 與 Borg 的基礎理念是相同的。根據 Hindman 的說法,Google 構建的新版本 Borg Omega,會更接近 Mesos 模式。

由于 Mesos 的開源性質,一些公司已經開始使用它,包括 AirBNB 和 Conviva。Borg 也會在不久的將來揭開面紗。John Wilkes 說,Google 近期會發表關于 Borg 的論文,因為公司相信這類工具已經達到一定的成熟度了。

Wired 網站認為,從長期來看,會有越來越多的公司跟隨 Google 和 推ter 的步伐。

Google 和 推ter 對待數據中心就像一臺大型電腦。逐漸地,整個世界都會這么做。這是計算機技術進步的方式。我們開始于一個復雜的界面,然后轉移到不復雜的界面。這發生在桌面電腦、筆記本電腦和服務器上。如今,這也發生在數據中心。

圖片來自 Petapixel
翻譯來自 愛范兒

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!