詹姆斯·漢密爾頓在自己的游艇上(騰訊科技配圖)
騰訊科技訊(童云)北京時間2月21日消息,《連線》雜志網絡版近日刊載文章稱,設計日益復雜的數據中心“帝國”是亞馬遜網絡服務背后的推動力,這項服務不啻于一場革命。但是,伴隨這種巨大成功而來的是一整套的計算問題,而身為亞馬遜“杰出工程師”的詹姆斯·漢密爾頓正是負責解決這些問題的主要人物之一。
以下是這篇文章的全文:
在2011年8月份某個陰雨連綿的周一,北弗吉尼亞一個1000萬瓦特的變壓器發生爆炸,在整個電網中帶來了龐大的突增瞬間電壓,對亞馬遜位于弗吉尼亞州阿什伯恩(Ashburn)的一個數據中心造成了重創,導致這個數據中心的主電源關閉。在大約15分鐘以后,詹姆斯·漢密爾頓(James Hamilton)恰好駛入了這個數據中心的停車場。
對阿什伯恩數據中心來說,漢密爾頓在那個時刻到來只是一個意外的驚喜。漢密爾頓是亞馬遜的“杰出工程師”,他管理著該公司設計日益復雜的數據中心“帝國”,這個龐大的帝國是亞馬遜網絡服務(Amazon Web Services)背后的推動力——這項服務不啻于一場革命,它所聚集的在線服務為全球范圍內的諸多公司提供運算能力,包括全球最大的在線視頻服務提供商Netflix、圖片社交網站Pinterest和云存儲服務提供商Dropbox等。
當漢密爾頓和他的團隊趕到時,這個數據中心的備用發電機已經啟動;但由于某種原因,備用發電機的電力未能傳輸到數據中心內部的服務器。漢密爾頓到達時,這些服務器已經耗盡了電池系統的大部分電力,這個系統的功能是在斷電時暫時維持服務器的運行。“我們抵達時,服務器正開始宕機。”哈密爾頓在最近于拉斯維加斯召開的一次亞馬遜會議上發表講話時回憶道。“那真是太煩人了,太煩人了。”
“太煩人了”這種表述已經是婉轉的說法。漢密爾頓的工作是用他冷靜的頭腦去應對這種情況,以及找出辦法避免未來出現類似的問題。他和他的團隊最終認識到,對于亞馬遜來說,當時向數據中心服務器提供備用電力的發電機是不適用的——在數據中心里,像這樣的宕機是永遠都不能發生的。今天,這家公司已經設計了自己的電力裝置,這種裝置使用可編程邏輯控制器(programmable logic controller,PLC)。“我們已經擁有多家開關裝置提供商。”漢密爾頓在拉斯維加斯會議上說道。“我們已經對所有這些提供商的PLC程序設計進行了仔細檢查,也對我們所有的開關裝置進行了編碼復核。”
當亞馬遜在2006年推出EC2和S3網絡服務時,這些服務令運算行業發生了改變。大型服務器廠商——其中最引人注目的是Sun Microsystems——此前一直都在籌劃一個想法,那就是以類似于公用事業公司出售水或電力的方式來出售計算能力;但令所有人都感到大吃一驚的是,到最后卻是亞馬遜這家圖書和CD零售商成功開發出了一整套服務,讓市場樂意付錢購買。在七年以后的今天,這家公司正在運營一項價值巨億的云計算業務,從知名云計算公司Rackspace到惠普等許多公司都想要復制亞馬遜的成功。
但是,伴隨這種巨大成功而來的是一整套的計算問題,而漢密爾頓正是負責解決這些問題的主要人物之一,他正在努力反思,想要建設云計算時代的數據中心。在很大程度上與其他兩家云計算巨頭——谷歌(微博)和微軟——相似的是,亞馬遜也幾乎并未透露這家公司有關數據中心工作的細節,將其視為最重要的商業秘密。但是,鑒于漢密爾頓的崇高地位,他是亞馬遜員工中為數不多地獲許在博客上發表自己重大想法的人之一。現在,這位擁有一半加拿大血統的亞馬遜工程師已經在業界建立起了配電系統專家的名聲。
“他真的非常內行。”Netflix的云架構負責人阿德里安·柯克羅夫特(Adrian Cockcroft)說道,這家公司是亞馬遜最引人矚目的客戶。“他從事這個領域的工作已經有很長時間,設計了很多有趣的東西。”
對Netflix來說,亞馬遜“即付即用”的計算服務是最理想的選擇。在每個周日的晚上,到Netflix網站上觀看電影的用戶人數會大幅增加;然后到下個周一時,這些用戶中的大多數都會突然消失。通過與亞馬遜之間的合作,這家公司能在需要的時候獲得必需的資源,在不需要的時候釋放資源。但是,柯克羅夫特和Netflix還必須相信,亞馬遜有能力始終維持其龐大的數據中心的正常運作,而且價格也遠低于Netflix自己運營數據中心的費用。這就是漢密爾頓負責的領域。
當蘋果稱其將建設一個占地100英畝(約合0.4平方千米)的太陽能電廠,來為該公司在北卡羅來納州梅登(Maiden)運營的規模龐大的數據中心提供清潔能源時,大多數人都情不自禁地想要將其視為“上帝的綠色地球”(God’s Green Earth)那種美好未來的重大勝利。但漢密爾頓并不這么想。
“我就是算不過這筆賬來。”他在去年寫道。“我很想知道,這種龐大的太陽能電廠是否只是糟糕的想法和純粹的營銷。這種項目對環境的影響是肉眼可見的。”
漢密爾頓不是營銷人員,而是一名工程師,只會從工程師的角度出發來看待問題。他指出,太陽能電廠必須龐大到令人覺得荒謬可笑的程度,才能大幅降低蘋果規模巨大的數據中心將給周邊環境所帶來的壓力。他極力主張,雖然蘋果計劃建設的這個太陽能電廠占地多達100英畝,但很可能只能提供運營數據中心所需要的4%左右的電力。
根據漢密爾頓的計算,如果想要為占地50萬平方英尺(約合4.6萬平方米)的數據中心提供全部電力,那么就需要建設一個1.81億平方英尺(約合16.8平方千米)的太陽能電廠。“有很多方法能從根本上降低數據中心對環境造成的影響,同時又不需要占用如此之多的土地。”漢密爾頓說道。“我會首選降低配電、冷卻、存儲、網絡和服務器的效率和提高整體利用率,來作為降低數據中心行業對環境造成之影響的最好方法。”
從法拉利到數據中心
當去年11月份我們在拉斯維加斯碰到漢密爾頓時,他和妻子珍妮佛·漢密爾頓(Jennifer Hamilton)還有他的貓“噴火”(Spitfire)剛剛在無邊的大海上度過了11天,駕駛著他們的游艇“狄羅娜”(Dirona)號從舊金山開到了夏威夷。漢密爾頓并非人們眼中傳統意義上的典型工程師,他還是一名“船夫”——他甚至會生活在船上,偶爾才會停泊到亞馬遜網絡服務西雅圖總部附近的貝爾海港碼頭(Bell Harbor Marina)——而在此以前,他還曾做過汽車修理師,專業修理蘭博基尼和法拉利。
在二十世紀八十年代,漢密爾頓從修車轉向數據庫行業,曾致力于開發IBM的DB2數據庫和微軟SQL Server。NetFlix的柯克羅夫特幾年以前曾在加利福尼亞州阿西洛瑪(Asilomar)跟漢密爾頓碰面,這次會議是只有接到邀請函的人士才能出席的,其聯合創始人是吉姆·格雷(Jim Gray)。格雷是數據中心領域中傳奇性的專家,業界經常會把他與漢密爾頓相提并論。格雷和漢密爾頓一樣都很熱愛大海——悲哀的是,格雷六年前在加利福尼亞州北部的海面上消失無蹤——兩人曾在供職于IBM時一同推進了數據庫研究的邊界,隨后漢密爾頓跳槽到了微軟。
但在微軟供職時,漢密爾頓對數據中心著了迷,在一個名為“數據中心未來”(Data Center Futures)的研究團隊中擔任建筑工程師。在2009年,他跳槽到亞馬遜,負責類似的公司,不過許多細節仍舊都不為人所知,原因是亞馬遜和微軟都不愿公布有關數據中心的秘密。當我們詢問微軟數據中心集團主管大衛·高蒂耶(David Gauthier)他是否認識漢密爾頓時,他回答道:“是的,我確實花了很多時間跟漢密爾頓一起合作,隨后他離開了微軟”,但隨后就拒絕透露更多事情。
但我們時不時地會聽說漢密爾頓正在如何改變數據中心世界的故事。當漢密爾頓供職于微軟時,曾有報道稱他是微軟發展模塊化數據中心計劃背后的推動力之一。當我們在拉斯維加斯跟漢密爾頓一起喝啤酒時,他證實亞馬遜目前正在設計自己的服務器,目的是在自身龐大的數據中心帝國中削減成本。
在過去幾年時間里,漢密爾頓一直都在華盛頓大學發表客座演講,內容涉及一系列有關數據中心設計和效率的“驚人言論”,華盛頓大學計算機系教授艾德·拉佐斯卡(Ed Lazowska)說道。但拉佐斯卡強調指出,這些言論只能代表漢密爾頓工作內容的“冰山一角”,他的工作非常“寬泛深遠”——同樣的詞他還曾用在失蹤的格雷身上。
文藝復興式的黑客
在大約四年以前,詹姆斯夫婦賣掉了自己的房子、汽車和大多數身外之物,搬到了“狄羅娜”號上。現在,當漢密爾頓停泊在西雅圖時,他會騎自行車去亞馬遜總部,通過亞馬遜Amazon Prime服務購物,在當地的UPS辦事處收郵件。但他不會一直都滯留在西雅圖,有時他會駕船開往夏威夷,然后在那里工作。
簡而言之,漢密爾頓“黑”了自己的生活。他會重新思考自己的生活,然后將其變得煥然一新。漢密爾頓是那種想要“黑”掉一切的人,這就是亞馬遜想要他的原因。
亞馬遜已經在全球范圍內建立了諸多數據中心,從巴西到新加坡到愛爾蘭,可以說是無處不在。去年,亞馬遜在科技和內容領域中花費了45億美元資金;雖然亞馬遜并未透露該公司在數據中心業務上花了多少錢,但在2012年增加的16億美元科技和內容支出中,亞馬遜網絡服務占據了多數比例。由于涉及數十億美元的龐大資金,因此亞馬遜一定需要有人能維持數據中心的運作,而且要維持盡可能有效的運作。
拉佐斯卡說道,這種人才是可遇不可求的。“即使是在微軟、亞馬遜和谷歌這樣的大型公司中,也只有很少人能真正理解你需要把重點放在哪里。如果你的目標是想要盡可能地以成本效益良好的方式來運營數據中心,那么需要朝著什么方向努力呢?”
而詹姆斯·漢密爾頓正是這樣的人才之一。
【想看更多科技獨家爆料和深度報道嗎?關注騰訊科技微信官號吧!每日下午還有引人思考的內容,期待與您共鳴。(微信號:騰訊科技)】