蘋果北卡羅來納梅登數(shù)據(jù)中心俯瞰圖(騰訊科技配圖)
騰訊科技訊(瑞雪)北京時(shí)間3月15日消息,《連線》雜志近日刊載文章稱,蘋果和Facebook都正在從企業(yè)級(jí)固態(tài)硬盤廠商Fusion-io那里購買新一代的硬件設(shè)備,旨在推動(dòng)自身數(shù)據(jù)中心的發(fā)展。文章指出,內(nèi)存世界和硬盤世界之間的界限正在變得模糊,而閃存卡在很大程度上被認(rèn)為是服務(wù)器存儲(chǔ)的未來。
以下是這篇文章的全文:
如果你雇一架飛機(jī),就能飛過蘋果在北卡羅來納州林地中運(yùn)營著的規(guī)模宏大的數(shù)據(jù)中心,為這座占據(jù)50萬平方英尺(約合4.6萬平方米)的大型設(shè)施拍下一些遠(yuǎn)景照片,它是蘋果iCloud網(wǎng)絡(luò)服務(wù)背后的推動(dòng)力。而如果你是步行的話,那么不妨靠得近一些。或許你甚至可以偷偷看一眼太陽能電站或是生物質(zhì)能發(fā)電廠,它們?yōu)檫@座數(shù)據(jù)中心提供電力。但蘋果不會(huì)允許你進(jìn)入到這座建筑物里面,也不會(huì)告訴你在那里可能會(huì)找到什么。如果能知道那就太好了。
跟谷歌(微博)和亞馬遜一樣,蘋果也向全球范圍內(nèi)的數(shù)億人提供網(wǎng)絡(luò)服務(wù)——最新的統(tǒng)計(jì)數(shù)字顯示,iCloud的用戶人數(shù)超過了2.5億——這就需要全新的硬件和軟件,其數(shù)據(jù)中心里的設(shè)備需要比大多數(shù)其他數(shù)據(jù)中心都要更有效率。你可以認(rèn)為這是未來的技術(shù);隨著網(wǎng)絡(luò)服務(wù)的繼續(xù)增長,蘋果和谷歌之流所使用的技術(shù)將逐漸滲入世界其他地方。事實(shí)上,在很多情況下,這種滲透已經(jīng)開始了。
“這些互聯(lián)網(wǎng)巨頭都是先驅(qū)者。”數(shù)據(jù)中心領(lǐng)域中的長期分析師、目前負(fù)責(zé)運(yùn)營在線技術(shù)研究社區(qū)Wikibon的大衛(wèi)·佛羅耶(David Floyer)說道。
我們所知道的事情是,蘋果正在花費(fèi)大量資金從一家名為Fusion-io的公司那里購買新一代的硬件設(shè)備,后者是一家企業(yè)級(jí)固態(tài)硬盤廠商。按照相關(guān)規(guī)定,F(xiàn)usion-io需要披露通常在其營收中占有較大比例的客戶信息;據(jù)這家總部位于鹽湖城的公司發(fā)布的最新年報(bào)顯示,2012年該公司營收的25%(8980萬美元)來自于蘋果。這只是來自一家公司的一個(gè)數(shù)據(jù)而已,但這個(gè)數(shù)據(jù)可以作為一個(gè)“標(biāo)桿”,向我們展示現(xiàn)代的數(shù)據(jù)中心正在走向何方。
在蘋果于北卡羅來納州梅登(Maiden)運(yùn)營的數(shù)據(jù)中心或是其他類似規(guī)模的數(shù)據(jù)中心里,你會(huì)看到成千上萬的服務(wù)器。Fusion-i生產(chǎn)的一種纖巧的卡片會(huì)被插入這些服務(wù)器,跟數(shù)以百計(jì)的大容量閃存擠在一起,這些東西把持著你智能手機(jī)上的所有軟件和數(shù)據(jù)。你可以把這種卡片視為通常會(huì)被用于服務(wù)器的老式硬盤的替代品,它在很大程度上就像是一塊硬盤,能存儲(chǔ)各種信息。不過,這種卡片沒有任何活動(dòng)件,這意味著它一般會(huì)更加可靠。跟傳統(tǒng)硬盤相比,它消耗的電量更小,而且能讓你更快地讀寫數(shù)據(jù)。
但那只是這種卡片的功能之一,它同時(shí)還可作為加強(qiáng)版的服務(wù)器主存儲(chǔ)子系統(tǒng)運(yùn)行,這個(gè)子系統(tǒng)是中央處理器暫時(shí)緩存數(shù)據(jù)的地方,以便在需要時(shí)迅速調(diào)用。你知道,今時(shí)今日速度超快的處理器不僅是讓硬盤根不上它的速度,就連主存儲(chǔ)器也是如此——硬盤轉(zhuǎn)速過慢,內(nèi)存空間過小——而通過自身生產(chǎn)的閃存卡,F(xiàn)usion-io的目標(biāo)是克服這兩個(gè)瓶頸。
“如果愿意的話,你可以把它做成傳統(tǒng)硬盤的樣子,但也能像現(xiàn)在的樣子,讓一個(gè)系統(tǒng)內(nèi)部能容納更多的硬盤。”Fusion-io首席執(zhí)行官大衛(wèi)·弗林(David Flynn)說道,這位工程師與連續(xù)創(chuàng)業(yè)家里克·懷特(Rick White)在2006年聯(lián)手創(chuàng)建了這家公司。“我們之所以將其稱為Fusion-io,是因?yàn)樗莾?nèi)存與硬盤的融合體,而且兩者是密不可分的。”
其結(jié)果就是,像蘋果這樣的公司能更有效地處理從互聯(lián)網(wǎng)各處流入其數(shù)據(jù)中心的所有請(qǐng)求。這個(gè)數(shù)據(jù)中心能更快地交付數(shù)據(jù),而且是在所用服務(wù)器更少的情況下做到這一點(diǎn)——對(duì)于規(guī)模如此龐大的業(yè)務(wù)來說,用較少的服務(wù)器來交付數(shù)據(jù)是一件至關(guān)重要的事情。這就是為何蘋果要花那么多錢在Fusion-io身上的原因所在,也是為何其他許多公司正朝著同一個(gè)方向前進(jìn)的原因所在。在2012年,F(xiàn)acebook花在從Fusion-io那里購買硬件的錢比蘋果更多,為1.0779億美元。整體來說,在過去幾年時(shí)間里,這兩家互聯(lián)網(wǎng)巨頭已經(jīng)在Fusion-io身上花了將近5億美元,而云計(jì)算公司Salesforce.com等規(guī)模較小但卻正在增長中的公司也同樣正在使用這種閃存卡。
Fusion-io已經(jīng)在這些龐大的數(shù)據(jù)中心里取得了如此巨大的成功,這促使其他許多公司也爭相跟風(fēng)。就在上周,科技巨頭EMC剛剛發(fā)布了一整套新的閃存卡產(chǎn)品,硅谷創(chuàng)業(yè)公司Violin Memory也已經(jīng)推出閃存卡。另一家創(chuàng)業(yè)公司Virident Systems正在開發(fā)類似的產(chǎn)品,世界上最大的硬盤廠商之一希捷將在不久以后利用Virident閃存卡“突襲”大型互聯(lián)網(wǎng)公司及其他公司。
Fusion-io閃存卡(騰訊科技配圖)
希捷已經(jīng)在向大型互聯(lián)網(wǎng)公司——包括蘋果、Facebook、谷歌、微軟和亞馬遜在內(nèi)——直接出售硬盤驅(qū)動(dòng)器,未來也將繼續(xù)這樣做。但這家公司現(xiàn)在所關(guān)注的是,數(shù)據(jù)中心未來將走向何方。“內(nèi)存世界和硬盤世界之間的界限正在變得模糊。”希捷新閃存硬件業(yè)務(wù)部門的負(fù)責(zé)人加里·根特里(Gary Gentry)說道。“人們已經(jīng)受到了Fusion-io的啟發(fā)。”
但這種趨勢并非是由一家公司所推動(dòng)的。谷歌也正在自己的服務(wù)器內(nèi)部使用閃存卡——去年夏天我們從谷歌全球數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)責(zé)人烏爾斯·霍爾澤(Urs Holzle)那里聽說了這個(gè)消息——而據(jù)硅谷傳言稱,這家搜索巨頭正在生產(chǎn)自己的閃存卡。微軟告訴我們說,這家公司也在自己的數(shù)據(jù)中心中使用類似的閃存卡,而且在很大程度上認(rèn)為這將是服務(wù)器存儲(chǔ)的未來。
微軟服務(wù)器工程總經(jīng)理Kushagra Vaid指出,閃存能進(jìn)一步改進(jìn)服務(wù)器存儲(chǔ)子系統(tǒng),原因是其具有“非易失性”,意味著當(dāng)你關(guān)閉或是重啟服務(wù)器時(shí),數(shù)據(jù)不會(huì)丟失。在研究人員正尋找其他辦法來改進(jìn)服務(wù)器存儲(chǔ)的同時(shí),Vai認(rèn)為“正在非易失性存儲(chǔ)領(lǐng)域中發(fā)生的創(chuàng)新”是所有可能性中最有趣的。
Fusion-io聯(lián)合創(chuàng)始人大衛(wèi)·弗林(中)和里克·懷特(右)
靈感源自糟糕的想法
如果你對(duì)Fusion-io稍有了解,那么就會(huì)知道這家公司的首席科學(xué)家是史蒂夫·沃茲尼亞克(Steve Wozniak),也就是與其高中時(shí)代的好友史蒂夫·喬布斯(Steve Jobs)聯(lián)手創(chuàng)立蘋果的那個(gè)人,人們經(jīng)常都會(huì)親切地把他叫作沃茲。對(duì)于Fusion-io的新一代存儲(chǔ)產(chǎn)品而言,沃茲就像是會(huì)走路的公關(guān)宣傳品,但這個(gè)想法并不是他的,而是發(fā)源于里克·懷特和大衛(wèi)·弗林。
在聯(lián)手創(chuàng)立Fusion-io以前,懷特和弗林曾在一家名為Realm Systems的公司中共事,這家公司出售一種能放在人們口袋里的電腦,這種電腦的設(shè)計(jì)目的是讓人們能把自己的在線身份帶到任何地方去——你可以把它插入另一臺(tái)電腦,通過指紋掃描或是其他方式來認(rèn)證身份,然后就能在一瞬間登陸所有軟件應(yīng)用——但是這種產(chǎn)品從來都沒有真正“起飛”,其部分原因是這家公司的資金陷入了干涸狀態(tài)。
當(dāng)兩人開動(dòng)腦筋構(gòu)思創(chuàng)建一家新公司的想法時(shí),華特建議稱,他們應(yīng)該把Realm微型電腦內(nèi)部的處理器改變下用途。他對(duì)弗林說,如果他們能把數(shù)百個(gè)這樣的處理器連到一起,那么就能創(chuàng)造出一種低能耗的超級(jí)電腦,可在數(shù)據(jù)中心內(nèi)部運(yùn)行海量應(yīng)用。弗林是一名工程師,他曾在勞倫斯·利弗莫爾國家實(shí)驗(yàn)室(Lawrence Livermore National Labs)等機(jī)構(gòu)中制造過超級(jí)電腦。他對(duì)懷特說道,那是一個(gè)糟糕透頂?shù)南敕?#8212;—“他提醒我說,那些微型電腦中的處理器不能做到浮點(diǎn)處理。”懷特回憶道。但是,這種想法觸發(fā)了另外一個(gè)想法。
除了處理器以外,Realm微型電腦中還有閃存。他們用閃存來代替硬盤驅(qū)動(dòng)器,作為對(duì)構(gòu)成其存儲(chǔ)子系統(tǒng)的DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)的補(bǔ)充。弗林認(rèn)識(shí)到,把所有這些微型處理器連到一起是沒有意義的,但可以對(duì)服務(wù)器進(jìn)行重新構(gòu)建,使其看起來更像是Realm電腦。
現(xiàn)在有很多公司都已經(jīng)在提供固態(tài)硬盤,這是一種旨在模仿硬盤驅(qū)動(dòng)器的閃存設(shè)備,看起來與硬盤驅(qū)動(dòng)器相似,能插入相同的接口。但弗林的目標(biāo)則是另一種不同的東西,他想要生產(chǎn)一種同時(shí)還能模仿服務(wù)器存儲(chǔ)子系統(tǒng)的閃存設(shè)備。“我從事過有關(guān)超級(jí)電腦的工作。”弗林說道。“我知道這些大型系統(tǒng)最大的問題就是缺少存儲(chǔ)空間。”
從設(shè)計(jì)方面來看,今天的服務(wù)器處理器只能使用特定數(shù)量的DRAM。從理論上來說,存儲(chǔ)空間上限是4TB,也就是4000GB;但在實(shí)際上,大多數(shù)服務(wù)器所裝配的DRAM都要少得多。弗林的想法是,開發(fā)一種相當(dāng)于二級(jí)存儲(chǔ)子系統(tǒng)的產(chǎn)品,從而容納多得多的數(shù)據(jù),而這種想法的結(jié)果就是Fusion-io閃存卡得以誕生。這種閃存卡并非插入硬盤驅(qū)動(dòng)器的控制器,而是直接插入PCIe接口;換而言之,這種閃存卡與處理器之間的距離變得更近,繞過了運(yùn)行硬盤驅(qū)動(dòng)器所需要的全部額外硬件和協(xié)議。
在今天看來,這像是一件顯而易見應(yīng)該去做的事情;但在當(dāng)時(shí),這種想法是相當(dāng)偏離常規(guī)的。這不僅是公司習(xí)慣了在服務(wù)器內(nèi)部僅使用硬盤驅(qū)動(dòng)器和DRAM的緣故,而且還是因?yàn)樗鼈儗⒋蟛糠謹(jǐn)?shù)據(jù)都在服務(wù)器以外進(jìn)行存儲(chǔ)——也就是存儲(chǔ)在所謂的“存儲(chǔ)區(qū)域網(wǎng)”(SAN,storage area network)中。而通過自己生產(chǎn)的閃存卡,F(xiàn)usion-io尋求取代這些笨重的儀器,它把這種閃存卡稱為“手心里的SAN”。
最早的大客戶是Facebook
Fusion-io在2007年秋天推出了閃存卡,當(dāng)時(shí)這家公司所獲得的第一個(gè)大客戶就是Facebook。弗林與保羅·薩博(Paul Saab)是好友,后者是一名Facebook軟件開發(fā)者,也是FreeBSD開源操作系統(tǒng)的知名捐助人之一。隨后,這兩家公司之間的關(guān)系就開始不斷地進(jìn)展。時(shí)至今日,F(xiàn)usion-io甚至將跟Facebook工程師一起合作設(shè)計(jì)新的閃存卡。
蘋果則來的比較晚一些。一種很自然的想法會(huì)是,F(xiàn)usion-io與蘋果之間的合作關(guān)系是由沃茲尼亞克——他是在2008年加盟Fusion-io,出任該公司首席科學(xué)家的——推動(dòng)的,但據(jù)弗林說,事實(shí)并非如此。跟通常做法一樣,蘋果并未對(duì)有關(guān)討論該公司使用閃存卡一事的請(qǐng)求作出回應(yīng),但Facebook則是另一種態(tài)度。跟蘋果不同,這家社交網(wǎng)絡(luò)巨頭樂于公開自己數(shù)據(jù)中心內(nèi)部使用的硬件和軟件,而該公司新時(shí)代的系統(tǒng)應(yīng)該會(huì)讓你很好地了解這些閃存卡能如何重塑服務(wù)器。
最初,F(xiàn)acebok將這種閃存卡用在運(yùn)行其數(shù)據(jù)庫軟件的服務(wù)器中,這也是其他公司對(duì)閃存固態(tài)硬盤通常的用法。基本上來說,這些閃存卡取代了硬盤驅(qū)動(dòng)器。通過在閃存卡而非硬盤驅(qū)動(dòng)器中運(yùn)行數(shù)據(jù)庫軟件的方式,F(xiàn)acebook能大幅提高狀態(tài)更新、用戶評(píng)論以及其他社交網(wǎng)絡(luò)交流活動(dòng)的交付速度。
“當(dāng)一項(xiàng)請(qǐng)求進(jìn)入數(shù)據(jù)庫層面時(shí),我們想要能以非常快的速度對(duì)其作出應(yīng)答。”Facebook硬件設(shè)計(jì)主管弗蘭克·弗蘭科夫斯基(Frank Frankovsky)曾這樣對(duì)我們說道。“對(duì)用戶來說,這是在整體往返時(shí)間方面所作出的一種重大改進(jìn)。”與此同時(shí),這些閃存設(shè)備還能減少因設(shè)備故障而帶來的麻煩。正如弗蘭科夫斯基所說,數(shù)據(jù)中心內(nèi)部硬盤驅(qū)動(dòng)器比其他任何設(shè)備都更容易出故障。今天,F(xiàn)aceobok甚至?xí)ㄟ^這些閃存卡來啟動(dòng)數(shù)據(jù)庫服務(wù)器。
除了運(yùn)行數(shù)據(jù)庫軟件的服務(wù)器以外,F(xiàn)acebook目前還正在把這種閃存卡用于其他服務(wù)器;而且,閃存卡不僅只是取代硬盤驅(qū)動(dòng)器,同時(shí)也正在取代內(nèi)存。從傳統(tǒng)上來說,F(xiàn)acebook還運(yùn)營著另一個(gè)層面的服務(wù)器,用來運(yùn)行所謂的“Memcached”緩存系統(tǒng),這是為了對(duì)用戶最關(guān)注的東西提供更加迅速的回應(yīng);通過這種數(shù)據(jù),甚至不必訪問數(shù)據(jù)庫層面就能迅速回應(yīng)。這套系統(tǒng)運(yùn)轉(zhuǎn)得非常好,但Facebook目前正在對(duì)這些服務(wù)器也作出改造,創(chuàng)造一個(gè)新的軟件平臺(tái),這個(gè)平臺(tái)能在閃存卡而非在主存儲(chǔ)器中緩存數(shù)據(jù)。
通過這個(gè)名為“McDipper”的新平臺(tái),F(xiàn)acebook能緩存的數(shù)據(jù)量遠(yuǎn)超以往。“閃存能讓每臺(tái)服務(wù)器的容量提高最多二十倍,同時(shí)仍可支持每秒鐘數(shù)萬次的操作。”這家公司在最近發(fā)表的一篇博客文章中說道。“很明顯這正是對(duì)這個(gè)問題的解答。”
微軟的Kushagra Vaid指出,雖然這種設(shè)備的速度仍舊遠(yuǎn)遠(yuǎn)低于主存儲(chǔ)器,但已經(jīng)足夠快,而且能耗較低。當(dāng)數(shù)據(jù)中心的規(guī)模達(dá)到微軟、Facebook或蘋果的水平時(shí),保持較低的能耗就跟其他任何事情一樣重要了。他進(jìn)一步指出,使用閃存設(shè)備的關(guān)鍵點(diǎn)在于,這種設(shè)備能帶來更多的選擇,而且從長期來看,這些選擇只會(huì)日益擴(kuò)張。“這個(gè)新的平臺(tái)架構(gòu)只花了兩年時(shí)間就已被創(chuàng)造出來。”他解釋道。“到今天,在如何平衡性能和能耗的問題上,應(yīng)用已經(jīng)變得更加精明,原因是其可以在系統(tǒng)內(nèi)存和非易失性存儲(chǔ)器之間選擇合適的平衡點(diǎn)。”
軟件公司
Facebook是從頭開始構(gòu)建McDipper平臺(tái)的,這也可以證明閃存卡到底正在多大程度上改變數(shù)據(jù)中心。現(xiàn)有軟件并非為了在閃存卡上運(yùn)行而設(shè)計(jì)的,因此必須設(shè)計(jì)新的軟件。這就是為何Fusion-io會(huì)有工程師在蘋果和Facebook等最大客戶的數(shù)據(jù)中心里工作的原因所在,同時(shí)也是為何這家公司要聘用多名因善于Linux內(nèi)核相關(guān)工作而著稱的軟件開發(fā)者的原因所在。在大型互聯(lián)網(wǎng)數(shù)據(jù)中心里,大多數(shù)機(jī)器搭載的開源操作系統(tǒng)的核心都是這種軟件。克里斯·梅森(Chris Mason)是這些開發(fā)者中的一員,他曾負(fù)責(zé)一個(gè)名為Btrfs的Linux文件系統(tǒng);此外還有詹斯·艾克索伯(Jens Axbo),他曾開發(fā)過多種Linux數(shù)據(jù)輸入和輸出相關(guān)工具。
“與人們?cè)谶^去數(shù)十年時(shí)間里一直都在使用的存儲(chǔ)設(shè)備相比,現(xiàn)在的存儲(chǔ)設(shè)備已經(jīng)大不相同,它們打破了一整套規(guī)則,以迥異于以往的方式運(yùn)行,能做到以前不可能做到的許多事情。”梅森說道。“但你必須要對(duì)核心軟件作出改變,才能做到這一點(diǎn)。”
梅森和弗林解釋道,之所以要對(duì)Linux及其他軟件作出改變,目的是要對(duì)其進(jìn)行調(diào)整,從而在最大程度上利用閃存卡。同時(shí),這還是為了讓公司能更加容易地開發(fā)自己的軟件。現(xiàn)在,F(xiàn)usion-io正在提供一個(gè)軟件開發(fā)工具包,方便開發(fā)者設(shè)計(jì)基于閃存卡的工具。弗林說道,今時(shí)今日的Fusion-io已經(jīng)在很大程度上變成了一家軟件公司,而不是硬件公司。
這一點(diǎn)在這家公司最近為“開源計(jì)算項(xiàng)目”(Open Compute Project)所作出的貢獻(xiàn)中可見一斑,這是由Facebook牽頭進(jìn)行的一個(gè)項(xiàng)目,旨在為數(shù)據(jù)中心創(chuàng)造出新的硬件設(shè)計(jì),并且將這些設(shè)計(jì)與全世界共享。在這個(gè)冬天,F(xiàn)usion-io將其閃存卡設(shè)計(jì)開源化,公布了除控制器以外的其他所有信息,目的是推動(dòng)人們開發(fā)出更多能運(yùn)行其新軟件的閃存設(shè)備。
弗林說道,他們的希望看到的是,廣達(dá)(Quanta)和緯創(chuàng)(Wistron)這樣的電腦廠商將在服務(wù)器主板中直接整合閃存,從而使其更加靠近處理器。畢竟,那才是數(shù)據(jù)中心未來將走向的方向。