Tuesday 19 February 2013

Facebook找高手研發閃存記憶體,解決大量照片儲存問題

Facebook工程推手Jay Parikh。Photo: Wired/Ariel Zambelich

 

每個有Facebook帳號的人幾乎都貼過圖檔,Facebook上至今已經儲存了2400億張數位相片,這個數量正以每天3500萬張的速度增加中。這麼多照片能夠有條不紊的在Facebook上保留到天長地久,幕後的功臣就是Jay Parikh。

但是這位達人並非萬能,他也是需要幫助的。目前,他需要業界高手幫他發明一種全新的閃存記憶體,專門用來存放大家貼過以後或許再也不會回頭去看的舊照片。

Parikh的現職是Facebook的基礎設施工程部門副總裁,他的職責是督導旗下工程師研發能夠用來支持世界第一大社群網站運作的軟硬體設施。過去幾個月來,他和他的手下成功的說服世界各地電腦生產商建造符合Facebook以及其他超大型線上機構的特殊需要的硬體設備。

就在上個月,晶片業的龍頭Intel和AMD以及其他兩家晶片製造商都表示願意支援Facebook,他們將開發新型伺服器,讓客戶能夠隨時新增或移除處理器

2011春季起,Facebook開始贊助一項名為「開放電腦計畫」(Open Compute Project)的研究方案,希望透過社群合作的模式讓硬體工業改頭換面。一月中,Facebook發表了這個研究方案的最新成果。但是Parikh並不就此滿足,他要得更多。

目前用戶貼到Facebook上的舊照片都存在傳統式的機械硬碟上,效果算是令人滿意。但是當照片數量暴增到數千億張,有些已經三、四年之久,管理起來就有點力不從心了。會去翻看舊照片的人少之又少,但是這些照片還是得存在硬碟上,這樣大的存檔容量需要相當多的能源才能維持,顯然不是長久之計。

通常,一家公司為了出清空間會把舊的數位數據搬到磁帶上備份儲存,但Facebook不能這樣做。再怎麼老舊的數位相片都一定要用能讓客戶隨傳隨到的方式儲存。

「客戶想看照片的時候,我們不能說,『要五年前萬聖節的照片是嗎?請稍等一星期,我們調到存檔帶之後會放上硬碟寄給你』。」Parikh於開放電腦計畫高峰會議上如此表示。

目前最有希望的解決方案就是把這些照片搬到電腦數據中心的新寵:閃存記憶體上。這種裝置根硬碟比起來消耗較少的能源,但是價格不菲。

當今世上最快的超高速閃存裝置確實能夠儲存大量數據以供快速調度,但是這種裝置適合用來儲存用戶經常存取的數據,如果Facebook用這種裝置來「冷藏」平常不太用的資料,那麼代價實在太高了。

這就是為什麼他希望業者能夠幫他做出物美價廉的閃存記憶體。不管是什麼樣的記憶體都會隨著讀寫次數頻繁逐漸耗損最後報廢,世面上現有的快閃記憶體的優點是能夠經得起大量的讀寫次數,但他想要的是專門用來存放極少存取的數據的快閃記憶體。

「高耐寫度對我們而言不重要,」他在高峰會議上表示:「我們要的是能夠便宜儲存十億位元組的記憶體。」這種裝置不但能夠節省電力,更能讓他手下的工程師在寫程式的時候有更多彈性。

Parikh甚至拿車輛來打比方。他說,今天市場上就好比只有廂型車和高級跑車兩種可選,沒有人做他想要的混合動力車。「現有產品種類非常貧乏,除了硬碟之外,不是磁帶就是閃存記憶體。」

他的理想乍看之下難以成真,但今天的Facebook已非吳下阿蒙,公司影響力無遠弗屆,只要開口,就會有人回應。

Facebook的硬體設計與供應鏈專家Frank Frankovksy告訴我們,Facebook的工程師和猶他州的閃存記憶體公司Fusion-io合作已有一段時日。在開放電腦計畫高峰會議上首次露面的3.2兆位元組閃存記憶體,就是該公司在聽取Facebook軟體設計師多方建議後開發出來的產品。而Fusion-io的執行長David Flynn對這份合夥關係也非常滿意。

Facebook已經開始用Fusion-io的高速閃存卡來跑資料庫軟體了。現在眾多用戶張貼的文字訊息就是存在這種設備上。不久的將來,Facebook打算將閃存記憶體應用在位於奧勒岡州普林韋爾市的冷藏數據庫裡面。這當然要等新的廉價閃存記憶體開始量產才能實現,不過照目前趨勢看來,達成這份願景應該不是問題。



from WIRED.tw http://wired.tw/2013/02/18/facebook-cold-storage/index.html