BOB半島Google還透露,這1PB數(shù)據(jù)是存儲在48000個硬盤上的(當(dāng)然并沒有全部填滿),不過考慮到測試的持續(xù)時間、涉及的硬盤數(shù)量、硬盤的使用壽命,每次進(jìn)行測試都會有至少一塊硬盤掛掉。為此Google文件系統(tǒng)會為每個文件備份三個拷貝,并分別放在三塊硬盤上BOB半島。
注:更多精彩教程請關(guān)注三聯(lián)電腦教程欄目,三聯(lián)電腦辦公群:189034526歡迎你的加入
每秒鐘1206萬億次的峰值速度和每秒5631萬億次的linpack實(shí)測性能使這臺名為天河一號的計(jì)算機(jī)位居同日公布的中國超級計(jì)算機(jī)前100強(qiáng)之首也使中國成為繼美國之后世界上第二個能夠研制千萬億次超級計(jì)算機(jī)的國家
當(dāng)然BOB半島,信息爆炸時代的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)不只是TB級別BOB半島BOB半島,更常見的是一千倍的PB級別。在今年1月份的時候,Google MapReduce平均每天的數(shù)據(jù)處理量是20PB,相當(dāng)于美國國會圖書館今年5月份存檔網(wǎng)絡(luò)數(shù)據(jù)的240倍BOB半島。
那么Google MapReduce對4000臺計(jì)算機(jī)上的1PB數(shù)據(jù)進(jìn)行排序處理需要多長時間呢?答案是6小時零2分鐘。放眼全球, 除了Google還沒有誰具備這種高速處理能力。
這個速度意味著,如果用“天河一號”計(jì)算一天,一臺當(dāng)前主流微機(jī)得算160年?!疤旌右惶枴钡拇鎯α?,則相當(dāng)于4個國家圖書館藏書量之和。
超級計(jì)算機(jī)又稱高性能計(jì)算機(jī)、巨型計(jì)算機(jī),是世界公認(rèn)的高新技術(shù)制高點(diǎn)和21世紀(jì)最重要的科學(xué)領(lǐng)域之一
天河一號采用6144個INTEL通用多核處理器和5120個AMD圖形加速處理器,內(nèi)存總?cè)萘?8TB,點(diǎn)對點(diǎn)通信帶寬40Gbps,而共享磁盤總?cè)萘縿t達(dá)到1PB。該超級計(jì)算機(jī)系統(tǒng)將部署于天津?yàn)I海新區(qū)國家超級計(jì)算天津中心作為業(yè)務(wù)主機(jī)。
隨著第一臺國產(chǎn)千萬億次超級計(jì)算機(jī)29日在湖南長沙亮相,作為算盤這一古老計(jì)算器的發(fā)明者,中國擁有了歷史上計(jì)算速度最快的工具。
每秒鐘1206萬億次的峰值速度和每秒563.1萬億次的Linpack實(shí)測性能,使這臺名為“天河一號”的計(jì)算機(jī)位居同日公布的中國超級計(jì)算機(jī)前100強(qiáng)之首,也使中國成為繼美國之后世界上第二個能夠研制千萬億次超級計(jì)算機(jī)的國家。
如何高效處理全球信息一直是Google的狂熱追求,而其自行開發(fā)的C編程工具M(jìn)apReduce就在其中扮演著關(guān)鍵角色。它可以多線程同時執(zhí)行大規(guī)模數(shù)據(jù)集(1TB以上)的并行運(yùn)算,是日常超大計(jì)算量的完美方案。
Google今天自豪地宣布,他們只需要短短68秒鐘就能完成對1TB數(shù)據(jù)的排序處理。這些數(shù)據(jù)都是未壓縮的文本文件,使用Google File System文件系統(tǒng)存儲在1000臺計(jì)算機(jī)上。在此之前,Google處理分布于910臺計(jì)算機(jī)上的等量數(shù)據(jù)需要耗時209秒,效率只有現(xiàn)在的三分之一左右。