不吹不黑！年均PUE 1.1的百度首個自建超大型數(shù)據(jù)中心是什么水平？

在百度上搜索“百度”會搜到什么，搜索、網(wǎng)盤、地圖、百科、知道、圖片等等，這些C端的應(yīng)用構(gòu)成了普通用戶對百度的固有印象，但少有人了解，支撐百度等大型互聯(lián)網(wǎng)公司數(shù)以億計用戶使用的C端應(yīng)用背后，互聯(lián)網(wǎng)數(shù)字底層基礎(chǔ)設(shè)施不啻于另一條更激烈的競爭賽道，這其中遍布全國甚至全球的數(shù)據(jù)中心是最重要的一環(huán)。

百度第一個自建數(shù)據(jù)中心位于李彥宏老家山西陽泉，命名為百度云計算(陽泉)中心，園區(qū)占地約360畝地，總建筑面積約12萬平方米，包括8個高標準模組，我們走進了百度云計算(陽泉)中心，獲悉百度甚少展示的另一面。

PUE 1.1如何煉成?

出北京沿京昆高速一直走，經(jīng)過保定、石家莊即到山西陽泉，從地理位置、氣候條件、網(wǎng)絡(luò)設(shè)施和電價等因素上考量，陽泉不是傳統(tǒng)意義上受青睞的數(shù)據(jù)中心選址地，百度第一個自建超大型數(shù)據(jù)中心定在此地很大程度是因為陽泉為李彥宏老家。

不過這并不是唯一的因素。一方面，技術(shù)的演進擴大了數(shù)據(jù)中心的選址范圍，減少了對一些硬性指標的需求，陽泉的各項條件整體過硬;另一方面，由于李彥宏的緣故，陽泉并不失為最適合百度的數(shù)據(jù)中心選址。

PUE(數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗，越接近1表明能效越高)是數(shù)據(jù)中心領(lǐng)域衡量能源效率的權(quán)威指標，記者了解到，百度云計算(陽泉)中心單模組PUE低至1.1，1.1是什么概念?

目前國內(nèi)PUE比較低的數(shù)據(jù)中心大多在1.3以下，之前參觀的大多較為先進的數(shù)據(jù)中心也是這個水平，在國內(nèi)PUE在1.2左右的數(shù)據(jù)中心表現(xiàn)已經(jīng)算很不錯。坦白說，聽到百度陽泉數(shù)據(jù)中心整體年均PUE是1.1時，我們還是有一些懷疑的。其一，陽泉沒有特別得天獨厚的的氣候條件，其二，其他不少頂級互聯(lián)網(wǎng)公司的數(shù)據(jù)中心PUE也沒有到這個水平，何況PUE 1.1是百度陽泉數(shù)據(jù)中心單模組年均水平，而不是最低值。

百度云計算(陽泉)中心負責人、百度系統(tǒng)部高級經(jīng)理顧鵬

如建筑圖所示，百度云計算(陽泉)中心整體外觀設(shè)計既可以說是百度的經(jīng)典熊掌標志，也可以視作一個綠色節(jié)能的燈泡樣式，和百度云計算(陽泉)中心的文化衫映襯，8個模組示例特別用了綠色，這些小細節(jié)也體現(xiàn)出百度技術(shù)文化。

在實地探訪過程中，百度數(shù)據(jù)中心負責人顧鵬告訴雷鋒網(wǎng)，百度云計算(陽泉)中心能做到1.1的PUE主要包括兩點，一個是電氣架構(gòu)的改變，一個是空調(diào)末端的改變，另外配合高溫服務(wù)器和調(diào)優(yōu)等措施使PUE低至1.1。

百度陽泉數(shù)據(jù)中心機房

在電氣架構(gòu)層面，傳統(tǒng)數(shù)據(jù)中心的建設(shè)基本上采用雙路UPS的設(shè)計，現(xiàn)在越來越多的新建數(shù)據(jù)中心采用電力效率更高的架構(gòu)。如上圖所示，電力架構(gòu)的改變帶來的是電源效率的層層提升，PUE在1.2和1.3左右的數(shù)據(jù)中心很多采用市電+HVDC在線、市電+UPS ECO架構(gòu)。

早在2010年，百度M1數(shù)據(jù)中心就率先在國內(nèi)使用了一路市電+一路UPS架構(gòu)，效率能達到95%。百度在陽泉數(shù)據(jù)中心采用了四種架構(gòu)，市電+UPS、市電+HVDC在線、市電+UPS ECO、市電+HVDC離線，也體現(xiàn)了其電氣架構(gòu)經(jīng)歷的四代改進，從二期項目開始采用的都是電源效率高達99.5%的市電+HVDC離線架構(gòu)，也是數(shù)據(jù)中心行業(yè)內(nèi)世界首例采用這種供電架構(gòu)的數(shù)據(jù)中心。

了解到，所謂離線(Offline)，是指正常情況下市電直供IT設(shè)備，HVDC僅為蓄電池提供浮充，市電中斷后，轉(zhuǎn)由蓄電池供電，在這種架構(gòu)下，正常情況為IT設(shè)備供電的電能不經(jīng)過HVDC轉(zhuǎn)換，此部分損耗幾乎可以忽略，因此節(jié)能效果顯著。

“打個比方說，我們原先如果100度電，可能實際上有10度電是由UPS損耗掉了，但是現(xiàn)在我們只有0.5度電被損耗，所以效率還是相當高的”，顧鵬說道。不過離線架構(gòu)要求定制IT設(shè)備電源，所以百度陽泉數(shù)據(jù)中心基本上都采用的是整機柜服務(wù)器。

水冷背板機柜

百度陽泉數(shù)據(jù)中心的另一個節(jié)能大改進在于暖通架構(gòu)，據(jù)顧鵬介紹，陽泉數(shù)據(jù)中心采用了高溫服務(wù)器及新型的氣流組織結(jié)合的零功耗的新型空調(diào)末端，充分利用了天然的冷源，冷卻模式分為機械制冷、預(yù)冷和自然冷卻三種模式，陽泉數(shù)據(jù)中心全年免費冷卻能達到96%，相當于每年全部用冷機的時間只有兩周，即三百多個小時，剩下的大部分時間都是免費冷卻狀態(tài)。

百度陽泉數(shù)據(jù)中心采用水冷精密空調(diào)(CRAH)、AHU、OCU和IDEC這四種空調(diào)末端形式，經(jīng)過不斷實踐，陽泉數(shù)據(jù)中心5個模組采取了OCU制冷模式。

百度自研置頂冷卻單元OCU(Overhead Cooling Unit)新型空調(diào)末端，與預(yù)制模塊技術(shù)結(jié)合，冷卻模塊垂直安裝在機架上方，空調(diào)末端無風(fēng)扇、零功耗，利用空氣對流原理，抽走“熱通道”熱空氣的同時，送出冷空氣給“冷通道”;AHU(Air Handle Unit)風(fēng)墻冷卻技術(shù)，通過與高溫耐腐蝕服務(wù)器配合，采用全新氣流組織方案，解決了空氣污染及腐蝕難題;IDEC即間接風(fēng)側(cè)制冷，抽取室內(nèi)空氣和部分新風(fēng)以控制出風(fēng)溫度和風(fēng)量來維持室內(nèi)溫度。

除此之外還了解到，傳統(tǒng)服務(wù)器要求環(huán)境溫度為5~35℃，服務(wù)器一般運行在25℃左右，百度特別研究的高溫服務(wù)器耐溫設(shè)計高達45℃，從而大幅提高自然冷卻時間。

百度AI時間

自2017年7月5日百度開發(fā)者大會起，百度正式進入了AI時間?！鞍俣葘ll in AI，我們在AI時代的核心戰(zhàn)略就是開放賦能，我們的將來必須建立在與每個開發(fā)者共贏的基礎(chǔ)上”，李彥宏彼時如是說。

陽泉數(shù)據(jù)中心是百度AI的一個重要底座，8個模組滿載可容納16萬臺服務(wù)器，記者了解到，百度陽泉數(shù)據(jù)中心已經(jīng)承載了百度的搜索、地圖、網(wǎng)盤、人工智能、智能云、自動駕駛等技術(shù)，每天數(shù)據(jù)處理量近100PB，百度陽泉數(shù)據(jù)中心提供著AI訓(xùn)練所需的大量計算能力。

顧鵬表示，百度GPU集群針對大數(shù)據(jù)、人工智能等場景設(shè)計，廣泛應(yīng)用于語音、圖象、搜索、無人車、加速計算等業(yè)務(wù)，百度率先采用引入深度學(xué)習(xí)和異構(gòu)計算集群，成為百度大腦的動力引擎。

百度陽泉數(shù)據(jù)中心液冷機柜

百度X-MAN2.0服務(wù)器就部署在陽泉數(shù)據(jù)中心，用于加速云端人工智能訓(xùn)練，X-MAN2.0服務(wù)器為百度自研的AI計算機，實現(xiàn)了GPU和CPU資源物理解耦按需配比，更是全球首個將液冷技術(shù)應(yīng)用到高功耗AI計算系統(tǒng)中的實例，能夠提升45%的散熱效能。

百度陽泉數(shù)據(jù)中心不僅提供AI基礎(chǔ)，自身也在實踐AI。顧鵬表示，陽泉數(shù)據(jù)中心在實現(xiàn)自動化的基礎(chǔ)上，已經(jīng)在向智能化進行轉(zhuǎn)化，陽泉數(shù)據(jù)中心全部采用無紙化智能巡檢，將相關(guān)數(shù)據(jù)上傳到遠端電腦，專家系統(tǒng)通過對現(xiàn)場運行數(shù)據(jù)分析來保障系統(tǒng)穩(wěn)定性。

百度把AI技術(shù)引入了數(shù)據(jù)中心，通過建立數(shù)據(jù)中心深度學(xué)習(xí)模型，比如冷水機組三種模式的運行就通過AI自動判斷，根據(jù)室外天氣濕度、溫度和負荷，切換制冷模式、預(yù)冷模式和節(jié)約模式，此外AI還能實現(xiàn)智能預(yù)警，通過負載預(yù)判設(shè)備運行情況，給出維護策略。

“AI的智能化是后續(xù)數(shù)據(jù)中心運營的一個方向，最終將實現(xiàn)無人值守”，顧鵬表示。

綠色是百度陽泉數(shù)據(jù)中心的另一個標簽，百度陽泉數(shù)據(jù)中心充分利用了模組屋頂剩余空間，安裝太陽能電池板，光伏發(fā)電即發(fā)即用，陽泉數(shù)據(jù)中心也是國內(nèi)首個應(yīng)用光伏發(fā)電的數(shù)據(jù)中心，陽泉數(shù)據(jù)中心還大量采用風(fēng)電清潔能源?！?017年百度陽泉數(shù)據(jù)中心的風(fēng)能和太陽能一共將近用了2600萬度，占比整個用電量的16%，2018年使用風(fēng)能和太陽能可以達到5500萬度，預(yù)計占比可能達到23%以上”，顧鵬介紹道。

百度陽泉數(shù)據(jù)中心還采用了污水回收再利用技術(shù)，數(shù)據(jù)中心既是耗電大戶，也是耗水大戶，百度將排污進行收集，應(yīng)用超濾和反滲透技術(shù)，除去水中的氯鈉鈣鎂等離子，顧鵬表示，污水回收系統(tǒng)全部投產(chǎn)以后，每年的回收能達到48萬噸水的量，相當于四千戶家庭一年的用水量。

百度陽泉數(shù)據(jù)中心鋰電池機柜

百度陽泉數(shù)據(jù)中心可以說是整機柜服務(wù)器數(shù)據(jù)中心，約96%服務(wù)器均采用了百度北極2.0整機柜服務(wù)器，北極2.0采用了共享電源和風(fēng)扇的架構(gòu)，供電實現(xiàn)標準化、模塊化、一體化，總成本降低了15%左右，北極2.0自研服務(wù)器平均每臺耗電量比普通的服務(wù)器下降的12%，交付率提升了20倍，每天交付能達到一萬臺左右，傳統(tǒng)服務(wù)器一天最多交付數(shù)百臺。

陽泉數(shù)據(jù)中心的參觀讓我們見識到一個數(shù)據(jù)中心上的百度，也可以說AI上的百度。當然了，陽泉數(shù)據(jù)中心新建時百度還沒有完全轉(zhuǎn)向AI，還是“移動優(yōu)先”，不過正如百度新戰(zhàn)略“夯實移動基礎(chǔ)，決勝AI時代”，移動時代讓百度積累了先發(fā)優(yōu)勢，在發(fā)令槍已經(jīng)響起的AI時代，百度正把其技術(shù)一面逐漸展現(xiàn)，數(shù)據(jù)中心只是具象之一。（文章轉(zhuǎn)載于IDC圈）