高(gāo)校(xiào)數(shù)據中心機房(fáng)建設研究與實踐

随着高(gāo)校(xiào)信息化建設的不斷深入以及雲計(jì)算(suàn)、大(dà)數(shù)據、虛拟化的快速應用，對IT基礎設施，尤其在數(shù)據的安全性、可(kě)靠性方面，提出了更高(gāo)的要求，因此建設一個(gè)安全、綠色、智能、高(gāo)效的數(shù)據中心成為(wèi)了高(gāo)校(xiào)信息化發展的重中之重。本文以北京師(shī)範大(dà)學IDC機房(fáng)建設為(wèi)例，探討(tǎo)高(gāo)校(xiào)IDC機房(fáng)建設存在的問題，總結經驗教訓。

高(gāo)校(xiào)IDC機房(fáng)服務于學校(xiào)信息化建設中各種IT設備的托管，與商業IDC相比，高(gāo)校(xiào)IDC不以盈利為(wèi)目的，投入少(shǎo)，運維人(rén)員不足。在信息化建設過程中，大(dà)多(duō)數(shù)高(gāo)校(xiào)沒有(yǒu)建設專業化的IDC機房(fáng)，而是采用與樓宇網絡設備共用的方式，這樣就造成了衆多(duō)小(xiǎo)機房(fáng)的出現，單一機房(fáng)裏容納包括網絡設備、服務器(qì)、存儲等衆多(duō)IT設備，這些(xiē)機房(fáng)規模不大(dà)，但(dàn)承擔的任務衆多(duō)。同時(shí)這些(xiē)機房(fáng)在安全與節能方案幾乎未做(zuò)規劃，供電(diàn)、制(zhì)冷等關鍵系統都沒有(yǒu)做(zuò)冗餘配置，管理(lǐ)維護非常困難。

随着大(dà)數(shù)據、雲計(jì)算(suàn)、科研計(jì)算(suàn)快速發展和(hé)應用，對IT基礎設施的要求也越來(lái)越高(gāo)，這種建設模式已經嚴重阻礙了信息化的發展。由于信息化需求和(hé)技(jì)術(shù)的多(duō)變性，因此在建設前要充分做(zuò)好規劃。高(gāo)校(xiào)數(shù)據中心投入資金普遍有(yǒu)限，應采用模塊化的設計(jì)，做(zuò)好充足資源預留。

　模塊化、區(qū)域分級設計(jì)

鑒于學校(xiào)數(shù)據中心各種業務需求的不斷發展與變化，各種新技(jì)術(shù)也在不斷出現，故在機房(fáng)設計(jì)時(shí)需考慮這些(xiē)變化對資源需求的改變，以确保整個(gè)系統可(kě)靈活地擴展。考慮到未來(lái)不斷發展的需要及投資效益，在機房(fáng)面積、電(diàn)力供應、空(kōng)調容量、通(tōng)信點數(shù)等各個(gè)方面都應預留合理(lǐ)的餘量及可(kě)擴充的靈活性，使計(jì)算(suàn)機機房(fáng)的投資及今後的發展都得(de)到可(kě)靠的保障。因此本次選用的UPS、配電(diàn)系統、網絡系統、制(zhì)冷系統等都采用模塊化，在資金有(yǒu)限的前提下，為(wèi)以後的擴展做(zuò)好充分的準備。同時(shí)根據不同IT設備對配電(diàn)和(hé)制(zhì)冷量的需求，機房(fáng)在建設時(shí)采用分區(qū)分級的設計(jì)模式，分為(wèi)高(gāo)密區(qū)、中密區(qū)、低(dī)密區(qū)三個(gè)區(qū)域，分别設計(jì)單機櫃配電(diàn)為(wèi)15kW、6kW、3kW。高(gāo)密區(qū)面向高(gāo)性能計(jì)算(suàn)、刀片櫃等高(gāo)用電(diàn)量IT設備。中密區(qū)面向虛拟化、存儲等設備。低(dī)密區(qū)面向網絡設備、框架式服務器(qì)、安全設備等。中低(dī)密區(qū)PUE控制(zhì)在1.8以內(nèi)，高(gāo)密區(qū)PUE控制(zhì)在1.5以內(nèi)。

機房(fáng)子系統設計(jì)

北京師(shī)範大(dà)學2014年啓動新IDC機房(fáng)建設，以安全、綠色、高(gāo)效、智能為(wèi)設計(jì)理(lǐ)念，2015年全面投入使用。機房(fáng)總建築面積約465平方米，分為(wèi)主機房(fáng)區(qū)、監控區(qū)、配電(diàn)室、消防室等功能區(qū)，如圖1所示。機房(fáng)設計(jì)定位為(wèi)學校(xiào)教學、科研服務器(qì)托管，要求建設一個(gè)布局合理(lǐ)、功能完備、設施先進、運行(xíng)穩定、使用靈活同時(shí)又能體(tǐ)現工藝精湛、美觀大(dà)方、綠色環保的符合國家(jiā)相關機房(fáng)标準的現代化計(jì)算(suàn)機中心機房(fáng)，反映出高(gāo)性能綜合機房(fáng)所有(yǒu)系統的安全性、功能性、先進性、穩定性、開(kāi)放性和(hé)可(kě)管理(lǐ)性。

電(diàn)氣子系統

北京師(shī)範大(dà)學IDC機房(fáng)配電(diàn)系統采用國家(jiā)A級機房(fáng)建設标準，配電(diàn)系統由大(dà)樓配電(diàn)室引兩路市電(diàn)電(diàn)源至機房(fáng)配電(diàn)室，電(diàn)源容量為(wèi)每路800kW，機房(fáng)配電(diàn)櫃總開(kāi)關采用1600A，配電(diàn)室安裝兩台400kVAUPS設備組成2N系統提供機房(fáng)的電(diàn)力保障。配電(diàn)系統采用雙回路配電(diàn)結構，一台列頭配電(diàn)櫃引自UPS1輸出配電(diàn)櫃，另一台列頭櫃引自UPS2輸出配電(diàn)櫃。兩台列頭櫃內(nèi)的兩個(gè)獨立電(diàn)氣單元分别通(tōng)過工業連接器(qì)連接至機櫃內(nèi)的PUD。每個(gè)配電(diàn)回路均能滿足計(jì)算(suàn)機機櫃100%的用電(diàn)負荷，任何一路空(kōng)開(kāi)或線路的故障均不影(yǐng)響另一路電(diàn)源的正常使用。機房(fáng)每個(gè)機櫃的用電(diàn)都經過詳細測算(suàn)，根據不同需求設計(jì)用電(diàn)配制(zhì)。

設備配電(diàn)表如表1所示。

UPS主要為(wèi)網絡設備、計(jì)算(suàn)機設備、監控、門(mén)禁和(hé)應急照明(míng)系統等提供電(diàn)源。UPS系統能夠在任何市電(diàn)故障、應急發電(diàn)機未啓動之前，保證為(wèi)計(jì)算(suàn)機負荷設備等重要設備提供不間(jiān)斷的供電(diàn)，同時(shí)做(zuò)到穩壓改善供電(diàn)質量的作(zuò)用。本工程設計(jì)采用2台400kVA模塊化UPS，電(diàn)池按照系統滿載後備時(shí)間(jiān)0.5小(xiǎo)時(shí)配置。UPS主機、輸入輸出配電(diàn)櫃、蓄電(diàn)池系統放置于數(shù)據中心配電(diàn)室。UPS電(diàn)源電(diàn)纜采用專用屏蔽電(diàn)力電(diàn)纜沿機櫃上(shàng)的金屬橋架敷設到位，這種布線方式具有(yǒu)靈活方便、加線、改線、便于維修等功能，是機房(fáng)內(nèi)最為(wèi)理(lǐ)想的一種布線方式。配電(diàn)櫃由自動空(kōng)氣開(kāi)關控制(zhì)，設置過負荷、短(duǎn)路保護等功能，可(kě)實現遠程對電(diàn)壓、電(diàn)流監控功能。

數(shù)據處理(lǐ)中心供配電(diàn)系統是機房(fáng)安全運行(xíng)動力保證，本項目采用數(shù)據中心專用配電(diàn)櫃來(lái)規範數(shù)據中心供配電(diàn)系統，根據實際用電(diàn)情況合理(lǐ)設計(jì)配電(diàn)系統并配置相應輸入輸出配電(diàn)櫃，保證數(shù)據中心供配電(diàn)系統的安全、合理(lǐ)。在機房(fáng)供配電(diàn)系統中，采用熱插拔式開(kāi)關櫃，減少(shǎo)由于調整變更帶來(lái)的不利影(yǐng)響。配電(diàn)櫃所設計(jì)的供電(diàn)路數(shù)，能足夠提供主機和(hé)外部設備的使用，各配電(diàn)櫃均預留有(yǒu)一定數(shù)量的備用開(kāi)關，其中UPS輸出配電(diàn)櫃及主機房(fáng)內(nèi)UPS區(qū)域配電(diàn)櫃各規格的備用輸出開(kāi)關均不少(shǎo)于15%；

制(zhì)冷子系統

數(shù)據中心機房(fáng)A區(qū)共安裝53台設備機櫃，其中16台高(gāo)密度機櫃，采用風冷冷凍水(shuǐ)系統和(hé)行(xíng)級精密空(kōng)調，剩餘為(wèi)中低(dī)密度機櫃，精密空(kōng)調地闆下送風的制(zhì)冷方式。B區(qū)機房(fáng)安裝22台設備機櫃，采用精密空(kōng)調地闆下送風的制(zhì)冷方式。A區(qū)高(gāo)密區(qū)采用兩台風冷冷凍水(shuǐ)系統（1主1備），中低(dī)密區(qū)采用4台精密空(kōng)調（3主1備），B區(qū)采用4台精密空(kōng)調。

數(shù)據中心機房(fáng)中低(dī)密區(qū)采用地闆下送風的方式，地闆高(gāo)度為(wèi)450mm，地闆下作(zuò)為(wèi)靜壓箱，通(tōng)過機櫃前的開(kāi)孔地闆送風，從而實現空(kōng)調對機櫃的冷卻。機櫃布局雖然為(wèi)冷熱通(tōng)道(dào)方式，但(dàn)還(hái)是會(huì)出現冷風無效冷卻，而直接與熱風混合的現象，因此把兩排機櫃中間(jiān)的冷通(tōng)道(dào)進行(xíng)封閉，空(kōng)調機組送出的冷風可(kě)以直接送到冷通(tōng)道(dào)內(nèi)而進入服務器(qì)機櫃，所有(yǒu)機櫃排出的熱風被空(kōng)調機組吸回。從而提高(gāo)空(kōng)調機組的回風溫度，提高(gāo)空(kōng)調機組的制(zhì)冷能力，還(hái)可(kě)提高(gāo)解決機櫃更高(gāo)功率密度的制(zhì)冷能力。

高(gāo)密區(qū)每機櫃采用15kW的配電(diàn)，對制(zhì)冷要求極高(gāo)，因此高(gāo)密區(qū)采用冷通(tōng)道(dào)封閉技(jì)術(shù)，制(zhì)冷方式采用風冷冷水(shuǐ)機組和(hé)機櫃行(xíng)級空(kōng)調，從而有(yǒu)效降低(dī)了冷熱風的混合，優化了氣流組織，機櫃級空(kōng)調的回風溫度可(kě)由23℃提升到28℃甚至更高(gāo)，而每提升1℃回風溫度，空(kōng)調散熱量約提高(gāo)3%~5%，在提升5℃的回風溫度下，空(kōng)調制(zhì)冷量将提升15%以上(shàng)。

弱電(diàn)子系統

本工程采用六類非屏蔽模塊化布線加多(duō)模光纖解決方案。綜合布線系統采用模塊化設計(jì)，機房(fáng)均設置弱電(diàn)列頭櫃和(hé)網絡機櫃，弱電(diàn)列頭櫃敷設銅纜和(hé)光纖至網絡機櫃。數(shù)據中心機房(fáng)共安裝有(yǒu)75台設備機櫃，其中9台弱電(diàn)列頭機櫃和(hé)網絡機櫃，其餘66台為(wèi)服務器(qì)機櫃，參考設備布置，設計(jì)線槽及信息點如下：普通(tōng)服務器(qì)區(qū)每台機櫃設置36個(gè)銅纜信息點，其中24個(gè)網絡接口，12個(gè)KVM接口，彙集到弱電(diàn)列頭櫃。弱電(diàn)列頭櫃彙聚到本機房(fáng)的網絡機櫃。機房(fáng)區(qū)域內(nèi)弱電(diàn)線路采用機櫃上(shàng)走線方式，采用開(kāi)放式線槽。每排機櫃配置48芯多(duō)模光纖至核心交換機機櫃。網絡設備采用兩台數(shù)據中心級三層交換機虛拟成一台，其餘二層換交機按照每排機櫃進行(xíng)堆疊提高(gāo)管理(lǐ)效率。二層交換機采用雙萬兆上(shàng)連核心交換機，核心交換機雙萬兆上(shàng)聯校(xiào)園網核心交換機。為(wèi)便于學校(xiào)各單位遠程管理(lǐ)托管的IT設備，IDC機房(fáng)配套了KVM系統，使得(de)每台服務器(qì)可(kě)遠程安裝系統、開(kāi)關機等操作(zuò)，減少(shǎo)現場(chǎng)人(rén)員的運維成本。

智能監控運維子系統

為(wèi)保證數(shù)據中心機房(fáng)安全穩定工作(zuò)，電(diàn)氣系統、環境系統、制(zhì)冷系統、安防系統等各子系統必須時(shí)時(shí)刻刻穩定協調運行(xíng)。如果機房(fáng)動力及環境設備出現故障，輕則影(yǐng)響業務系統的正常運行(xíng)，重則造成機房(fáng)IT設備損壞、報廢，使系統陷入癱瘓，後果不堪設想，因此對IDC機房(fáng)的各系統進行(xíng)實時(shí)集中的監控極其必要。機房(fáng)環境及動力設備監控系統主要是對機房(fáng)設備，如配電(diàn)系統、UPS電(diàn)源、空(kōng)調、消防系統、安防系統等的運行(xíng)狀态、溫濕度、供電(diàn)電(diàn)壓電(diàn)流等的狀态進行(xíng)實時(shí)監控并記錄曆史數(shù)據，實現對機房(fáng)遙測、遙控的管理(lǐ)功能，為(wèi)機房(fáng)高(gāo)效、智能的管理(lǐ)和(hé)安全運營提供有(yǒu)力的保證。本項目使用智能監控運維系統将傳統的應用監控系統與環境動力監控系統進行(xíng)整合，實現對服務器(qì)、交換機、存儲、UPS設備、空(kōng)調、溫濕度、視(shì)頻、門(mén)禁、漏水(shuǐ)等的實時(shí)監控，大(dà)大(dà)減少(shǎo)了人(rén)員的工作(zuò)量。

北京師(shī)範大(dà)學IDC機房(fáng)以綠色、安全、智能、高(gāo)效為(wèi)設計(jì)理(lǐ)念，配電(diàn)、機櫃等設施采用模塊化設計(jì)，便于擴展，同時(shí)進行(xíng)了區(qū)域分級建設，引入智能監控系統，IDC機房(fáng)的建成很(hěn)好地滿足了學校(xiào)教學、科研對IT基礎設施的需求。接下來(lái)學校(xiào)将進一步對IDC機房(fáng)進行(xíng)節能方面進行(xíng)優化。