基于物聯(lián)網(wǎng)技術(shù)的數(shù)據(jù)中心集中管理系統(tǒng)
來源：浩沅點(diǎn)擊：次發(fā)布日期：2024-11-16
隨著科技的快速發(fā)展,從原來笨重電腦到現(xiàn)在小巧的手機(jī),從原來的互聯(lián)網(wǎng)時(shí)代發(fā)展到移動(dòng)互聯(lián)網(wǎng),漸漸地,人們發(fā)現(xiàn)小小的手機(jī)都能聯(lián)網(wǎng),若世間萬物也裝上一個(gè)聯(lián)網(wǎng)器件,則都可連上互聯(lián)網(wǎng),實(shí)現(xiàn)相互交流、信息互換。慢慢地越來越多的“物”連接上互聯(lián)網(wǎng),實(shí)現(xiàn)萬物間的信息交換,一個(gè)萬物互聯(lián)的時(shí)代來臨了——物聯(lián)網(wǎng)。
它通過各種信息傳感器、射頻識(shí)別技術(shù)、全球定位系統(tǒng)、紅外感應(yīng)器、激光掃描器等各種裝置與技術(shù),借助互聯(lián)網(wǎng)、無線網(wǎng)絡(luò)將物體的實(shí)時(shí)信息快速準(zhǔn)確的傳遞到云中心,再以智能化的技術(shù)針對(duì)數(shù)據(jù)、信息進(jìn)行分析處理,實(shí)現(xiàn)對(duì)“物”的實(shí)時(shí)監(jiān)控和控制的智能化。
而隨著數(shù)據(jù)中心建設(shè)規(guī)模的持續(xù)擴(kuò)大,傳統(tǒng)的數(shù)據(jù)中心管理已不能滿足現(xiàn)有的需求,無法應(yīng)對(duì)跨區(qū)域的監(jiān)控及人員等因素的管理,通過與物聯(lián)網(wǎng)技術(shù)的結(jié)合,更高效的提高數(shù)據(jù)中心的管理與維護(hù),實(shí)現(xiàn)無人值守的智能管理。
物聯(lián)網(wǎng)關(guān)鍵技術(shù)
MQTT協(xié)議
MQTT協(xié)議是一種輕量級(jí)的、一對(duì)多的發(fā)布/訂閱式消息傳輸,實(shí)現(xiàn)在低寬帶和不穩(wěn)定的網(wǎng)絡(luò)環(huán)境中為設(shè)備提供穩(wěn)定的網(wǎng)絡(luò)服務(wù),并且能維持?jǐn)?shù)百萬個(gè)設(shè)備節(jié)點(diǎn)的并發(fā)操作。MQTT所耗費(fèi)的網(wǎng)絡(luò)服務(wù)的功耗較低,產(chǎn)生的耗電量低,并且MQTT可以保證消息可靠安全的傳輸。
在物聯(lián)網(wǎng)眾多協(xié)議中,MQTT對(duì)比其他協(xié)議,如表1所示。
綜合對(duì)比后,采用MQTT更符合高效節(jié)能型數(shù)據(jù)中心。
REDIS
為了提高用戶的請(qǐng)求速度和降低網(wǎng)站的負(fù)載,降低數(shù)據(jù)庫(kù)的讀寫次數(shù),將一些數(shù)據(jù)在短時(shí)間之內(nèi)不會(huì)發(fā)生變化,而且它們還要被頻繁訪問的數(shù)據(jù)放到緩存中。
而REDIS是一種以key-value的形式存儲(chǔ)的高速緩存型數(shù)據(jù)庫(kù),與其他的緩存技術(shù)不同之處在于REDIS不單單將數(shù)據(jù)存放在內(nèi)存中,還定期將更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件,實(shí)現(xiàn)數(shù)據(jù)的持久化,避免特殊情況導(dǎo)致數(shù)據(jù)不可復(fù)原。同時(shí)它的讀取的速度是110000次/s,寫的速度是81000次/s,與高性能鍵值緩存服務(wù)器MEMCACHED相差無幾。支持事務(wù),操作都是原子性,保證對(duì)數(shù)據(jù)庫(kù)操作的一致性,而且會(huì)自動(dòng)刪除時(shí)間過久的數(shù)據(jù),釋放內(nèi)存,減少不必要的浪費(fèi)。
REDIS除了性能和并發(fā)的優(yōu)勢(shì)外,還具備可以做分布式等其他功能,其強(qiáng)大的能力能適應(yīng)數(shù)據(jù)中心增長(zhǎng)的規(guī)模。
HBASE
HBASE是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng),利用HBASE技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。
HBASE的目標(biāo)是存儲(chǔ)并處理大型的數(shù)據(jù),更具體來說是僅需使用普通的硬件配置,就能夠處理由成千上萬的行和列所組成的大型數(shù)據(jù)。與FUJITSUCLIQ等商用大數(shù)據(jù)產(chǎn)品不同,HBASE是Google Bigtable的開源實(shí)現(xiàn),HBASE利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng);用Hadoop MapReduce來處理HBASE中的海量數(shù)據(jù)。
在查詢速度上,HBASE僅次于REDIS這類緩存型數(shù)據(jù)庫(kù),但其在上千萬、上億的大數(shù)據(jù)的查詢中,能快速定位到想要的數(shù)據(jù)。HBASE在列數(shù)據(jù)為空的情況下,是不會(huì)占用存儲(chǔ)空間,這為用戶節(jié)省不必要浪費(fèi)的空間。再者高并發(fā)、低延遲的服務(wù)更促使我們采用此技術(shù)作為數(shù)據(jù)中心集中管理系統(tǒng)的重要構(gòu)成環(huán)節(jié)。
依靠HBASE技術(shù),將存儲(chǔ)所有數(shù)據(jù)中心每個(gè)時(shí)間點(diǎn)的設(shè)備及相關(guān)數(shù)據(jù),用于大數(shù)據(jù)分析和報(bào)表統(tǒng)計(jì)使用。
本系統(tǒng)主要分三個(gè)層,采集層、云平臺(tái)層、業(yè)務(wù)層。其中采集層主要是由UPS、PDU、電表、溫濕度等動(dòng)環(huán)設(shè)備與IT資產(chǎn)采集設(shè)備組成;云平臺(tái)層主要是存儲(chǔ)設(shè)備數(shù)據(jù)以及進(jìn)行大數(shù)據(jù)分析;業(yè)務(wù)層則是展示給用戶的數(shù)據(jù)中心集中管理系統(tǒng)。整體架構(gòu)如圖1所示。
由采集層的各個(gè)采集點(diǎn)將各自的數(shù)據(jù)匯總到監(jiān)控主機(jī)后,通過MQTT協(xié)議與云平臺(tái)間進(jìn)行數(shù)據(jù)交換,經(jīng)過云平臺(tái)的篩選后,將屬于系統(tǒng)的數(shù)據(jù)中心數(shù)據(jù)進(jìn)行保存以及一系列的大數(shù)據(jù)算法運(yùn)算分析并保存分析后的結(jié)果;當(dāng)用戶使用數(shù)據(jù)中心集中管理系統(tǒng)時(shí),系統(tǒng)會(huì)與云平臺(tái)間進(jìn)行交互,將需要的數(shù)據(jù)經(jīng)過REDIS緩存到內(nèi)存中,讓用戶體驗(yàn)到高效的管理系統(tǒng),而且支持多用戶同時(shí)在線瀏覽訪問該系統(tǒng)。
數(shù)據(jù)中心集中管理系統(tǒng)不僅為用戶提供遠(yuǎn)程監(jiān)測(cè)各個(gè)數(shù)據(jù)中心的所有設(shè)備實(shí)時(shí)數(shù)據(jù)(數(shù)據(jù)保存)及告警記錄(當(dāng)前告警、歷史告警),了解數(shù)據(jù)中心實(shí)時(shí)情況;統(tǒng)計(jì)每類設(shè)備的各個(gè)告警發(fā)生比例以及告警設(shè)備數(shù)量,便于用戶了解各數(shù)據(jù)中心告警分布情況并以此做出相應(yīng)的安排。當(dāng)系統(tǒng)檢測(cè)到某些重要告警后,針對(duì)該告警做出預(yù)設(shè)定相應(yīng)的聯(lián)動(dòng)處理,并通過短信、語音等方式實(shí)時(shí)通知相應(yīng)人員,同時(shí)展示出發(fā)生點(diǎn)附近的監(jiān)控?cái)z像畫面,利于維護(hù)人員勘察告警是否對(duì)數(shù)據(jù)中心造成大范圍影響,實(shí)現(xiàn)數(shù)據(jù)中心的無人值守。同時(shí)該系統(tǒng)還加入了3D全景模型,通過三維直觀、交互易用和實(shí)時(shí)數(shù)據(jù)對(duì)接的方式,實(shí)現(xiàn)數(shù)據(jù)中心園區(qū)、樓層、機(jī)房、機(jī)柜組合機(jī)柜、設(shè)備、端口及線纜七級(jí),模擬真實(shí)數(shù)據(jù)中心場(chǎng)景,全三維虛擬現(xiàn)實(shí)瀏覽和全鼠標(biāo)虛擬現(xiàn)實(shí)操作,點(diǎn)擊各個(gè)設(shè)備可查看重要數(shù)據(jù),并可模擬維護(hù)人員巡檢數(shù)據(jù)中心,檢測(cè)設(shè)備是否發(fā)生故障等。而且該系統(tǒng)增加了對(duì)IT服務(wù)設(shè)備的實(shí)時(shí)監(jiān)控CPU、內(nèi)存等重要數(shù)據(jù),無需再采用另外一套系統(tǒng)來檢測(cè)IT服務(wù)設(shè)備的情況,便于維護(hù)人員的操作,為數(shù)據(jù)中心維護(hù)減少了額外開支。
跨模塊PUE計(jì)算顧名思義即根據(jù)各個(gè)數(shù)據(jù)中心各自施工工況以及檢測(cè)點(diǎn)范圍,正確的計(jì)算出整個(gè)數(shù)據(jù)中心或者某個(gè)微模塊或者多個(gè)微模塊的能源效率。
目前,很多廠商部署了數(shù)據(jù)中心能耗監(jiān)測(cè)系統(tǒng),但是均存在以下缺點(diǎn):
只針對(duì)整個(gè)數(shù)據(jù)中心或者固定節(jié)點(diǎn)進(jìn)行PUE計(jì)算,無法根據(jù)數(shù)據(jù)中心的設(shè)施變換和實(shí)際工況的變換進(jìn)行靈活配置,不能全面、綜合地反映數(shù)據(jù)中心各個(gè)節(jié)點(diǎn)的能耗;
計(jì)算PUE采用的耗電量數(shù)值為當(dāng)前數(shù)值,沒有將數(shù)據(jù)中心由于前期施工等產(chǎn)生的耗電量考慮在內(nèi),因此計(jì)算結(jié)果準(zhǔn)確性有待提高。為了克服現(xiàn)有技術(shù)中存在的不足,本系統(tǒng)提供了一種自定義的數(shù)據(jù)中心能耗監(jiān)測(cè)系統(tǒng)。
其特點(diǎn)在于:靈活配置測(cè)量點(diǎn),累計(jì)PUE、當(dāng)前PUE、歷史PUE報(bào)表全面監(jiān)測(cè)數(shù)據(jù)中心能耗,增加計(jì)算基準(zhǔn)時(shí)間,提高PUE結(jié)果準(zhǔn)確性。
用戶根據(jù)各個(gè)數(shù)據(jù)中心或者各個(gè)模塊的PUE值、PUE波動(dòng)趨勢(shì),進(jìn)行戰(zhàn)略分析及部署,為以后擴(kuò)展數(shù)據(jù)中心選址、節(jié)能提供有效的幫助。
本系統(tǒng)采用雙向通訊管理,除了傳統(tǒng)數(shù)據(jù)中心集中管理的上發(fā)外,還增加了下控的管理,并且上發(fā)及下控的通訊經(jīng)過安全的多重加密,提高安全性。相比傳統(tǒng)數(shù)據(jù)中心集中管理上發(fā)功能需要互相知道對(duì)方IP的方式,本系統(tǒng)采用匯聚的方式,只需采集設(shè)備填寫云平臺(tái)IP即可,節(jié)省了過多繁瑣的過程。
在傳統(tǒng)的數(shù)據(jù)中心集中管理中,主要依靠人工采集和錄入設(shè)備變更信息、工作強(qiáng)度大、工作效率低,隨著數(shù)據(jù)中心規(guī)模越來越大,需要管理的設(shè)備數(shù)量急劇增加,傳統(tǒng)的資產(chǎn)管理方式已經(jīng)跟不上數(shù)據(jù)中心業(yè)務(wù)發(fā)展的腳步,逐漸成為數(shù)據(jù)中心運(yùn)維的短板,大大的降低效率。現(xiàn)在,只要設(shè)備連接到物聯(lián)網(wǎng)中,即可自動(dòng)獲取到各個(gè)采集點(diǎn)的所有設(shè)備及信息,支持熱插拔式動(dòng)態(tài)更新。
為了更好掌握及提高資源利用率,還增加了針對(duì)容量的管理,展示出整個(gè)數(shù)據(jù)中心的容量比以及某個(gè)機(jī)柜的容量比,通過當(dāng)前容量統(tǒng)計(jì)、分析與規(guī)劃,充分利用現(xiàn)有數(shù)據(jù)中心的容量資源,盡量延長(zhǎng)數(shù)據(jù)中心的使用壽命,推遲下一個(gè)數(shù)據(jù)中心的建設(shè)計(jì)劃,保護(hù)用戶投資,避免資源的浪費(fèi)。摒棄了傳統(tǒng)數(shù)據(jù)中心集中管理的多IP分散式管理、人工錄入信息等缺點(diǎn),將各個(gè)數(shù)據(jù)中心匯聚到一起實(shí)現(xiàn)跨區(qū)域集中管理,自動(dòng)化獲取信息,實(shí)現(xiàn)智能化的集中管理。
當(dāng)我們購(gòu)物時(shí),京東、天貓網(wǎng)的消費(fèi)數(shù)據(jù)分析會(huì)推送符合我們的傾向商品;當(dāng)我們出行時(shí),參考百度地圖的交通數(shù)據(jù)。生活中的大大小小事均需要大數(shù)據(jù)的分析,而數(shù)據(jù)中心這種嚴(yán)謹(jǐn)?shù)耐瑯有枰髷?shù)據(jù)分析,幫助用戶更好的維護(hù)和管理數(shù)據(jù)中心。
通過MQTT,本系統(tǒng)已將所有數(shù)據(jù)中心數(shù)據(jù)匯聚到一起,根據(jù)發(fā)生故障期間的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,根據(jù)分析結(jié)果提前診斷設(shè)備處于故障前潛伏期,提醒運(yùn)維人員提前排查故障,降低風(fēng)險(xiǎn)。根據(jù)數(shù)據(jù)中心耗電分布情況,排查僵尸服務(wù)器,優(yōu)化IT資源配置;排查非IT資源是否能耗過大,提醒用戶避免不必要的開銷或者更換更節(jié)能有效的設(shè)備。
數(shù)據(jù)中心建設(shè)前的設(shè)計(jì)、規(guī)劃都是按照IT服務(wù)器滿載做的,實(shí)際運(yùn)行過程中往往是變工況運(yùn)行,經(jīng)過大數(shù)據(jù)分析可根據(jù)運(yùn)行動(dòng)態(tài)數(shù)據(jù)分析改變?cè)O(shè)定值,例如空調(diào)的制冷點(diǎn)設(shè)置為18℃,冷通道上限值維持在22℃,實(shí)際運(yùn)行中冷通道的溫度一直維持在22℃以下,則可以提醒運(yùn)維人員嘗試提高空調(diào)溫度設(shè)定值為20℃,如此可實(shí)現(xiàn)節(jié)省制冷系統(tǒng)電耗、節(jié)能運(yùn)行的目的。
大數(shù)據(jù)分析,除了以上所列舉的示例外,它還可以做很多的事情,例如能效管理、成本管理等等。它幫助數(shù)據(jù)中心運(yùn)維提高能效、降低成本、降低故障風(fēng)險(xiǎn)。
綜上所述,將物聯(lián)網(wǎng)技術(shù)結(jié)合數(shù)據(jù)中心集中管理和大數(shù)據(jù)分析,為用戶提供一個(gè)智能化管理平臺(tái),簡(jiǎn)單、便捷地管理不同區(qū)域的數(shù)據(jù)中心的運(yùn)維,同時(shí)平臺(tái)會(huì)在數(shù)據(jù)中心發(fā)生告警時(shí),主動(dòng)示警相關(guān)人員的手機(jī)、郵箱,做到遠(yuǎn)程無人值守監(jiān)控?cái)?shù)據(jù)中心。再借助大數(shù)據(jù)分析,提前排查故障將隱患扼殺在搖籃中,并針對(duì)數(shù)據(jù)中心的能耗情況、制冷情況、容量占比等方式的分析,為用戶提供諸多節(jié)能的建議作為參考,根據(jù)自身情況做出調(diào)整,打造出一個(gè)持久、節(jié)能的綠色數(shù)據(jù)中心。
物聯(lián)網(wǎng)技術(shù)的運(yùn)用將數(shù)據(jù)中心的管理與運(yùn)維構(gòu)造的更加智能化,為用戶帶來高效的管理體驗(yàn),相信在將來的5G大范圍使用后,將會(huì)與之擦出不一樣的火花,讓物聯(lián)網(wǎng)的技術(shù)運(yùn)用更上一層。
返回列表
