物聯(lián)網(wǎng)數(shù)據(jù)管理與計(jì)算堆棧
發(fā)布時(shí)間:2022-02-06作者:小編閱讀:0
事實(shí)上,物聯(lián)網(wǎng)傳感器生成的數(shù)據(jù)才是搭建物聯(lián)網(wǎng)系統(tǒng)時(shí)最大的挑戰(zhàn)。在最新的IT網(wǎng)絡(luò)中,發(fā)端于一臺(tái)計(jì)算機(jī)或者一臺(tái)服務(wù)器的數(shù)據(jù)往往是由客戶端/服務(wù)器這種通信模型產(chǎn)生的,這類數(shù)據(jù)可以滿足應(yīng)用的需求。
在傳感器網(wǎng)絡(luò)中,絕大部分?jǐn)?shù)據(jù)都是非結(jié)構(gòu)化的,這些數(shù)據(jù)本身幾乎沒(méi)有任何用處。比如,一個(gè)智能電表生成的大部分?jǐn)?shù)據(jù)都是輪詢數(shù)據(jù);通信系統(tǒng)只需要判斷這個(gè)電表與網(wǎng)絡(luò)之間的連接是不是正常就可以了。這個(gè)數(shù)據(jù)本身用處著實(shí)不大。
智能電表的真正價(jià)值在于那些電表管理系統(tǒng)(MMS)讀取到的那部分測(cè)量數(shù)據(jù)。不過(guò),如果我們從另一個(gè)角度來(lái)看待那些原始的輪詢數(shù)據(jù),這些信息可能就會(huì)非常重要。比如,一家公用事業(yè)單位可能有上百萬(wàn)門電表,這些電表覆蓋了這家公司提供服務(wù)的整個(gè)區(qū)域。如果智能電網(wǎng)覆蓋的整個(gè)區(qū)段都顯示與電表的連接斷開,那我們就可以對(duì)這些數(shù)據(jù)進(jìn)行分析,并且將這些數(shù)據(jù)和其他數(shù)據(jù)源(如天氣預(yù)報(bào)和電網(wǎng)的電力需求)結(jié)合起來(lái),依此判斷這次故障的成因。
這類信息可以幫助人們判斷,電表連接中斷是不是表示真的存在電力損失,還是說(shuō)電網(wǎng)中出現(xiàn)了其他問(wèn)題。此外,分析這類數(shù)據(jù)可以幫助這家公用事業(yè)單位發(fā)現(xiàn)服務(wù)中斷的原因,并且迅速修復(fù)故障。
在大多數(shù)情況下,數(shù)據(jù)處理的進(jìn)程都是在物聯(lián)網(wǎng)設(shè)備之外執(zhí)行的。數(shù)據(jù)處理的天然位置是在云端完成。智能設(shè)備需要連接到云,數(shù)據(jù)需要以集中式的方式進(jìn)行處理。這個(gè)模型的一大優(yōu)勢(shì)就是簡(jiǎn)單。物聯(lián)網(wǎng)設(shè)備只需要連接到一個(gè)中央的云應(yīng)用即可。應(yīng)用可以看到全部的物聯(lián)網(wǎng)節(jié)點(diǎn),而且可以處理所有我們?cè)诮裉旎蛘呶磥?lái)需要進(jìn)行的數(shù)據(jù)分析。
不過(guò),這個(gè)模型也有缺陷。當(dāng)數(shù)據(jù)量增大,連網(wǎng)之“物”種類增加,且人們對(duì)效率的要求進(jìn)一步提升時(shí),就會(huì)出現(xiàn)新的需求,而這些新的需求往往會(huì)要求執(zhí)行數(shù)據(jù)分析的位置更加貼近物聯(lián)網(wǎng)系統(tǒng)。這里所說(shuō)的需求如下所示。
最小化延遲:各類工業(yè)系統(tǒng)中,在諸如防止流水線停頓或者恢復(fù)電力服務(wù)這類場(chǎng)合中,毫秒級(jí)的差異都是很重要的。在距離數(shù)據(jù)收集設(shè)備很近的位置分析數(shù)據(jù),可以讓整個(gè)系統(tǒng)免遭級(jí)聯(lián)系統(tǒng)故障。
節(jié)省系統(tǒng)帶寬:海上石油鉆機(jī)每周可以產(chǎn)生500GB的數(shù)據(jù)。商用噴氣機(jī)每30分鐘的航程就可以產(chǎn)生10TB的數(shù)據(jù)。把如此海量的數(shù)據(jù)從上百萬(wàn)臺(tái)邊緣設(shè)備傳輸?shù)皆贫耸遣磺袑?shí)際的,也是完全沒(méi)有必要的,因?yàn)楹芏嘀匾姆治銎鋵?shí)根本用不到云級(jí)別的處理與存儲(chǔ)資源。
增加本地效率:在自然條件差異巨大的廣大地理范圍內(nèi)收集和保護(hù)數(shù)據(jù)有可能用處并不大。一個(gè)區(qū)域中的條件會(huì)觸發(fā)本地設(shè)備做出某種響應(yīng),這種響應(yīng)和上百公里之外另一個(gè)自然條件下的站點(diǎn)所做出的響應(yīng)是相互獨(dú)立的。如果以提升效率作為出發(fā)點(diǎn)的話,我們其實(shí)不必須在同一個(gè)系統(tǒng)中分析這兩個(gè)區(qū)域。
因此,在設(shè)計(jì)的時(shí)候,一項(xiàng)重要的考量因素在于如何設(shè)計(jì)出一個(gè)物聯(lián)網(wǎng),以高效的方式管理如此海量的數(shù)據(jù),這樣數(shù)據(jù)才能迅速得到分析,而分析的結(jié)果也能夠直接作用于商業(yè)利益。物聯(lián)網(wǎng)設(shè)備所生成的海量數(shù)據(jù)可以輕而易舉地讓數(shù)據(jù)中心或者云中的前端系統(tǒng)難以為繼。例如,一個(gè)中等規(guī)模的智能電表網(wǎng)絡(luò)包含100萬(wàn)臺(tái)電表,這樣一個(gè)網(wǎng)絡(luò)每天可以生成近10億個(gè)數(shù)據(jù)點(diǎn)(包括讀表和其他控制數(shù)據(jù)),由此產(chǎn)生的數(shù)據(jù)量將達(dá)1TB之多。對(duì)于一個(gè)無(wú)法實(shí)時(shí)分析和儲(chǔ)存如此海量數(shù)據(jù)的IT機(jī)構(gòu)而言,這會(huì)造成巨大的問(wèn)題。
龐大的數(shù)據(jù)量也會(huì)給帶寬管理帶來(lái)難題。隨著大量物聯(lián)網(wǎng)數(shù)據(jù)開始涌入數(shù)據(jù)中心,網(wǎng)絡(luò)真的能夠支持如此龐大的流量嗎?應(yīng)用服務(wù)器能夠正確接收、存儲(chǔ)和分析如此龐大的入站數(shù)據(jù)嗎?我們將這種情況稱為物聯(lián)網(wǎng)系統(tǒng)生成的數(shù)據(jù)和管理應(yīng)用處理數(shù)據(jù)的能力存在“阻抗失配”。
如圖所示,傳統(tǒng)IT系統(tǒng)中的數(shù)據(jù)管理是非常簡(jiǎn)單的。端點(diǎn)設(shè)備(筆記本電腦、打印機(jī)、IP電話等)通過(guò)IP核心網(wǎng)絡(luò)與數(shù)據(jù)中心或者云端的服務(wù)器進(jìn)行通信。數(shù)據(jù)一般會(huì)儲(chǔ)存在數(shù)據(jù)中心中,而接入層到核心層之間的物理鏈路一般都擁有高帶寬,因此訪問(wèn)IT數(shù)據(jù)的速度也是很快的。
物聯(lián)網(wǎng)系統(tǒng)的工作方式與此不同。很多與數(shù)據(jù)相關(guān)的問(wèn)題都需要得到解決。
“最后一公里”物聯(lián)網(wǎng)的帶寬是很低的。在處理成千上萬(wàn)臺(tái)設(shè)備的時(shí)候,每臺(tái)設(shè)備可用的帶寬可能只有幾十kbit/s,甚至更低。
延遲可能非常高。除了處理延遲(以毫秒為單位)之外,大型物聯(lián)網(wǎng)往往會(huì)引入數(shù)百毫秒甚至數(shù)秒的延遲。
從網(wǎng)關(guān)的回程路徑有可能并不可靠,這條路徑往往需要依靠3G/LTE甚至衛(wèi)星鏈路來(lái)建立連接。如果必須借助逐字節(jié)的數(shù)據(jù)使用模型,回程鏈路有可能價(jià)值非常昂貴。
通過(guò)回程鏈路傳輸?shù)臄?shù)據(jù)量可能非常高,其中有很多數(shù)據(jù)或許價(jià)值不大(比如普通的輪詢消息)。
大數(shù)據(jù)越來(lái)越大。在云中存儲(chǔ)和分析所有傳感器的數(shù)據(jù)是不現(xiàn)實(shí)的。設(shè)備產(chǎn)生的數(shù)據(jù)量極大,執(zhí)行實(shí)時(shí)數(shù)據(jù)分析和響應(yīng)早已成為天方夜譚。
億聯(lián)云是一家云網(wǎng)服務(wù)提供商、大帶寬租賃、光纖專線接入、云服務(wù)器等行業(yè),提供性價(jià)比高的產(chǎn)品和優(yōu)質(zhì)的技術(shù)服務(wù),贏得了數(shù)十萬(wàn)用戶的青睞,如有任何疑問(wèn),歡迎致電010-53390328!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),請(qǐng)聯(lián)系站長(zhǎng)郵箱:shawn.lee@eliancloud.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。
標(biāo)題:物聯(lián)網(wǎng)數(shù)據(jù)管理與計(jì)算堆棧
TAG標(biāo)簽:物聯(lián)網(wǎng)
地址:http://www.dangdangload.com/article/20220121172247.html