国产一区2区_男女性高爱潮免费看_免费的毛片视频_色www免费视频

四川中衛北斗科技有限公司

在線咨詢
微信

微信掃一掃

長按二維碼關注微信加好友

淺析軌道交通云存儲的架構及技術

發布時間:2018-09-07 13:33


     寧波軌道交通已經開通運營寧波地鐵1號線,寧波地鐵2號線,正在建設的包括寧波地鐵3號線,寧波地鐵4號線,寧波地鐵5號線等項目,本文就如何實現滿足反恐法要求的視頻圖像信息保存90天的高可靠存儲方式進行闡述,提出了車站視頻云存儲相關方案進行探討。

     軌道交通存儲現狀

     目前軌道交通視頻監控領域的站點存儲主要指SAN、一體機設備,這類設備通過RAID、增加擴展柜的方式獲得了單機的大規模寫入空間,滿足了高密度的需求,但是對于軌道行業視頻的高可靠性存儲需求依然存在不足,以及對于視頻應用讀取仍無法做到按需分配;

     云存儲的架構真正做到視頻的寫入、讀取按需分配、線性擴展,增加獨立的存儲節點即可獲得更高的讀和寫性能,以及支持多硬盤、多設備節點故障,磁盤熱插拔與漂移等存儲的高可靠性需求,下位主要闡述軌道交通云存儲的建設。

     目前軌道交通行業云存儲以私有云建設模式,私有云的網絡是架設在建設方的數據中心的設備上,也就是內部的物理服務器和網絡硬件之上,企業對于這些云中的所有要素都擁有完整的控制權,從一個安全的角度來看,這樣的私有云可以滿足企業對敏感和重要數據的保護的需求。

     云存儲技術發展的現狀

     從實際使用的角度來看,用戶對于存儲的主要需求是建、存、讀、管、維。由于軌道交通視頻監控行業云存儲仍處于起步階段,沒有統一標準,市場上存在著云存儲產品參差不齊的狀況,這幾個標準對應的衡量標準可以作以下幾點總結:

     ● 建的瓶頸體現在上線部署便利程度,能否做到分鐘級快速部署,能否降低設備分批上線的難易程度;

     ● 存的瓶頸體現在能否滿足海量規模存儲,單一的錄像存儲是否既能保證空間又能保證性能;

     ● 讀的瓶頸體現在能否按需讀取,特別是給予視頻監控進行的實戰業務部署,讀取的性能線性增長,存儲能否給予保證;

     ● 管的瓶頸體現在易用性,能否實時準確獲取設備狀態,能否把傳統存儲不友好的人機界面變成更加親切的交互;

     維的瓶頸在于保證設備的高可用性,如何在云存儲系統把發生的故障當做一種常態并兼顧數據安全和成本二者的平衡點。

     傳統存儲服務器都提供服務器內部磁盤間,利用RAID技術,組建各種容錯等級的RAID組,來為數據可靠性提供保障。隨著硬盤的容量越來越大,RAID的重構時間變得越來越長。一塊3T的硬盤,在工作狀態下,重構的時間有的時候甚至要達到2個星期之久。

(圖片源于網絡)

     在重構的過程中,任一其他的數據的錯誤,都將導致整個數據丟失或者RAID崩潰,顯然,存儲節點內RAID技術,對于一定規模的云存儲系統而言,是無法提供數據可靠性保證的,且由于重構時間以及重構時出錯概率增加,甚至會導致可靠性降低。

     在云存儲領域,互聯網企業廣泛使用副本技術來提供數據可靠性,即一份原始數據同樣的方式存多份,這對于海量低價值密度的視頻監控存儲系統而言,其性價比相對較低。

     在大規模存儲應用場景中,節點故障、數據失效是一種常態,使用EC糾刪碼來保證存儲可靠性、數據可用性是目前的最有效方式之一。其原理是將文件數據分割成N個大小相同的原始數據塊,然后編碼生成M個大小相同的校驗數據塊,最后將原始數據塊和校驗數據塊分別存儲在不同的位置,糾刪碼的容錯能力正是來源于這些校驗數據塊,在1~M個數據塊損壞的情況下,整體數據仍然可以通過剩余的數據塊計算得出,確保了數據仍有高可用性的同時,追求更高的存儲利用率。

     軌道交通云存儲建設方式

     軌道交通云存儲系統采用單站點一套云存儲系統的建設方式,多個車站形成多云的形態,在系統正常的情況下,每套云存儲系統各自存儲站內的高清視頻,當某個站點整套云存儲系統出現故障時,支持鄰站或控制中心的云存儲系統自動接管故障站點的攝像機,實現云存儲系統之間的災備功能。

     軌道站點云存儲系統采用分布式的存儲機制,將數據分散存儲在多臺獨立的存儲服務節點上。它采用包括元數據管理服務、數據存儲節點結構構成海量云存儲系統。

     其中,元數據服務節點主備保存系統的元數據,負責對整個文件系統的管理,元數據服務在邏輯上只有一個,但采用主備方式,保證系統的不間斷服務;數據存儲節點負責具體的數據存儲工作,采用對象存儲方式,數據以文件塊的形式存儲在數據存儲節點上,數據存儲節點的個數可以有多個,它的數目直接決定了云存儲系統的規模;客戶端對外提供數據存儲和訪問服務的接口,為云業務平臺提供云存儲系統的訪問能力;同時,針對視頻業務,在數據存儲節點上集成了流媒體服務,讓存儲節點具備了流媒體直存能力,讓前端視頻流直接存儲至云存儲成為可能。

     云存儲優勢

     數據穩定可靠

     云存儲采用糾刪碼技術、離散技術把前端視頻數據在寫入存儲設備之前根據預定策略進行離散并加入適量的糾刪碼,確保每個存儲節點只存放該視頻數據的一個數據片,一旦某個存儲節點故障則可以通過糾刪碼進行數據恢復,從而實現整個云存儲系統的設備級容錯。

     IPSAN只是通過本地RAID保護硬盤的故障,RAID5只能容忍1塊硬盤故障,RAID6也只能容忍2塊硬盤故障是無法保證多硬盤故障以及設備節點的故障,可靠性很低。

     下載快

     云存儲采用了帶寬聚合技術、磁盤I/O聚合技術確保在普通的千兆網絡環境用廉價的SATA盤就能實現高速下載。24小時大約43GB的數據能在幾分鐘之內就可以下載完成,再也不用像以前一樣一旦發生重要案事件時通宵下載視頻的情況。

     IPSAN下載時的速度基本上在30MB/s,這也是為什么一旦案事件發生時需要通宵的下載視頻錄像。

     易維護

     云存儲通過就刪嗎技術來保障數據的安全可靠,而非傳統的RAID技術,因此允許多塊硬盤損壞后再批量換盤,同時通過多渠道通知告警信息。

     給業務帶來的好處:傳統存儲系統的日常維護需要耗費運維人員大量的時間,特別是經常需要關注RAID組內是否有壞盤,一旦有就要及時的更換才能規避數據丟失。

     云存儲系統允許批量更換硬盤,在減輕運維人員的工作量同時也非常符合我們客戶集中硬盤采購、集中更換的流程。同時,云存儲系統第一時間把告警信息用短信等途徑發送到客戶運維人員手機上,方便快捷的管理云存儲系統。

     擴容性好

     云存儲系統采用虛擬化技術將所有的存儲設備虛擬化統一的資源池通過唯一的IP地址給業務系統提供服務,因此可以在1分鐘內實現單臺節點的在線擴容。

     共享性好

     云存儲采用了對象存儲技術,在確保讀寫性能的同時又提供了高共享性,確保可以多個應用系統同時訪問存放在云存儲系統中的數據。

     IPSAN系統采用塊存儲機制,不是對象存儲技術,因此其數據共享都需要通過監控系統來翻譯數據。

     給業務帶來的好處:打破了傳統SAN模式數據孤島問題,云存儲系統允許監控系統把視頻數據寫入到云存儲系統中,同時允許分析系統讀取視頻數據,無需經過監控系統的轉發就可以快速獲取數據。

    總結

     通過提出車站視頻云存儲設計方案,滿足軌道交通行業存儲的高可靠性要求的前提下,提供視頻寫入、讀取按需分配、海量存儲、線性擴展、高速并發等享受云存儲帶來的優勢,同時,通過開放透明的應用接口和簡單易用的管理界面,為整個監控系統提供了高效、可靠的數據服務。


來源: ITS智能交通 

掃一掃在手機上閱讀本文章

版權所有? 四川中衛北斗科技有限公司    蜀ICP備14007264號-3    技術支持: 竹子建站