時序資料的挑戰
在資料中心IT運維管理中，流量資料的分析價值越來越受到使用者的重視，目前使用者透過對資料中心進行全流量採集，可實現網路、業務及安全的實時監控分析，實時重新整理精度可達到秒級，並快速發現數據中心產生的異常資料。監控資料採用時序資料處理，可實時繪製不同維度上百個指標的趨勢變化。資料中心每天會產生上百億的資料條目，達到PB級的流量資料。
運維人員在進行長時間的資料檢索時，會面臨效率較低的問題，並且資料儲存時長難以保障。所以面對一些資料消費場景時，時序資料的處理很難滿足運維需求。在使用者資料中心內，業務呼叫關係複雜，當業務系統要做遷移操作時，遷移後要保證該業務系統對外提供的所有服務與原有保持一致，而運維人員往往很難掌握業務系統之間的呼叫關係。所以要透過流量資料提供一份準確的訪問關係表，這張關係表不關注是在哪個時間進行呼叫以及過多的效能指標，只需要知道有誰跟本系統發生了訪問關係。另外，當某個服務要做變更操作時，也需要歷史資料的支撐來判斷該服務的影響範圍。為解決上述問題，客戶往往提出如下需求：
1、資料儲存時間要長，有些業務呼叫可能週期性一週、一個月才來呼叫一次，或者更長週期，只有長的時間的跟蹤才能保證資料的準確性。
2、資料要完整，由於時序資料資料量巨大，往往會採取抽樣、或者TOP的方式來提供服務，不能保障資料的完整性。
3、查詢效能，在海量的資料中進行查詢，會導致消耗大量系統資源，給資料承載的系統帶來巨大的壓力。
運維時效資料解決方案
為了滿足更長時間精準統計資料需求，智維資料推出時效資料解決方案。將時序資料轉化為時效資料，提供長時間、高效、靈活的查詢統計服務。
該解決方案的特點有：
1、資料保留期限長時序資料資料量巨大，儲存存滿後系統會自動刪除最早的資料，因此儲存期限較短。時效資料將時序資料進行有效的聚合、去重以及壓縮，經測試平均每天可處理50萬條資料，90天可處理的資料量大概在4500萬條，經過聚合、去重，資料的儲存量大概在200萬左右，極大程度的壓縮了資料儲存量。
2、全量資料統計智維資料nCompass網路流量分析平臺從資料採集到資料處理，沒有經過抽樣、TOP的處理方式，可以保證資料的完整性以及準確性。
3、緯度、指標可靈活組合時序資料提供眾多緯度和指標，使用者可根據需求自定義生成時效資料，透過緯度及指標過濾精準輸出。
選擇時效資料緯度及指標
過濾時效資料緯度及指標
4、提供靈活的資料服務介面
時效資料除了在智維資料nCompass網路流量分析平臺上進行本地資料消費外，還提供了標準的API介面，供外部應用呼叫。
時效資料消費場景
1、業務系統互動查詢
應用運維中業務互動關係資料可為很多場景中提供資料支撐，例如：系統變更、遷移、上下線、故障排查等。透過流量和CMDB資料縫合，提供時序資料以及時效資料無縫查詢。
【上圖為demo資料演示】
2、防火牆策略最佳化
智維資料nCompass防火牆策略視覺化平臺透過防火牆策略及防火牆前後的流量匹配關聯，幫助使用者最佳化防火牆策略，如無命中的策略、大策略收斂等場景都需要長時間的時效資料進行校準，才能夠精準的對策略進行最佳化，避免由於策略刪除、收斂產生的問題。
【上圖為demo資料演示】
3、業務訪問安全防護欄杆
內網業務系統互動關係變化相對較小，透過時效資料自動生成業務互動訪問白名單，對業務互動關係變化實時監控，如有新增訪問，平臺將透過告警或報表的形式進行輸出，運維人員可及時排查新增訪問是否合規或者是否存在安全隱患。
4、出訪記錄安全回溯
基於安全合規要求，運維人員需要在平臺上對所有出訪記錄進行儲存半年或一年以上時間，智維資料靈瓏應用交付最佳化平臺能夠採集負載均衡、防火牆、路由器等裝置的地址轉換關係表，並可與流量資料進行縫合。並且可以提供內網IP至目的IP，SANTIP至目的IP長時間的歷史回溯。
面對運維中多樣的資料統計需求，時效資料的運用提升了長時間資料的統計檢索能力，幫助使用者從海量資料中精準提取，同時大大節省了儲存成本。透過對時序資料再加工生成時效資料，充分發揮了流量資料在運維工作中的使用價值。
