用戶需求:
1、實現 XXX 集團故障排查:通過日志手段可對系統進行實時健康度監控,系統日志記錄,故障定位。
2、實現 XXX 集團業務分析:通過對業務系統日志進行關聯分析,可以掌握業務系統整體運行情況,并可通過日志進一步掌握用戶畫像分析、 用戶操作情況、用戶訪問資源信息,從而為業務平臺的分析、數據提煉等提供數據支撐。
3、實現 XXX 集團安全合規審計:根據國家等級保護要求,需要對安全設備日志進行集中存儲和分析;
、實現 XXX 集團內網安全監控:很多企業的信息泄漏起始于內部,使用日志進行用戶行為分析(UEBA),以監控內網安全。
5、實現 XXX 集團智能運維:數據管理和分析方案越來越智能。自動化運維已逐漸普及,而機器數據作為智能運維的基礎數據,也必將在 未來發揮出愈來愈重要的作用。
解決方案:
為 XXX 集團建立日志采集、分析平臺,使用日志平臺,進行故障排查、業務分析、安全合規審計、智能運維。
1、日志易平臺搭建。搭建日志服務器硬件集群環境。
2、日志數據采集與存儲。進行Windows、Linux、數據庫、防火墻、中間件、VPN、虛擬機、防病毒等系統日志采集。系統支持文件和 目錄、Syslog、腳本、系統性能數據、數據庫數據、Beats、Packetbeat、S3、Kafka、Ntp數據采集。
3、日志數據解析。對海量數據進行日志解析、字段提取、時間戳識別,定義標準化字段日志。
4、日志數據分析。使用SPL結構化數據計算程序語言對日志數據進行故障排查、統計可視化、原文檢索、統計變換。
5、日志數據可視化展現。使用儀表盤圖表的形式展示,可調整的圖表布局、時間列表、靈活的時間范圍選擇、過濾項、輸入項等,通過 柱狀圖、統計表、曲線圖、餅狀圖、扇形圖等進行數據展示。
6、日志監控告警及報表。通過建立定時任務,實現數據的實時監控告警,以syslog、郵件、短信、微信通知到用戶。
日志典型建設場景 - 業務分析圖
