日志分析
在線咨詢
UES 基于開源分布式搜索和分析引擎 Elasticsearch 構建，提供開箱即用的分析能力?？蛻艨梢曰?UES 快速構建起 ELK 日志分析架構，即使用 Beats 作為日志采集器，采集各個服務器節點上的日志數據，經過 Logstash 解析、過濾后，匯集至 UES 集群存儲，然后借助 Kibana 的可視化分析能力構建分析看板，高效的進行可視化日志分析工作。如果日志規模龐大，可以在上述架構中引入消息隊列 UKafka，確保持續穩定的數據傳輸和處理。
助力企業降本增效，獲取數據時代核心競爭力
UCloud大數據生態全面支持集數據采集、數據存儲、數據分析和數據應用為一體的大數據應用場景，助力企業快速構建大數據處理體系，實現商業目標。
-
開箱即用
簡單幾步，即可輕松完成集群創建和部署 -
智能運維
豐富的集群運維經驗，結合專業的智能監控運維工具，及時發現并排除風險隱患，有效降低企業成本 -
資源獨享
集群節點獨占、數據獨享，數據更私密、安全 -
一站式服務
提供終端到云端全鏈路服務，集數據采集、數據存儲、數據分析和數據應用為一體
技術架構
-
1
用戶通過Flume/DataX/Logstash等工具把日志數據、業務數據收集到UKafka中，UKafka中的數據可以給實時計算使用，或轉存到HDFS、UES、HBase、UDW等存儲系統中做離線分析和數據挖掘使用；
-
2
實時計算可以通過UFlink、UHadoop中的Spark Streaming在UKafka實時讀取數據，進行實時ETL、實時分析、實時訓練；
-
3
離線計算可以通過Hive、Spark 、MapReduce進行數據清洗分析；
-
4
計算結果數據可以存儲在UDW、HBase、UES、MySQL等存儲系統中，以支撐個性化推薦、報表、風控、監控等業務使用。
適用場景use cases
-
-
實時計算
在線咨詢UFlink 基于開源流式計算引擎 Flink 構建，提供了完全托管的流式計算平臺。客戶可以將數據源不斷產生的流式數據接入各類流式數據存儲，如消息隊列 UKafka，然后創建 UFlink 集群從 UKafka 中訂閱流式數據。開發者將編寫的業務處理代碼提交至 UFlink 集群，即可借助其強大的流式計算能力對這些數據進行實時處理，計算結果可以推送到各類數據存儲中，如數據倉庫 UDW，以供業務應用或者進行進一步的處理。 -
數據倉庫
在線咨詢可以利用UHadoop/UDW快速的構建離線數倉，對海量數據進行分析和展示；利用Kafka+UFlink+UDW構建實時數倉，可以輕松的應對上百億數據的實時分析平臺；對當前的業務數據進行實時\準實時分析、挖掘，加快需求響應速度，能夠讓企業快速的感知市場的變化，加快決策與實施。
-
機器學習
在線咨詢MADlib提供了豐富的分析模型，包括回歸分析，決策樹，隨機森林，貝葉斯分類，向量機，風險模型，KMEAN聚集，文本挖掘，數據校驗等。通過UDW的MADlib擴展，用戶可以在UDW數據庫中方便的使用MADlib功能；利用UHadoop中Spark MLlib中的機器學習庫，實現業務的預測分析、個性化推薦、異常檢測等。
