k8s與數據分析--利用redash做自助數據分析

lykops 發布于2019-07-01 16:45 / 1203人閱讀

摘要：通過數據分析和挖掘，讓數據產生價值。數據可視化是大數據的最后一公里，做好可視化是對于數據分析是重要的。今天，主要介紹這款數據分析的利器。相比除了上手簡單，支持等時序數據庫。這點對于監控數據分析很有優勢。數據源包括時序數據庫，和業務庫。

前言

在之前文章中，一直講prometheus的metrics以及apm的指標的重要性，多側重于收據的收集和存儲。如果不對這些數據進行數據分析，那么就沒有收集的意義了。通過數據分析和挖掘，讓數據產生價值。一直以來我認為devops必須是一個閉環，即apm，日志，監控著三大系統的數據，必須經過分析對dev和ops有價值。
數據可視化是大數據的『最后一公里』，做好可視化是對于數據分析是重要的。
今天，主要介紹redash這款數據分析的利器。

redash簡介

redash是一款開源的BI工具，提供了基于web的數據庫查詢和數據可視化功能。

支持 SQL, NoSQL, Big Data and API data等20幾種常見的數據源：

基本上滿足了大多數的場景。相比
superset,除了上手簡單，支持influxdb等時序數據庫。這點對于監控數據分析很有優勢。

sql友好的SQL editor，更加高效的編寫復雜的sql

隨時寫，隨時查，實時看到查詢的效果

支持豐富的可視化展示形式

Boxplot

Chart - Line, Bar, Area, Pie, Scatter

Cohort

Counter

Funnel

Map

Pivot Table

Sankey

Sunburst

Word Cloud

角色權限相關，支持ldap等，方便與企業內部的用戶體系打通。

安裝和簡單使用 安裝

如果是想直接體驗的話，docker-compose部署最簡單，redashgithub倉庫中直接提供了docker-compose.production.yml文件，直接docker-compose up -d 即可。

# This is an example configuration for Docker Compose. Make sure to atleast update
# the cookie secret & postgres database password.
#
# Some other recommendations:
# 1. To persist Postgres data, assign it a volume host location.
# 2. Split the worker service to adhoc workers and scheduled queries workers.
version: "2"
services:
  server:
    image: redash/redash:latest
    command: server
    depends_on:
      - postgres
      - redis
    ports:
      - "5000:5000"
    environment:
      PYTHONUNBUFFERED: 0
      REDASH_LOG_LEVEL: "INFO"
      REDASH_REDIS_URL: "redis://redis:6379/0"
      REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
      REDASH_COOKIE_SECRET: veryverysecret
      REDASH_WEB_WORKERS: 4
    restart: always
  worker:
    image: redash/redash:latest
    command: scheduler
    environment:
      PYTHONUNBUFFERED: 0
      REDASH_LOG_LEVEL: "INFO"
      REDASH_REDIS_URL: "redis://redis:6379/0"
      REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
      QUEUES: "queries,scheduled_queries,celery"
      WORKERS_COUNT: 2
    restart: always
  redis:
    image: redis:3.0-alpine
    restart: always
  postgres:
    image: postgres:9.5.6-alpine
    # volumes:
    #   - /opt/postgres-data:/var/lib/postgresql/data
    restart: always
  nginx:
    image: redash/nginx:latest
    ports:
      - "80:80"
    depends_on:
      - server
    links:
      - server:redash
    restart: always

通過compose文件可以看出，redash依賴redis和pgsql數據庫。redis用來緩存一些查詢result，而pgsql是元數據庫，目前不支持mysql替換pgsql。

其他安裝方式，見官方文檔

簡單使用

先上一張實際的效果圖：

包含了couter和area chart。
數據源包括influxdb時序數據庫，和mysql業務庫。

其中audit-middware 其實是Query Results庫。Query Results Data Source 允許你在一些已經存在的查詢結果之上再做一些高級的查詢, 這樣就可以輕易合并一些查詢結果。

總結

在實際使用中，redash和superset各有優劣。根據自己的場景來選擇吧。查閱資料的過程中，已經有人對redash做了二次開發，這也許是深度使用的必經之路。
為什么非要使用這種開源BI可視化工具？
因為如果是前后端配合的話，工作量會很大。而且也很難實現隨時修改隨時上線。不過這取決于前期數據的完整性。

GPU云服務器云服務器大數據分析與利用怎么與阿里云服務器做數據傳輸 redash 利用python做圖像識別

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/32687.html

k8s與數據分析--利用redash做自助數據分析

摘要：通過數據分析和挖掘，讓數據產生價值。數據可視化是大數據的最后一公里，做好可視化是對于數據分析是重要的。今天，主要介紹這款數據分析的利器。相比除了上手簡單，支持等時序數據庫。這點對于監控數據分析很有優勢。數據源包括時序數據庫，和業務庫。前言在之前文章中，一直講prometheus的metrics以及apm的指標的重要性，多側重于收據的收集和存儲。如果不對這些數據進行數據分析，那么就沒...

CollinPeng 2019-07-30 17:11 評論0 收藏0
Redash本地開發環境搭建

摘要：修改解釋器版本適用開發。創建創建數據庫并建表本地安裝并創建數據庫，安裝的過程此處省略，可以百度查下。修改下面數據庫連接信息運行表創建語句本地安裝并啟動過程讀者可以百度查下，本地安裝之后關于的配置不需要修改。開發環境搭建步驟建議使用mac和ubuntu系統，同事剛開始使用windows安裝，過程中遇到很多問題，改用ubuntu系統，本文適用mac和ubuntu系統。官網建議使用虛擬...

LancerComet 2019-07-25 12:39 評論0 收藏0
滴滴機器學習平臺架構演進

摘要：滴滴機器學習平臺的治理思路主要是減少重復提高效率。本文將對滴滴的機器學習平臺進行全面解讀，重點分享機器學習平臺不同階段所要解決的問題，以及解決問題的思路和技術方案。綜合和各自的利弊，滴滴機器學習平臺開始由架構向建構遷移。前言：現在很多互聯網公司都有自己的機器學習平臺，冠以之名雖然形形色色，但就平臺所要解決的問題和技術選型基本還是大同小異。所謂大同是指大家所要處理的問題都相似，技術架構...

entner 2019-06-26 18:58 評論0 收藏0
UCloud新一代混合云基礎架構平臺“金翼專區”，讓混合云變成“一朵云”

摘要：近日，面向混合云時代，推出新一代的混合云基礎架構平臺金翼專區。而金翼專區基于混合云深厚的技術積累及豐富的產品組合，為用戶提供產品化的混合云解決方案。金翼專區整合對物理資源的統一納管能力，以及多種公有云與的網絡互通能力，輸出統一的混合一朵云。近日，UCloud面向混合云時代，推出新一代的混合云基礎架構平臺金翼專區（UXZONE）。X代表混合云底層資源和產品能力的多種組合；Zone代表為客戶提供...

Tecode 2022-06-28 18:59 評論0 收藏0
UCloud新一代混合云基礎架構平臺“金翼專區”，讓混合云變成“一朵云”

摘要：近日，面向混合云時代，推出新一代的混合云基礎架構平臺金翼專區。代表混合云底層資源和產品能力的多種組合代表為客戶提供定制獨享的混合云基礎架構平臺。金翼專區整合對物理資源的統一納管能力，以及多種公有云與的網絡互通能力，輸出統一的混合一朵云。近日，UCloud面向混合云時代，推出新一代的混合云基礎架構平臺金翼專區（UXZONE）。X代表混合云底層資源和產品能力的多種組合；Zone代表為客戶提供定制...

Tecode 2022-06-28 19:00 評論0 收藏0