国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

kafka、zk集群搭建指導

IT那活兒 / 2950人閱讀
kafka、zk集群搭建指導


軟件清單

  1. JDK 1.8

  2. Zookeeper

  3. kafka_2.11-2.0.0


網絡拓撲及組網

  1. zookeeper：3臺節點機集群

  2. kafka：3臺節點機集群


首先部署JDK1.8

JDK1.8 部署不再多帶帶描述


部署kafka集群

  1. 準備好kafka安裝包，獲取kafka_2.11-2.0.0版本包。

  2. 下載好kafka安裝包后，將其解壓到指定目錄下（例如/usr/local目錄下），刪除壓縮包。

  3. 示例將搭建三個節點作為kafka集群，分別是10.183.157.212，10.183.156.159，10.183.151.113。

  4. 修改kafka啟動內存

    Vi kafka-server-start.sh

    修改export KAFKA_HEAP_OPTS="-Xmx4G -Xms1G"

  5. 進入kafka的config目錄查看配置文件，zookeeper.properties為zookeeper集群配置文件，server.properties為kafka配置文件

  6. 首先建立zookeeper集群，編輯zookeeper.properties，三個機器上的zookeeper.properties文件配置相同，需要注意的是日志保存路徑dataLogDir不會自動生成，需要自己手動建立相關的路徑。dataDir目錄，為zookeeper目錄，也需要手動進行創建。

  7. 創建myid文件，進入步驟5中創建的dataDir目錄，創建myid文件，myid是zk集群用來發現彼此的標識，必須創建，且不能相同。將三個服務器上的myid文件分別寫入1，2，3，對應步驟6中的server.1、server.2、server.3，如圖：


  8. 進入kafka的bin目錄執行啟動zookeeper命令：sh zookeeper-server-start.sh /usr/local/kafka_2.11-0.10.1.1/bin/zookeeper.properties &，三臺機器都執行啟動命令，沒有報錯就說明zookeeper集群啟動成功了。

  9. 搭建kafka集群，修改server.properties配置文件，server.properties配置文件的修改主要在開頭和結尾，中間保持默認配置即可；需要注意的點是broker.id的值三個節點要配置不同的值，分別配置為0，1，2；log.dirs必須保證目錄存在，不會根據配置文件自動生成。，需要修改的配置項如下：

    #非負整數，用于唯一標識broker，每個節點要配置不同的值

    broker.id=0

    #broker接收連接請求的端口

    port 9091

    #broker 處理消息的最大線程數

    num.network.threads=32

    #broker處理磁盤IO 的線程數 ，數值應該大于你的硬盤數

    num.io.threads=8

    #kafka持久化數據存儲的路徑，可以指定多個，以逗號分隔

    log.dirs=/tmp/kafka-logs

    #每個topic的分區個數，若是在topic創建時候沒有指定的話 會被topic創建時的指定參數覆蓋

    num.partitions=18

    #數據存儲的最大時間 超過這個時間 會根據log.cleanup.policy設置的策略處理數據，也就是消費端能夠多久去消費數據

    log.retention.hours=48

    zookeeper.connect=10.183.157.212:2181,10.183.156.159:2181, 10.183.151.113:2181

  10. 啟動kafka集群，進入kafka的bin目錄，執行如下命令 ：

    sh kafka-server-start.sh -daemon ../config/server.properties &

    三個節點均要啟動；啟動無報錯，即搭建成功，可以生產和消費消息，來檢測是否搭建成功。


Kafka常用命令介紹

（均需要進入kafka的bin目錄下執行）

列舉topic

sh kafka-topics.sh --zookeeper 10.183.157.212:2181,10.183.156.159:2181,10.183.151.113:2181 --list



END


更多精彩干貨分享

點擊下方名片關注

IT那活兒

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129915.html

相關文章

  • kafka集群搭建

    摘要：什么是是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。這些數據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。高吞吐量即使是非常普通的硬件也可以支持每秒數百萬的消息。 Introduction 什么是kafkaKafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶...

    XUI 評論0 收藏0

  • 使用Docker快速建立一個Kafka實例

    摘要：所以此次優先選擇這個鏡像作服務的基礎。由于的基于集群的高可用特性是建基于稱之上的，因此構建可用的鏡像，是需要依賴于基礎的。構建建立一個多個組合的服務，需要獨立的文件。 0 前言 Kafka作為近幾年十分流行，雖然它自己定位為一個分布式流結構平臺distributed streaming platform，但是我們大部分時間還是當做是一個MQ來使用:P。 剛好最近也在研究Kafka，需要...

    yvonne 評論0 收藏0

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<