国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Kafka集群搭建

IT那活兒 / 2385人閱讀
Kafka集群搭建

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

 


第一步 

需要安裝jdk和zookeeper，新版本的kafka應(yīng)該是自帶zookeeper的。


第二步
1. Kafka官網(wǎng)有其他版本的安裝包。
Wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgz
2. 一般在根目錄下創(chuàng)建data目錄，下載在data中，下載完成之后解壓：
tar -zxvf kafka_2.11-2.1.1.tgz


3. 解壓之后，為了方便改一下名字：


mv kafka_2.11-2.1.1 kafka
4. 在kafka下創(chuàng)建一個(gè)data目錄，用來(lái)存放kafka的數(shù)據(jù)：
Mkdir data
5. 開(kāi)始修改配置文件 kafka/config/server.properties：
broker.id=1
listeners=PLAINTEXT://192.168.44.128:9092
log.dirs=/data/kafka/data
zookeeper.connect=192.168.44.128:2181,192.168.44.129:2181,192.168.44.130:2181
主要修改這四條就可以：
  • broker.id 需要保證每一臺(tái)kafka都有一個(gè)獨(dú)立的broker；
  • listeners = PLAINTEXT://當(dāng)前虛擬機(jī)ip地址:9092；
  • log.dirs 數(shù)據(jù)存放的目錄；
  • zookeeper.connect zookeeper的連接地址信息。
6. 配置完成后先不啟動(dòng)，將kafka拷貝到其他機(jī)器上，根目錄下需要有data，其他機(jī)器只需要修改一下broke.id和listeners，然后啟動(dòng)所有kafka就可以了。
scp -r kafka root@192.168.44.129:/data
scp -r kafka root@192.168.44.130:/data
7. 每臺(tái)機(jī)器啟動(dòng)kafka，要確保zookeeper已經(jīng)啟動(dòng)了。
./bin/kafka-server-start.sh -daemon config/server.properties
驗(yàn)證：注意端口號(hào)。
8. 創(chuàng)建一個(gè)名稱為test的Topic，3個(gè)分區(qū)，并且復(fù)制因子為3，執(zhí)行如下命令：
./bin/kafka-topics.sh --create --zookeeper 192.168.44.128:2181,192.168.44.129:2181,192.168.44.130:2181 
--replication-factor 3 --partitions 3 --topic test
9. 查看創(chuàng)建的topic信息，進(jìn)入kafka的bin目錄下，執(zhí)行如下命令：
./bin/kafka-topics.sh --describe --zookeeper 
192.168.44.128:2181,192.168.44.129:2181,192.168.44.130:2181 --topic test


10. 在其中一臺(tái)服務(wù)器啟動(dòng)生產(chǎn)者(producer)：
./bin/kafka-console-producer.sh --broker-list 
192.168.44.128:9092,192.168.44.129:9092,192.168.44.130:9092 --topic test


11. 在任意議一臺(tái)服務(wù)器啟動(dòng)消費(fèi)者(consumer)，接受消息：
./bin/kafka-console-consumer.sh --broker-list 
192.168.44.128:9092,192.168.44.129:9092,192.168.44.130:9092 --topic test
12. 如果consumer服務(wù)器接收到producer服務(wù)器輸入的內(nèi)容，則啟動(dòng)集群成功。
執(zhí)行生產(chǎn)者命令，在生產(chǎn)者命令窗口輸入消息：
執(zhí)行消費(fèi)者命令，在消費(fèi)者命令窗口顯示消息：


END



本文作者：朱景鋒

本文來(lái)源：IT那活兒（上海新炬王翦團(tuán)隊(duì)）

????

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/129465.html

相關(guān)文章

  • kafka集群搭建

    摘要：什么是是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。這些數(shù)據(jù)通常是由于吞吐量的要求而通過(guò)處理日志和日志聚合來(lái)解決。高吞吐量即使是非常普通的硬件也可以支持每秒數(shù)百萬(wàn)的消息。 Introduction 什么是kafkaKafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。 這種動(dòng)作（網(wǎng)頁(yè)瀏覽，搜索和其他用戶...

    XUI 評(píng)論0 收藏0

  • 大數(shù)據(jù)入門指南（GitHub開(kāi)源項(xiàng)目）

    摘要：項(xiàng)目地址前言大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲(chǔ)系統(tǒng)分布式計(jì)算框架集群資源管理器單機(jī)偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡(jiǎn)介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項(xiàng)目GitHub地址：https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指...

    guyan0319 評(píng)論0 收藏0

  • kafka集群搭建

    摘要：服務(wù)器基本信息地址安裝服務(wù)環(huán)境信息安裝三臺(tái)主機(jī)上執(zhí)行配置環(huán)境配置變量添加如下信息刷新配置文件安裝三臺(tái)主機(jī)上執(zhí)行安裝生成配置文件修改配置文件表示程序監(jiān)聽(tīng)端口，表示選舉通信端口。 服務(wù)器基本信息 ip地址 安裝服務(wù)10.0.0.52 zookeeper-3.4.10、kafka2.10、kafka-manager10.0.0.53 zookeeper-3.4.10、kaf...

    lpjustdoit 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<