摘要:服務器基本信息地址安裝服務環境信息安裝三臺主機上執行配置環境配置變量添加如下信息刷新配置文件安裝三臺主機上執行安裝生成配置文件修改配置文件表示程序監聽端口,表示選舉通信端口。
服務器基本信息
ip地址 安裝服務
10.0.0.52 zookeeper-3.4.10、kafka2.10、kafka-manager
10.0.0.53 zookeeper-3.4.10、kafka2.10
10.0.0.54 zookeeper-3.4.10、kafka2.10
2.環境信息
2.1 JDK http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz 2.2 zookeeper(zookeeper-3.4.10) http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
3.安裝jdk(三臺主機上執行)
3.1配置java環境
cd /usr/loca/src/ tar -C /usr/local/ -xzf /usr/local/src/jdk-8u111-linux-x64.tar.gz
3.2配置java變量
vim /etc/profile
添加如下信息:
export JAVA_HOME=/usr/local/jdk1.8.0_111 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
3.3刷新配置文件:
source /etc/profile
4.安裝zookeeper(三臺主機上執行)
4.1 安裝zookeeper
cd /usr/local/src/ tar -C /usr/local/ -xzf zookeeper-3.4.10.tar.gz cd /usr/local/zookeeper-3.4.10 ln -s zookeeper-3.4.10 zookeeper
4.2生成配置文件
cd /usr/local/zookeeper cp conf/zoo_sample.cfg conf/zoo.cfg
4.3修改zookeeper配置文件
vim /usr/local/zookeeper/conf/zoo.cfg maxClientCnxns=60 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/data dataLogDir=/data/logs/zookeeper clientPort=2181 server.1=10.0.0.52:2888:3888 server.2=10.0.0.53:2888:3888 server.3=10.0.0.54:2888:3888
2888表示zookeeper程序監聽端口,3888表示zookeeper選舉通信端口。
4.4 創建所需文件夾
mkdir -p /data/zookeeper/data mkdir -p /data/logs/zookeeper
4.5 生成myid
主機(10.0.0.52)
echo "1" >/data/zookeeper/data/myid ##生成ID,這里需要注意, myid對應的zoo.cfg的server.ID,比如第二臺zookeeper主機對應的myid應該是2
主機(10.0.0.53)
echo "2" >/data/zookeeper/data/myid
主機(10.0.0.54)
echo "3" >/data/zookeeper/data/myid
4.6 啟動zookeeper
cd /usr/local/zookeeper/bin ./zkServer.sh start#
4.7 關閉zookeeper
cd /usr/local/zookeeper/bin ./zkServer.sh stot
4.8 查看zk狀態
cd /usr/local/zookeeper/bin ./zkServer.sh status
4.9 查看相關信息
/usr/local/zookeeper/bin/zkCli.sh -server 127.0.0.1:2181
安裝kafka(三臺主機上執行)
5.1 安裝kafka
cd /usr/local/src tar zxvf kafka_2.10-0.10.2.1.tgz mv kafka_2.10-0.10.2.1 /usr/local/kafka
5.2 修改配置文件
vim /usr/local/kafka/config/server.properties
具體參數如下:
# 每臺服務器的broker.id都不能相同 broker.id=1 # 端口 port=19092 # 主機名 host.name=10.0.0.52 # 是否可以刪除topic delete.topic.enable=true # 具體一些參數 log.retention.hours=168 message.max.byte=5242880 default.replication.factor=2 replica.fetch.max.bytes=5242880 # 設置zookeeper集群地址與端口 zookeeper.connect=10.0.0.52:2181,10.0.0.53:2181,10.0.0.54:2181
5.3 啟動kafka(三臺)
cd /data/kafka/kafka_2.12-0.11.0.0/bin ./kafka-server-start.sh -daemon ../config/server.properties &
5.4 創建topic
/kafka-topics.sh --create --zookeeper 10.0.0.52:2181,10.0.0.53:2181,10.0.0.54:2181 --replication-factor 2 --partitions 1 --topic tttt
參數解釋:
復制兩份 --replication-factor 2 創建1個分區 --partitions 1 topic 名稱 --topic tttt
5.5 查看已經存在的topic
./kafka-topics.sh --list --zookeeper 10.0.0.52:2181,10.0.0.53:2181,10.0.0.54:2181
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/72357.html
摘要:項目地址前言大數據技術棧思維導圖大數據常用軟件安裝指南一分布式文件存儲系統分布式計算框架集群資源管理器單機偽集群環境搭建集群環境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環境下的安裝部署和命令行的基本使用常用操作分區表和分桶表視圖 項目GitHub地址:https://github.com/heibaiying... 前 言 大數據技術棧思維導圖 大數據常用軟件安裝指...
閱讀 2847·2021-09-28 09:36
閱讀 3937·2021-09-22 15:52
閱讀 3630·2021-09-06 15:00
閱讀 1947·2021-09-02 15:40
閱讀 2798·2021-09-02 15:15
閱讀 3454·2021-08-17 10:15
閱讀 2781·2019-08-30 15:53
閱讀 2073·2019-08-29 18:39