nanodesu~ > kafka安装配置

kafka安装配置

2020-12-15

java, 大数据, kafka

illustration

kafka安装配置

系统环境

  • 操作系统:Ubuntu 18.04LTS
  • java: 1.8.0_201
  • 生产者:master节点:10.177.82.86
  • 消费者:slave1节点:10.177.82.88

下载kafka

官网上下载:http://kafka.apache.org/downloads

image-20201215132254397

没有查到有版本依赖的关系,下载最新版本

使用清华源,速度很快

image-20201215132347329

解压到自定义的位置,我解压到~/software

配置kafka

配置环境变量,打开~/.bashrc

1
2
export KAFKA_HOME=/home/hjy/software/kafka_2.13-2.6.0
export PATH=$PATH:$KAFKA_HOME/bin

source ~/.bashrc更新配置

在其它节点上重复这个操作

将kafka复制到其它节点上

1
scp -r ../kafka_2.13-2.6.0 slave1:/home/hjy/software/

修改配置文件(只给出修改的部分)

master节点conf/server.properties

1
2
3
broker.id=0
listeners=PLAINTEXT://master:9092
zookeeper.connect=master:2181,slave1:2181

slave1节点conf/server.properties

1
2
3
broker.id=1
listeners=PLAINTEXT://slave1:9092
zookeeper.connect=master:2181,slave1:2181

所有节点都需要修改的部分(可以选择修改之后再复制到其它节点上):

conf/producer.properties

1
bootstrap.servers=master:9092,slave1:9092

conf/consumer.properties

1
bootstrap.servers=master:9092,slave1:9092

启动kafka

启动zookeeper(所有节点都启动),可以使用已经安装好的zookeeper

1
zkServer.sh start

也能使用自带的zookeeper:

1
zookeeper-server-start.sh config/zookeeper.properties &

启动kafka(所有节点启动)

1
kafka-server-start.sh -daemon config/server.properties

创建topic(master节点)

1
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test-topic

master上创建生产者

1
kafka-console-producer.sh --broker-list slave1:9092 --topic test-topic

slave1上创建消费者

1
kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic test-topic

master上输入字符串能够同步显示在slave1上,说明kafka搭建成功!

image-20201215162753422