OneFamily,OneSchool,OneArmy

0%

在linux-aarch64下部署kafka集群

本文作者 朱新培 发表于 分类于 ， Valine：
本文字数： 3.3k 阅读时长 ≈ 3 分钟

环境版本介绍

跟之前zookeeper&solr一致，本教程也是基于脚本，目的是简单快速、高效率的部署。废话不说，让我们开始吧。

虽然kafka集群基于 zookeeper，flink的高可用也可基于 zookeeper，但是本此安装包中并不包含zookeeper的安装，关于zookeeper的安装参考solr那一篇教程

软件 版本
JDK 1.8.0_251-ARM64
KAFKA 2.12-2.6.0
FLINK 1.9.3-bin-scala_2.12
WI-KAFKA-INSTALLER (内含上述软件) 1.0

[WI-KAFKA-INSTALLER] 安装包下载

服务器部署信息

IP kafka[brokerid] flink
192.168.1.210 1 master
192.168.1.211 2 slave
192.168.1.212 3 slave

安装过程

上传安装包至 /wisoft目录，并解压 tar -zxf wi-kafka-installer-1.0.tar.gz

然后在/wisoft目录下执行脚本 wi-kafka-install..sh

脚本首先会检测JAVA环境，如果未检测到会自动给系统添加JAVA环境，如下：

接着脚本会提示你想要安装的软件，2选1

1
2
3
4
5
6
7
8
[root@dfs-01 wisoft]# ./wi-kafka-install.sh
获取到本机IP: 192.168.1.210
安装包目录   : /wisoft/installs
JDK版本      : jdk-8u261-linux-arm64-vfp-hflt.tar.gz
FLINK版本    : flink-1.9.3-bin-scala_2.12.tgz
KAFKA版本    : kafka_2.12-2.6.0.tgz
JAVA_HOME = /wisoft/java/jdk1.8.0_261
请输入你要安装的软件,1:kafka,2:flink[1/2]？

kafka安装

在选择安装kafka之后，脚本将提示输入本机标识,并提示你输入zookeeper地址，这里可以带上zookeeper中的目录，比如，下例：192.168.1.210,192.168.1.211,192.168.1.212/wi-kafka

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@dfs-01 wisoft]# ./wi-kafka-install.sh 
获取到本机IP: 192.168.1.210
安装包目录   : /wisoft/installs
JDK版本      : jdk-8u261-linux-arm64-vfp-hflt.tar.gz
FLINK版本    : flink-1.9.3-bin-scala_2.12.tgz
KAFKA版本    : kafka_2.12-2.6.0.tgz
JAVA_HOME = /wisoft/java/jdk1.8.0_261
请输入你要安装的软件,1:kafka,2:flink[1/2]？1
正在安装kafka...
请输入kafka集群标识:[0,1,2...]？1
请输入zookeeper地址: 192.168.1.210,192.168.1.211,192.168.1.212/wi-kafka

Created symlink from /etc/systemd/system/kafka.service to /wisoft/kafka/kafka.service.
kafka安装完成,KAFKA_HOME: /wisoft/kafka/kafka_2.12-2.6.0
执行 systemctl start kafka 启动或 reboot 自启

在提示安装完成后，最好执行 source ~/.bashrc 来刷新环境变量

kafka测试

安装完毕后，使用命令 systemctl start kafka 在各个节点启动集群

使用 jps|grep kafka 查看启动后进程是否存在

使用 cat /wisoft/kafka/logs/server.log 查看启动日志

安然无恙之后，使用在其中一个节点上使用名利创建一个topic 名为 test

1
2
3
4
5
6
7
8
9
10
11
12
[root@dfs-01 wisoft]# jps
11762 Jps
3113 QuorumPeerMain
11613 Kafka
[root@dfs-01 wisoft]# kafka-topics.sh \
>     --zookeeper 192.168.1.210,192.168.1.211,192.168.1.212/wi-kafka \
>     --create \
>     --replication-factor 1 \
>     --partitions 1 \
>     --topic test
Java HotSpot(TM) 64-Bit Server VM warning: G1 GC is disabled in this release.
Created topic test.

换个节点查看topic列表 是否可以查看到刚刚建立的topic test

1
2
3
4
5
[root@dfs-02 wisoft]# kafka-topics.sh \
>     --zookeeper 192.168.1.210,192.168.1.211,192.168.1.212/wi-kafka  \
>     --list
Java HotSpot(TM) 64-Bit Server VM warning: G1 GC is disabled in this release.
test

在其中一台节点上打开消费者控制台

1
2
3
4
5
[root@dfs-03 wisoft]# kafka-console-consumer.sh \
>     --bootstrap-server 192.168.1.210:9092,192.168.1.211:9092,192.168.1.212:9092 \
>     --topic test \
>     --from-beginning
Java HotSpot(TM) 64-Bit Server VM warning: G1 GC is disabled in this release.

在另一台节点打开生产者控制台，发送消息，并查看消费控制台是否能接收到消息内容

1
2
3
4
5
6
7
[root@dfs-01 wisoft]# kafka-console-producer.sh \
>     --broker-list 192.168.1.210:9092,192.168.1.211:9092,192.168.1.212:9092 \
>     --topic test
Java HotSpot(TM) 64-Bit Server VM warning: G1 GC is disabled in this release.
>[2020-09-11 15:18:31,656] WARN [Producer clientId=console-producer] Bootstrap broker 192.168.1.212:9092 (id: -3 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
hello kafka
>hello wisoft
1
2
3
4
5
6
7
[root@dfs-03 wisoft]# kafka-console-consumer.sh \
>     --bootstrap-server 192.168.1.210:9092,192.168.1.211:9092,192.168.1.212:9092 \
>     --topic test \
>     --from-beginning
Java HotSpot(TM) 64-Bit Server VM warning: G1 GC is disabled in this release.
hello kafka
hello wisoft

附安装过程视频