Kafka安装与配置—Windows

作者:haobinghui 时间:2019-07-01 浏览:525 次

Kafka环境搭建包含JDK+Zookeeper+Kafka三部分


JDK:

下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html

图片.png

安装完成后配置环境变量:

添加系统环境变量 :JAVA_HOME=C:\Program Files\Java\jdk-12.0.1(快速操作:win+r ,sysdm.cpl ,高级-环境变量)

添加Path:%JAVA_HOME%\bin

图片.png

图片.png

图片.png


Zookeeper

下载地址:http://zookeeper.apache.org/releases.html#download下载stable版本

注意:Windows系统和Linux系统对应的不同文件,Windows系统下载二进制版本的才能使用


下载后解压到一个目录:D:\Tool

  1. 进入 Zookeeper 设置目录,D:\Tool\apache-zookeeper-3.5.5-bin\conf

  2. 将“zoo_sample.cfg”重命名为“zoo.cfg”

  3. 在任意文本编辑器打开zoo.cfg

  4. 找到并编辑 dataDir=D:\\Tool\\apache-zookeeper-3.5.5-bin\\data 【添加 dataLogDir=D:\\Tool\\apache-zookeeper-3.5.5-bin\\logs】

  5. 在系统环境变量中添加:

    1. a. 在系统变量中添加 ZOOKEEPER_HOME = D:\Tool\apache-zookeeper-3.5.5-bin

    2. b. 编辑path系统变量,添加为路径 %ZOOKEEPER_HOME%\bin

  6. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)

  7. 打开新的cmd,输入zkServer,运行Zookeeper

  8. 命令行提示无误:说明本地Zookeeper启动成功


Kafka

下载地址:http://kafka.apache.org/downloads

注意:Windows系统和Linux系统对应的不同文件,Windows系统下载二进制版本的才能使用

图片.png


下载后解压到一个目录:D:\Tool

  1. 进入Kafka配置目录,D:\Tool\kafka_2.12-2.2.1\config

  2. 编辑文件“server.properties”

  3. 找到并编辑  log.dirs=/tmp/kafka-logs,这里的目录自己修改成自己喜欢的 log.dirs=D:\\Tool\kafka_2.12-2.2.1\\kafka-log

  4. 找到并编辑zookeeper.connect=localhost:2181。表示本地运行

  5. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181


运行Kafka

重要:请确保在启动 Kafka 服务器之前,Zookeeper 实例已经运行


1) 进入 Kafka 安装目录 D:\Tool\kafka_2.12-2.2.1

2) 按下Shift+右键,选择“打开Powershell命令窗口”选项,打开命令行

3) 输入命令运行

.\bin\windows\kafka-server-start.bat .\config\server.properties

4) 可能会报错:“找不到或无法加载主类 Files\java\jdk-9.0.1\lib;C:\Program”

图片.png

5) 解决(4)的办法:

在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat 文件中的"%CLASSPATH%"加上双引号

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

6) 搭建 Kafka 成功


测试

上面的 Zookeeper 和 Kafka 一直保持运行


(1)、创建主题

1) 进入 Kafka 安装目录:D:\Tool\kafka_2.12-2.2.1

2) 按下Shift+右键,选择“打开Powershell命令窗口”选项,打开命令行

3) 输入命令运行

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topicName

图片.png

4) 可以查看当前存在的所有的 Topic Name

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

图片.png


(2)、创建生产者

1) 进入 Kafka 安装目录:D:\Tool\kafka_2.12-2.2.1

2) 按下Shift+右键,选择“打开Powershell命令窗口”选项,打开命令行

3) 输入命令运行

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topicName


注意不要关了这个窗口!


(3)、创建消费者

1) 进入 Kafka 安装目录:D:\Tool\kafka_2.12-2.2.1

2) 按下Shift+右键,选择“打开Powershell命令窗口”选项,打开命令行

3) 输入命令运行

.\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic topicName --from-beginning

4) 可能会报错:“ consumer zookeeper is not a recognized option ”

换了一个低版本的kakfa,发现在启动的时候说使用 --zookeeper 是一个过时的方法,此时,才知道原来在最新的版本中,这种启动方式已经被删除了


5) 解决(4)的办法:0.90版本之后启动消费者的方法

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topicName --from-beginning

6) --from-beginning 参数来设置从头消费,如果没有此参数则从 offset 偏移位置开始消费


注意不要关了这个窗口!


然后在 生产者 窗口中输入内容,最后记得回车,看 消费者 窗口是否能够看到生产者发送的消息。

图片.png

有问题欢迎在本站留言交流,互相学习。

标签: Kafka