Kafka的单机部署

Friday, Feb 4, 2022 | 2 | Friday, Feb 4, 2022

@

关于Kafka在本地进行部署の详细说明 ⑅︎◡̈︎*

 

——> 全文约 550 字 <——

Kafka的单机部署分为以下三步:

下载&安装

目前 Kafka 已经更新到3.0.0,该版本是当前最稳定的版本,请点击此处 下载,当然你也可以在 Kafka官网 中下载指定的旧版本,比如我就是下载的2.4.1版本。

下载完后对压缩包进行解压,并将整个文件夹移动到你想要的位置,比如我的存放位置是:

/Users/Kay/Work/Tools/kafka/kafka_2.11-2.4.1

启动

启动顺序是:先启动 Zookeeper,再启动 Kafka,顺序不可以调换。

(同理关闭顺序是先关闭 Kafka 再关闭 Zookeeper)

  • 启动 Zookeeper

    cd /Users/Kay/Work/Tools/kafka/kafka_2.11-2.4.1
    bin/zookeeper-server-start.sh config/zookeeper.properties
    
  • 启动 Kafka(另起一个终端窗口)

    cd /Users/Kay/Work/Tools/kafka/kafka_2.11-2.4.1
    bin/kafka-server-start.sh config/server.properties
    

为了方便,我通常将上述命令写在脚本中,点击直接启动。

Topic监听

现在我已经启动了Kafka并往一个名为 kafka_topic_example 的 topic 中生产了一些数据,我要查看当前所有的 topics,我可以通过如下方式(ps. 我运行该命令无法查看我创建的 topic,暂时不知道为什么):

cd /Users/Kay/Work/Tools/kafka/kafka_2.11-2.4.1
bin/kafka-topics.sh --list --zookeeper localhost:2181

我要查看当前 topic 的数据内容,可以通过如下方式:

cd /Users/Kay/Work/Tools/kafka/kafka_2.11-2.4.1
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic kafka_topic_example --from-beginning

如图所示,我现在能看到指定 topic 中的数据:

清空缓存

有时候会遇到直接关闭 Kafka 和 Zookeeper 的情况,这时候 Kafka 的缓存并不会被清空,由此可能会影响后续的使用,因此可以使用如下方式手动清空缓存:

rm -rf /tmp/kafka-logs/* # Kafka的缓存储存在该目录下

本文结束。

© 2020 - 2026 Kays Blog ⑅︎◡̈︎*

🌱 Powered by Hugo with theme Dream.

憨批の自我介绍
🍺 Kayman' Blog 🏎️

这个博客用来记录一些生活&学习上的事情 ⑅︎◡̈︎*

一名憨憨CRUD专家,现就职于Shopee ,数据鸡架的 Flink 方向

业余时间只剩下 羽毛球🏸️|篮球🏀|德州♠️|打游戏🎮|肥宅🥤 了……

-- 2022 年 02 月 08 日更新 --

一名憨憨CRUD专家,现即将从就读于 🏫 北大青鸟毕业

业余时间会做开源和一些别的项目啥也不会做

目前准备去1075了,顺便捣鼓些Geek Proj,养老的同时培养点兴趣驱使方向。


在北大最好的朋友是 江栽花 ,我们一个负责吹牛皮一个负责去 GayHub 偷别人的优秀代码,完成过很多烂番茄项目,搞过一段时间的磕盐。

尽管也没人认识我们,但是还是客套地说一下

-- 2021 年 06 月 18 日更新 --
技术栈 & Project

主要的技术栈是:

  • 目前工作的方向是 Flink ˙Ꙫ˙

  • Java ˙Ꙫ˙

  • Python ˙Ꙫ˙

  • SQL ˙Ꙫ˙

  • 一点点的 html + css + js 🤏

  • 一点点的 shell 🤏


做过啥:

(其实啥也没做过 ⑅︎◡̈︎*)

友链 :💬 I will put some of my friends' and technical Dalaos' blogs HERE so as to encourage myself (umm though it may not work hahah~) 📣 😤
⑅︎◡̈︎*

My BEST FRIEND in PKU, so l list her at the first row.

I modify my front-end framework from him. List him here so as to thx him~
加载每日一言中...