【Kafka】Kafka常用命令

kafka交互式命令使⽤

查看topic

/bin/kafka-topics.sh --list --zookeeper 192.168.58.171:2181,192.168.58.177:2181,192.168.58.178:2181

查看指定topic

/bin/kafka-topics.sh --describe --zookeeper 192.168.58.171:2181,192.168.58.177:2181,192.168.58.178:2181 --topic my_topic

创建topic

/bin/kafka-topics.sh --create --zookeeper 192.168.58.171:2181,192.168.58.177:2181,192.168.58.178:2181 --replication-factor 5 --partitions 10 --topic test_topic--create:表⽰创建

--zookeeper：zk的集群节点

--replication-factor 1:表⽰复本数。如果设置了3个复制因⼦，那么最多2个相关的服务器能出问题,否则将⽆法访问数据。建议使⽤2,3个复制因⼦--partitions 1:表⽰分区数。每个分区属于⼀台服务器，partition会影响Consumer的最⼤并⾏度。建议设置成broker的整数倍。--topic item_topic:表⽰topic的名称

如有发⽣创建不了的情况

错误：Error while executing topic command : Replication factor: 1 larger than available brokers: 0.

请查看zookeeper配置是否正确

删除topic

/bin/kafka-topics.sh --delete --zookeeper 192.168.58.171,192.168.58.177,192.168.58.178 --topic my_topic

查看topic内容

bin/kafka-console-consumer.sh --bootstrap-server 192.168.58.177:9092 --topic my_topic --from-beginning

创建⽣产者，⽣产消息

⽣产者发送消息的三种⽅式1. 同步阻塞

2. 异步发送，发送并忘记3. 异步发送，发送回掉处理

/bin/kafka-console-producer.sh --broker-list 192.168.58.177:9092 --topic my_topic

查看消费者组

./kafka-consumer-groups.sh --bootstrap-server 192.168.58.177:9092 --list

查看消费者组消费情况

./kafka-consumer-groups.sh --bootstrap-server 192.168.58.177:9092 --describe --group test

创建消费者，消费消息 #--consumer-property group.id=my-consumer-g

/bin/kafka-console-consumer.sh --bootstrap-server 192.168.58.177:9092 --topic my_topic --partition 0 --offset 0