大家好,又见面了,我是你们的朋友全栈君。
在Windows系统中打开第1个cmd窗口,执行如下命令启动 Zookeeper服务:
cd C:\zookeeper\apache-zookeeper-3.7.1-bin
.\bin\zkServer.cmd
打开第2个cmd窗口,然后执行下面命令启动Kafka服务:
cd C:\kafka_2.12-2.4.0\kafka_2.12-2.4.0
.\bin\windows\kafka-server-start.bat .\config\server.properties
打开第3个cmd窗口,执行如下命令创建一个名为test的Topic:
> cd c:\kafka_2.12-2.4.0
> .\bin\windows\kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test
在Flume的安装目录的conf子目录下创建一个配置文件kafka.conf,内容如下:
# Name the components on this agent
a1.sources = r1 a1.sinks = k1
a1.channels = c1
# source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = test
a1.sinks.k1.kafka.bootstrap.servers = localhost:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.k1.kafka.producer.compression.type = snappy
# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
打开第4个cmd窗口,执行如下命令启动Flume:
> cd c:\apache-flume-1.9.0-bin
> .\bin\flume-ng.cmd agent –conf ./conf –conf-file ./conf/kafka.conf –name a1 -property flume.root.logger=INFO,console
打开第5个cmd窗口,执行如下命令:
> telnet localhost 44444
执行上面命令以后,在该窗口内用键盘输入一些单词(不会显示),比如“hadoop”。 这个单词会发送给Flume,然后,Flume发送给Kafka。
打开第6个cmd窗口,执行如下命令:
> cd c:\kafka_2.12-2.4.0
> .\bin\windows\kafka-console-consumer.bat –bootstrap-server localhost:9092 –topic test –from-beginning
上面命令执行以后,就可以在屏幕上看到“hadoop”,说明Kafka成功接 收到了数据。
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/152365.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...