在一台虚拟机上做kafka集群,使用Java代码发,接消息,kafka tool的使用_向kafka集群发送消息,可以在任意台服务上看到吗-程序员宅基地

技术标签： kafka tool  一台虚拟机  Java代码发  cenos7  kafka集群  接消  

1.Kafka

kafka是一个开源的分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。

1.1 kafka的设计目标

     1.高吞吐量。

    2.数据磁盘持久化：消息不在内存中cache，直接写入到磁盘，充分利用磁盘的顺序读写性能。

    3.zero-copy：减少IO操作步骤。

    4.支持数据批量发送和拉取。

    5.支持数据压缩。

    6.Topic划分为多个partition，提高并行处理能力。

1.2 相关概念

    1.Producer ：消息生产者，就是向kafka broker发消息的客户端。

    2.Consumer ：消息消费者，向kafka broker取消息的客户端

    3.Topic ：主题,存放信息的地方,可以理解为一个队列。

    4.Consumer Group （CG）：消费组.这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个CG只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。

    5.Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。

    6.Partition：分区. 一个Topic中的消息数据按照多个分区组织，分区是kafka消息队列组织的最小单位，一个分区可以看作是一个FIFO（ First Input First Output的缩写，先入先出队列）的队列。为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序。

    7.Offset：消息偏移量.kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka

1.3 kafka架构

https://images2015.cnblogs.com/blog/831021/201602/831021-20160222125238526-112967735.png

1.4 Topic与分区架构

https://images2015.cnblogs.com/blog/831021/201602/831021-20160222125343135-190706359.png

 

1.5 kafka集群(一台虚拟机上)

前提:

    kafka集群依赖zookeeper集群,所以必须要先有zookeeper集群.可参看我的上一篇文章:<<在一台虚拟机上做zookeeper集群>>

软件环境: cenos7虚拟机一台, kafka_2.12-2.1.0.tar.gz

Kafka下载地址: http://kafka.apache.org/downloads

步骤:

    创建kafka文件夹,上传安装包

        cd /usr/dev-soft && mkdir kafka && cd kafka

        rz,选择安装包上传

    解压

        tar –zxvf kafka_2.12-2.1.0.tar.gz

    创建3个保存消息的文件夹

       mkdir kafka-logs-1 kafka-logs-2 kafka-logs-3

    修改配置文件server.properties

        vi kafka_2.12-2.1.0/config/server.properties

命令模式下输入   :set nu显示行号

修改:

第21行: broker.id=1

第31行: listeners=PLAINTEXT://192.168.81.128:9091

第36行: advertised.listeners=PLAINTEXT://192.168.81.128:9091

第60行: log.dirs=/usr/dev-soft/kafka/kafka-logs-1

第123行: zookeeper.connect=192.168.81.128:2181,192.168.81.128:2182,192.168.81.128:2183

至此一个kafka应用配置完成.本次集群使用3个kafka应用,复制2份,修改即可.

步骤:

    修改名字,复制2份

        mv kafka_2.12-2.1.0 kafka_2.12-2.1.0-1

        cp –r kafka_2.12-2.1.0-1 kafka_2.12-2.1.0-2

        cp –r kafka_2.12-2.1.0-1 kafka_2.12-2.1.0-3

   第二台修改server.properties

        vi kafka_2.12-2.1.0-2/config/server.properties

修改:

第21行: broker.id=2

第31行: listeners=PLAINTEXT://192.168.81.128:9092

第36行: advertised.listeners=PLAINTEXT://192.168.81.128:9092

第60行: log.dirs=/usr/dev-soft/kafka/kafka-logs-2

     第三台修改server.properties

         vi kafka_2.12-2.1.0-3/config/server.properties

修改:

第21行: broker.id=3

第31行: listeners=PLAINTEXT://192.168.81.128:9093

第36行: advertised.listeners=PLAINTEXT://192.168.81.128:9093

第60行: log.dirs=/usr/dev-soft/kafka/kafka-logs-3

Kafka集群配置完成.

2.5.1启动&关闭集群

编写启动脚本(其实就是依次启动3个kafka)

cd /usr/dev-soft/kafka

vim kafka-start.sh

内容如下:

cd kafka_2.12-2.1.0-1

bin/kafka-server-start.sh -daemon config/server.properties

cd ../kafka_2.12-2.1.0-2

bin/kafka-server-start.sh -daemon config/server.properties

cd ../kafka_2.12-2.1.0-3

bin/kafka-server-start.sh -daemon config/server.properties

cd ../

同理关闭脚本如下:

vim kafka-stop.sh

写入以下内容：

kafka_2.12-2.1.0-1/bin/kafka-server-stop.sh

kafka_2.12-2.1.0-2/bin/kafka-server-stop.sh

kafka_2.12-2.1.0-3/bin/kafka-server-stop.sh

依次赋予执行权限

    chmod u+x kafka-start.sh

    chmod u+x kafka-stop.sh

启动kafka集群:（注意要先启动zookeeper集群）

    ./ kafka-start.sh

启动会有点慢,稍等后,输入jps命令查看结果:

这样说明启动成功了,但是需要发送信息证明集群的可用行,在此之前,需要先把9091,9092,9093这三个端口对外开放,消息的发送和拉取就是通过这些端口的.

执行如下命令:

    开放端口:

        firewall-cmd --zone=public --add-port=9091/tcp –permanent

        firewall-cmd --zone=public --add-port=9092/tcp –permanent

        firewall-cmd --zone=public --add-port=9093/tcp --permanent

    重启防火墙：

        firewall-cmd --reload

    查看端口号是否开启：

        firewall-cmd --query-port=9091/tcp

        firewall-cmd --query-port=9092/tcp

        firewall-cmd --query-port=9093/tcp

2.5.2 发送消息&消费消息

     在一个kafka应用上操作即可

         cd /usr/dev-soft/kafka/ kafka_2.12-2.1.0-1

    创建topic:kafkatest

         bin/kafka-topics.sh --create --zookeeper 192.168.81.128:2181,192.168.81.128:2182,192.168.81.128:2183 --replication-factor 2 --partitions 2 --topic kafkatest

查看topic:

    某个topic

    bin/kafka-topics.sh --describe --zookeeper 192.168.81.128:2181,192.168.81.128:2182,192.168.81.128:2183 --topic kafkatest

    全部topic

    bin/kafka-topics.sh --list --zookeeper 192.168.81.128:2181,192.168.81.128:2182,192.168.81.128:2183

发送信息:

    bin/kafka-console-producer.sh --broker-list 192.168.81.128:9091,192.168.81.128:9092,192.168.81.128:9093 --topic kafkatest

消费信息:

    打开另一个窗口:

     cd /usr/dev-soft/kafka/ kafka_2.12-2.1.0-1

     bin/kafka-console-consumer.sh --bootstrap-server 192.168.81.128:9091,192.168.81.128:9092,192.168.81.128:9093 --from-beginning --topic kafkatest

3.使用Java代码发送,接收消息

使用Springboot项目开发,Springboot已经集成了kafka,开发起来非常简单.

3.1 pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <parent>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-parent</artifactId>
      <version>2.1.1.RELEASE</version>
      <relativePath/> <!-- lookup parent from repository -->
   </parent>
   <groupId>com.mlsama</groupId>
   <artifactId>kafka</artifactId>
   <version>1.0.0</version>
   <name>kafka</name>
   <description>Demo project for Spring Boot</description>

   <properties>
      <java.version>1.8</java.version>
   </properties>

   <dependencies>
      <dependency>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter-web</artifactId>
      </dependency>
      <dependency>
         <groupId>org.springframework.kafka</groupId>
         <artifactId>spring-kafka</artifactId>
      </dependency>

      <dependency>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter-test</artifactId>
         <scope>test</scope>
      </dependency>
      <dependency>
         <groupId>org.springframework.kafka</groupId>
         <artifactId>spring-kafka-test</artifactId>
         <scope>test</scope>
      </dependency>
      <!--lombok约束-->
      <dependency>
         <groupId>org.projectlombok</groupId>
         <artifactId>lombok</artifactId>
      </dependency>
      <!--日记-->
      <dependency>
         <groupId>org.slf4j</groupId>
         <artifactId>log4j-over-slf4j</artifactId>
      </dependency>
   </dependencies>

   <build>
      <plugins>
         <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
         </plugin>
      </plugins>
   </build>

</project>

3.2 application.properties

#修改端口

server.port=8899
#springMVC的配置

#视图前缀

spring.mvc.view.prefix=/html/

#视图后缀

spring.mvc.view.suffix=.html
#kafka相关配置

spring.kafka.bootstrap-servers=192.168.81.128:9091,192.168.81.128:9092,192.168.81.128:9093

#设置一个默认组

spring.kafka.consumer.group-id=0

#key-value序列化反序列化

spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer

spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer

spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

#每次批量发送消息的数量

spring.kafka.producer.batch-size=12800

spring.kafka.producer.buffer-memory=102400

3.3 KafkaProduct.Class

@RestController

@Slf4j

public class KafkaProduct {
@Autowired

private KafkaTemplate<String, String> kafkaTemplate;

@GetMapping("/index")

public String kafka(){

    return "kafka";

}
/**

 * 发送消息到kafka对应的topic

 *  @param topic

 * @param message

 */

@RequestMapping("/kafka/sendMessage")

public String sendMessage(@RequestParam("topic")String topic, @RequestParam("message")String message) {

    try {

        ListenableFuture<SendResult<String, String>> send = kafkaTemplate.send(topic, 0,System.currentTimeMillis(),"test",message);

        send.addCallback(new SuccessCallback() {

            @Override

            public void onSuccess(@Nullable Object obj) {

                SendResult<String, String> sendResult = (SendResult) obj;

                //...

                log.info("消息发送成功:{}", sendResult);



            }

        }, new FailureCallback() {

            @Override

            public void onFailure(Throwable throwable) {

                log.info("消息发送失败,case:{}", throwable);

                //失败处理

            }

        });

        return "消息发送成功";

    }catch (Exception e){

        return "消息发送失败";

    }

}

3.4 KafkaConsumer.Class

/**

 * 消费信息,监听一系列topic的信息

 * @param record

 */

@KafkaListener(topics = {"test","kafkatest"})

private void consumerMessage(ConsumerRecord<?, ?> record) {

    Optional<?> kafkaMessage = Optional.ofNullable(record.value());

    if (kafkaMessage.isPresent()) {

        Object message = kafkaMessage.get();

        log.info("----------------- 返回的信息对象:{}",record);

        log.info("------------------收到的message:{}",message);

    }

}

3.5 kafka.html

<!DOCTYPE html>

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>kafka页面</title>

</head>

<body>

    <form action="http://127.0.0.1:8899/kafka/sendMessage" method="post">

        主题:<input type="text" name="topic"/><br>

        信息:<input type="text" name="message"/><br>

        <input type="submit" value="发送"/>

    </form>

</body>

</html>

3.6 启动类KafkaApplication

package com.mlsama.kafka;

import org.springframework.boot.Banner;

import org.springframework.boot.SpringApplication;

import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication

public class KafkaApplication {

   public static void main(String[] args) {

      /** 创建SpringApplication应用对象 */

      SpringApplication springApplication =

                             new SpringApplication(KafkaApplication.class);

      /** 设置横幅模式(设置关闭) */

      springApplication.setBannerMode(Banner.Mode.OFF);

      /** 运行 */

      springApplication.run(args);

   }

}

直接运行启动类,访问: http://127.0.0.1:8899/index

4 kafka tool

    Kafka tool提供一个界面,可以直观的看到kafka集群的信息,包括topic,partition,发送的消息等.

下载地址：http://www.kafkatool.com/download.html  现在只有2个版本,因为安装的kafka版本是2.1.0,所以下载Windows版的2.0.3.安装是傻瓜式的的.第一次打开kafka tool会提示设置连接kafka 集群.点击确认后,界面如下:

设置完,点击test,提示连接成功后,点击add

设置消息以String显示:

    Tool---setting,点击topics,把右边的key和message设置为String即可.

https://images2018.cnblogs.com/blog/1385722/201808/1385722-20180810103753705-257280181.png

 

查看kafka的数据:

 
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mlsama/article/details/86539608

智能推荐

hive使用适用场景_大数据入门：Hive应用场景-程序员宅基地

文章浏览阅读5.8k次。在大数据的发展当中，大数据技术生态的组件，也在不断地拓展开来，而其中的Hive组件，作为Hadoop的数据仓库工具，可以实现对Hadoop集群当中的大规模数据进行相应的数据处理。今天我们的大数据入门分享，就主要来讲讲，Hive应用场景。关于Hive，首先需要明确的一点就是，Hive并非数据库，Hive所提供的数据存储、查询和分析功能，本质上来说，并非传统数据库所提供的存储、查询、分析功能。Hive..._hive应用场景

zblog采集-织梦全自动采集插件-织梦免费采集插件_zblog 网页采集插件-程序员宅基地

文章浏览阅读496次。Zblog是由Zblog开发团队开发的一款小巧而强大的基于Asp和PHP平台的开源程序，但是插件市场上的Zblog采集插件，没有一款能打的，要么就是没有SEO文章内容处理，要么就是功能单一。很少有适合SEO站长的Zblog采集。人们都知道Zblog采集接口都是对Zblog采集不熟悉的人做的，很多人采取模拟登陆的方法进行发布文章，也有很多人直接操作数据库发布文章，然而这些都或多或少的产生各种问题，发布速度慢、文章内容未经严格过滤，导致安全性问题、不能发Tag、不能自动创建分类等。但是使用Zblog采._zblog 网页采集插件

Flink学习四：提交Flink运行job_flink定时运行job-程序员宅基地

文章浏览阅读2.4k次，点赞2次，收藏2次。restUI页面提交1.1 添加上传jar包1.2 提交任务job1.3 查看提交的任务2. 命令行提交./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar3. 命令行查看正在运行的job./flink-1.9.3/bin/flink list4. 命令行查看所有job./flink-1.9.3/bin/flink list --all._flink定时运行job

STM32-LED闪烁项目总结_嵌入式stm32闪烁led实验总结-程序员宅基地

文章浏览阅读1k次，点赞2次，收藏6次。这个项目是基于STM32的LED闪烁项目，主要目的是让学习者熟悉STM32的基本操作和编程方法。在这个项目中，我们将使用STM32作为控制器，通过对GPIO口的控制实现LED灯的闪烁。这个STM32 LED闪烁的项目是一个非常简单的入门项目，但它可以帮助学习者熟悉STM32的编程方法和GPIO口的使用。在这个项目中，我们通过对GPIO口的控制实现了LED灯的闪烁。LED闪烁是STM32入门课程的基础操作之一，它旨在教学生如何使用STM32开发板控制LED灯的闪烁。_嵌入式stm32闪烁led实验总结

Debezium安装部署和将服务托管到systemctl-程序员宅基地

文章浏览阅读63次。本文介绍了安装和部署Debezium的详细步骤，并演示了如何将Debezium服务托管到systemctl以进行方便的管理。本文将详细介绍如何安装和部署Debezium，并将其服务托管到systemctl。解压缩后，将得到一个名为"debezium"的目录，其中包含Debezium的二进制文件和其他必要的资源。注意替换"ExecStart"中的"/path/to/debezium"为实际的Debezium目录路径。接下来，需要下载Debezium的压缩包，并将其解压到所需的目录。

Android 控制屏幕唤醒常亮或熄灭_android实现拿起手机亮屏-程序员宅基地

文章浏览阅读4.4k次。需求：在诗词曲文项目中，诗词整篇朗读的时候，文章没有读完会因为屏幕熄灭停止朗读。要求：在文章没有朗读完毕之前屏幕常亮，读完以后屏幕常亮关闭；1.权限配置：设置电源管理的权限。

随便推点

目标检测简介-程序员宅基地

文章浏览阅读2.3k次。目标检测简介、评估标准、经典算法_目标检测

记SQL server安装后无法连接127.0.0.1解决方法_sqlserver 127 0 01 无法连接-程序员宅基地

文章浏览阅读6.3k次，点赞4次，收藏9次。实训时需要安装SQL server2008 R所以我上网上找了一个.exe 的安装包链接：https://pan.baidu.com/s/1_FkhB8XJy3Js_rFADhdtmA提取码：ztki注：解压后1.04G安装时Microsoft需下载.NET，更新安装后会自动安装如下：点击第一个傻瓜式安装，唯一注意的是在修改路径的时候如下不可修改：到安装实例的时候就可以修改啦数据..._sqlserver 127 0 01 无法连接

js 获取对象的所有key值，用来遍历_js 遍历对象的key-程序员宅基地

文章浏览阅读7.4k次。1. Object.keys(item); 获取到了key之后就可以遍历的时候直接使用这个进行遍历所有的key跟valuevar infoItem={ name:'xiaowu', age:'18',}//的出来的keys就是[name,age]var keys=Object.keys(infoItem);2. 通常用于以下实力中 <div *ngFor="let item of keys"> <div>{{item}}.._js 遍历对象的key

粒子群算法（PSO）求解路径规划_粒子群算法路径规划-程序员宅基地

文章浏览阅读2.2w次，点赞51次，收藏310次。粒子群算法求解路径规划路径规划问题描述    给定环境信息，如果该环境内有障碍物，寻求起始点到目标点的最短路径， 并且路径不能与障碍物相交，如图 1.1.1 所示。1.2 粒子群算法求解1.2.1 求解思路    粒子群优化算法（PSO），粒子群中的每一个粒子都代表一个问题的可能解， 通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性。    在路径规划中，我们将每一条路径规划为一个粒子，每个粒子群群有 n 个粒 子，即有 n 条路径，同时，每个粒子又有 m 个染色体，即中间过渡点的_粒子群算法路径规划

量化评价：稳健的业绩评价指标_rar 海龟-程序员宅基地

文章浏览阅读353次。所谓稳健的评估指标，是指在评估的过程中数据的轻微变化并不会显著的影响一个统计指标。而不稳健的评估指标则相反，在对交易系统进行回测时，参数值的轻微变化会带来不稳健指标的大幅变化。对于不稳健的评估指标，任何对数据有影响的因素都会对测试结果产生过大的影响，这很容易导致数据过拟合。_rar 海龟

IAP在ARM Cortex-M3微控制器实现原理_value line devices connectivity line devices-程序员宅基地

文章浏览阅读607次，点赞2次，收藏7次。–基于STM32F103ZET6的UART通讯实现一、什么是IAP，为什么要IAPIAP即为In Application Programming(在应用中编程)，一般情况下，以STM32F10x系列芯片为主控制器的设备在出厂时就已经使用J-Link仿真器将应用代码烧录了，如果在设备使用过程中需要进行应用代码的更换、升级等操作的话，则可能需要将设备返回原厂并拆解出来再使用J-Link重新烧录代码，这就增加了很多不必要的麻烦。站在用户的角度来说，就是能让用户自己来更换设备里边的代码程序而厂家这边只需要提供给_value line devices connectivity line devices

推荐文章

热门文章

相关标签