kafka - 程序员宅基地

Kafka 安全认证及权限控制

标签： kafka

若只关注 kafka 的安全认证，不需要配置 Zookeeper 的 SASL，但 kafka 会在 zk 中存储一些必要的信息，因此 zk 的安全认证也会影响到 kafka ???????????? 1.1 新建 zoo_jaas.conf 文件 zoo_jaas.conf文件名、文件...

kafka笔记3--快速部署KRaft版本的kafka3.1.1

标签： kafka 分布式 kraft

kafka笔记3--快速部署KRaft版本的kafka3.1.1 1 介绍 2 部署测试 2.1 部署 2.2 测试 3 注意事项 4 说明 1 介绍 Apache Kafka Raft 是一种共识协议，它的引入是为了消除 Kafka 对 ZooKeeper 的元数据管理的依赖，被...

04 | 我应该选择哪种Kafka？

标签： kafka

在专栏上一期中，我们谈了 Kafka 当前的定位问题，Kafka 不再是一个单纯的消息引擎系统，而是能够实现精确一次（Exactly-once）处理语义的实时流处理平台。你可能听说过 Apache Storm、Apache Spark Streaming 抑或...

03 | Kafka只是消息引擎系统吗？

标签： kafka

开源之后的 Kafka 被越来越多的公司应用到它们企业内部的数据管道中，特别是在大数据工程领域，Kafka 在承接上下游、串联数据流管道方面发挥了重要的作用：所有的数据几乎都要从一个系统流入 Kafka 然后再流向下游的...

ClickHouse Kafka表引擎使用详解

标签： ClickHouse Kafka表引擎 Kafka写入CK

项目采用Flink、Kafka、Clickhouse的实时数仓架构，数据由Kafka接入，经过Flink处理，写入Clickhouse。初期直接由Flink写入Clickhouse，经常会出现分区太多合并不来等意外情况，效果不是很好。而且数据也需要共享到...

Spring Boot集成Kafka详解

标签： spring boot kafka

Spring Boot是一个用于构建独立的、生产级的Java应用程序的框架，而Kafka是一种高吞吐量的分布式发布订阅消息系统。在本文中，我们将详细解释如何在Spring Boot项目中集成Kafka。

Kafka中的设计-生产者消费者

标签： kafka 分布式 java

本文介绍了Kafka中消费与生产的客户端在整个流处理过程中的对效率的贡献以及具体的操作，还介绍了kafka的消息传递语义

Linux 安装 kafka

标签： linux kafka linq

dataLogDir=/opt/software/kafka/zookeeper/log #zookeeper日志目录。mkdir -p /opt/software/kafka/zookeeper/log #zookeeper日志。mkdir -p /opt/software/kafka/zookeeper #zookeeper数据目录。mkdir -p /opt/...

Apache Kafka - 生产者内存优化注意事项

标签： kafka apache java

对 Kafka 集群进行升级和使用更强劲的硬件也可以提高其整体吞吐能力,間接减轻生产者的负载。一旦出现问题及时调优。如果一个生产者负载过大,可以增加更多生产者实例,分散负载,降低每个实例的内存压力。如果生产者...

30个Kafka常见错误小集合

标签： kafka常见错误

本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。 1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic...

Apache zookeeper kafka 开启SASL安全认证_kafka开启认证

标签： apache zookeeper kafka

KafkaClient { org.apache.kafka.common.security.scram.ScramLoginModule required username=“admin” password=“admin123” user_producer=“producer123” user_consumer=“consumer123”; }; Client { org....

大数据面试专题 -- kafka

标签：大数据面试 kafka

当生产者生产完数据就会发送到分区中进行保存，此时kafka就会向生产者发送ack信号，当生产者接受的ack响应表示数据保存，否则就会重新发送一条相同的数据。3、acks=-1/all，生产者将数据写入到leader中，同时也会将...

kafka监控系统kafka eagle安装使用

标签： kafka 大数据运维

同类型的还有kafka-manager，不过官方版已经很久不更新了，不支持kafka2以后的版本，滴滴维护开源了一个支持kafka多版本监控的kafka-manager，之后有时间了再试试。官网:https://www.kafka-eagle.org/ 下载：...

在windows系统下部署kafka并安装kafka可视化客户端

标签： kafka zookeeper windows

在windows系统下部署kafka以及安装kafka可视化客户端工具

kafka 问题排查的常用命令（持续更新）

标签： kafka 分布式

【代码】kafka 问题排查的常用命令（持续更新）

Kafka集群和kafka-manager安装

标签： kafka mq Kafka-manager

Kafka集群依赖zookeeper集群。

kafka常用命令整理

标签： kafka 分布式 zookeeper

1、启动kafka服务 bin/kafka-server-start.sh config/server.properties & 2、停止kafka服务 ./kafka-server-stop.sh 3、创建一个叫demo-topic的主题（topic)，有两个分区，每个分区3个副本，同时指定该主题的...

Kafka可视化管理工具-CMAK（kafka-manager）

标签： kafka 分布式 java

为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager（已改名为 cmak）。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是...

kafka+Kraft模式集群+安全认证_kafka raft 下的安全控制

标签： kafka 安全 linq

配置kafka服务的启动脚本上面设置好sasl认证的配置后，我们需要在kafka启动的服务脚本中，将此配置加入进去。可以直接修改，亦或者拷贝一份命名为(名称自定义即可)kafka02和kafka03同样这样配置好开始执行启动kafka...

02 | 一篇文章带你快速搞定Kafka术语

标签： kafka

今天我们正式开启 Apache Kafka 学习之旅。在 Kafka 的世界中有很多概念和术语是需要你提前理解并熟练掌握的，这对于后面你深入学习 Kafka 各种功能和特性将大有裨益。下面我来盘点一下 Kafka 的各种术语。在专栏的...

kafka无法启动

标签： kafka 分布式

Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties.

Kafka使用总结

标签： java 开发语言 1024程序员节

注意：本文参考Kafka英文官方文档中文参数。

SpringBoot整合Kafka

标签： SpringBoot Kafka

kafka 也作为消息中间件的一员，与其他消息中间件相比，它的优点在于拥有极高的吞吐量，ms 级的延迟，是一个高性能，分布式的系统。源码 GitHub地址：https://github.com/intomylife/SpringBoot 环境 JDK ...

Kafka多版本集群搭建超详细

标签： kafka java 分布式

Kafka是由开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的，它可以处理消费者在网站中的所有动作流数据。本文详细的介绍了多个版本的Kafka集群安装，包括其多个版本之间的命令差异，有需要的小...

Docker 安装 Kafka

标签： kafka docker java

docker在3.0以前依赖于zookeeper，在安装kafka之前需要先安装zookeeper集群。关于 zookeeper 集群的安装本文不做介绍，大家可以自行百度。

kafka启用Kerberos认证

标签： kafka

kafka启用Kerberos认证 1.环境准备 1.1.建用户创建用户组 ywjk groupadd ywjk 新增用户 useradd -g ywjk ywjk 设置密码 passwd ywjk 1.2.上传kafk压缩包从官网下载kafka压缩包，这里用的是kafka_2.11-0.10.2.2....