基于confluent的kafka和kafka-rest代理配置-程序员宅基地

技术标签: schema  kafka-rest  zookeeper  运维  kafka  大数据  

基于confluent的kafka和kafka-rest代理配置

通过开启kafka-rest,可以使我们直接使用http访问到kafka.比如让前端直接给kafka发消息,用处还是很大的.

一、组件及说明

(一)Confluent的组件简介

Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。
Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。
Confluent Kafka Connectors(开源)。数据进出kafka,连接SQL数据库/Hadoop/Hive等
Confluent Kafka Clients(开源)。对于其他编程语言,包括C/C++,Python
Confluent Kafka REST Proxy(开源)。允许一些系统通过HTTP和kafka之间发送和接收消息。
Confluent Schema Registry(开源)。帮助每一个应用使用正确的schema读写数据到kafka中。

1、Zookeeper 在 Kafka 中的作用
(其实随着kafka的迭代更新,zookeeper起到的作用越来越少,甚至kafka在讨论要不要完全弃用zookeeper。
在当前版本的作用,要看官方的quickstart,从“创建主题,生产者,消费者”的启动参数上看,是zookeeper还是bootstrap-server)

https://www.jianshu.com/p/a036405f989c

2、Schema Registry的作用

https://cloud.tencent.com/developer/article/1336568

在这里插入图片描述

(二)Confluent的安装

1、需要JDK环境
2、解压confluent包到/usr/local下
3、解压zookeeper安装包到/usr/local下
注:虽然conflunet里包含了zookeeper,但还是建议单独自建,比如用来查看状态的命令bin/zkServer.sh status,在conflunet下缺少此文件就难以实现。

(三)本次实验的结构

自己简单的理解

二、服务的启动与配置

(一)、配置启动zookeeper

1、修改zookeeper配置文件,

vim zookeeper/conf/zoo.cfg

# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# 滴答,计时的基本单位,默认是2000毫秒,即2秒。它是zookeeper最小的时间单位,用于丈量心跳时间和超时时间等,通常设置成默认2秒即可。
tickTime=2000

# 初始化限制是10滴答,默认是10个滴答,即默认是20秒。指定follower节点初始化是链接leader节点的最大tick次数。
initLimit=5

# 数据同步的时间限制,默认是5个滴答,即默认时间是10秒。设定了follower节点与leader节点进行同步的最大时间。与initLimit类似,它也是以tickTime为单位进行指定的。
syncLimit=2

# 指定zookeeper的工作目录,这是一个非常重要的参数,
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zld_555/article/details/90401510

智能推荐

android spinner自定义样式,android自定义Spinner下拉菜单(下拉列表框)样式-程序员宅基地

文章浏览阅读963次。在Android中Spinner就是下拉菜单,它相当于HTML中的标签。Android中提供的Spinner Widget下拉菜单已经非常好用了,样式也适用,不过我们还是可以通过定义xml的方式来改变下拉菜单的样式。在layout目录下新建一个xml文件,名字随便(我这里叫myspinner.xml)。在这个文件里面可以定义下拉菜单的样式我们这里采用TextView来实现..._android spinner样式

sql server赋予用户备份数据库和还原数据库权限_sql新建的用户没有备份权限怎么办-程序员宅基地

文章浏览阅读4.7k次。sql server赋予用户备份数据库和还原数据库权限sa用户下,新建一个用户确定即可赋权(sa用户赋权)grant backup database to qq; ----把备份数据库的权限赋予给qqgrant create database to qq; ---吧创建数据库的权限赋予给qq两个权限都要在master数据库..._sql新建的用户没有备份权限怎么办

地图与定位_spring 地名查询-程序员宅基地

文章浏览阅读503次。2014-11-27 08:52 by KenshinCui, 111501 阅读, 28 评论, 收藏, 编辑概览现在很多社交、电商、团购应用都引入了地图和定位功能,似乎地图功能不再是地图应用和导航应用所特有的。的确,有了地图和定位功能确实让我们的生活更加丰富多彩,极大的改变了我们的生活方式。例如你到了一个陌生的地方想要查找附近的酒店、超市等就可以打开软件搜索周边;类似的,_spring 地名查询

整合项目的实现方案-程序员宅基地

文章浏览阅读216次。 “消除信息孤岛,实现资源共享”是现在应用软件都争取实现的目标,我现在一直都很关注这方面的解决方案,现在总结了一下学习的心得:请看这个原理图:原理图 这个是完成了数据从各个子系统,汇总到中心数据库中,是一个数据ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)的过程; 然后我们的程序依据就是整合完成的数据库,在数据库上面..._项目整合方案

redis如何清空当前缓存和所有缓存-程序员宅基地

文章浏览阅读1.5k次。Windows环境下使用命令行进行redis缓存清理1、redis安装目录下输入cmd2、redis-cli -p 端口号3、flushdb 清除当前数据库缓存4、flushall 清除整个redis所有缓存转载于:https://www.cnblogs.com/lxwphp/p/10870399.html..._bladex 项目中 清除redis 缓存

FileUpload文件上传_list<fileitem> items = fileupload. parserequest(re-程序员宅基地

文章浏览阅读706次。1.进行文件上传时,表单需要做的准备:1).请求方式为POST:<form action="uploadServlet" method="post"....>2).使用file的表单域:<input type="file" name="file" />3).请求的编码方式:<form action="uploadServlet" method="post" en..._list items = fileupload. parserequest(request);

随便推点

Could not load dynamic library ‘cudart64_101.dll‘; dlerror: cudart64_101.dll not found_could not load dynamic library 'cudart64_101.dll';-程序员宅基地

文章浏览阅读343次。tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library ‘cudart64_101.dll’; dlerror: cudart64_101.dll not found(在Pycharm上运行tensorflow_gpu报错:dll文件没有找到)我是一个刚入门tensorflow_gpu的小白,在花了好长时间才把anaconda,CUDA10.0,Cudnn,Pycharm202_could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll

Vue 腾讯云上传视频 element-ui_elemet ui 腾讯短视频api 上传-程序员宅基地

文章浏览阅读292次,点赞2次,收藏3次。Vue 腾讯云上传视频文件 使用element-ui组件下载 腾讯云包npm i cos-js-sdk-v5 --savetemlpate 部分 <el-upload :on-remove="handleVodRemove" :before-remove="beforeVodRemove" :on-exceed="handleUploadExceed" :file-list="fileList" :on-change="handleChange" acti_elemet ui 腾讯短视频api 上传

谷歌手机pixel4 夜景_如何在Google Pixel手机上拍摄屏幕截图-程序员宅基地

文章浏览阅读1.1k次。谷歌手机pixel4 夜景Capturing your phone’s screen is useful in many situations. If you’re a Pixel user, you can do it with a couple of button clicks. 在许多情况下,捕获手机的屏幕非常有用。 如果您是Pixel用户,则只需单击几下即可完成操作。 如何截图 (H..._pxiel 4 如何截屏

SpringCloud Eureka 注册中心的集群配置_springcloud eureka 集群配置 ds replicas localhost:8761-程序员宅基地

文章浏览阅读297次。前言之前写了一篇《SpringCloud Eureka测试项目--一个最简单的订单获取功能》,描述了最简单的一个SpringCloud项目的结构,方便新手搭建SpringCloud+Eureka的项目。本文想说说 Eureka 注册中心的集群配置。原因Eureka的结构分为 服务端和客户端。Eureka服务端提供了服务注册中心的功能,即实现了服务的注册和发现。但是,如果只有一个注册中心,一旦注册中心崩溃了,就满盘皆输了,所有的服务都无法使用了。本文尝试通过Eureka注册中心集群_springcloud eureka 集群配置 ds replicas localhost:8761/eureka/

clickhouse集群安装配置_test_unavailable_shard-程序员宅基地

文章浏览阅读615次。clickhouse简介:环境:系统:liunx7.6clickhouse版本:version 21.4.6 revision 54447IP:192.168.111.135 click01192.168.111.136 click02192.168.111.137 click03安装:1.添加官方存储库sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.tech/CLICKH_test_unavailable_shard

cordova打包vue项目页面白屏及不显示图片问题解决_cordova 安卓白屏-程序员宅基地

文章浏览阅读1.7k次。cordova打包vue项目页面白屏一、遇到的问题二、分析与解决一、遇到的问题在使用Cordova打包vue项目时,使用cordova run android进行真机调试,app总是显示白屏,也就是vue的那一部分代码没有起作用二、分析与解决试了很多种网上的方法,发现都没有什么用,都是过时的解决办法。最后发现是因为路径的原因导致的。vue项目依赖: "dependencies": { "core-js": "^3.6.5", "vue": "^2.6.11", "_cordova 安卓白屏

推荐文章

热门文章

相关标签