rocketmq集群安装配置说明-程序员宅基地

技术标签： python  awk  shell  

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

本文采用多master+slave+nameservers的集群配置方式。

一、前提

1. 安装好JDK。JDK版本为1.6+ 64bit

2. 将alibaba-rocketmq-3.2.2.tar.gz上传到linux服务器。（现放到/opt/目录下）

     rocketmq下载地址：https://github.com/alibaba/RocketMQ/releases

     rocketmq github:      https://github.com/alibaba/RocketMQ

   1.赋权和解压源文件

>cd /opt/
>chmod 755 alibaba-rocketmq- 3.2 . 2 .tar.gz
>tar -zxvf ./alibaba-rocketmq- 3.2 . 2 .tar.gz

   2.增加系统环境变量ROCKETMQ_HOME：

> vi /etc/profile

     添加：

ROCKETMQ_HOME=/opt/alibaba-rocketmq
export ROCKETMQ_HOME

   3.使配置立即生效：

> source /etc/profile
##可以将$ROCKETMQ_HOME/bin加入到$PATH中，这样可以直接使用roketmq的bin目录程序

   4.增加系统启动后自动启动：

> vi /etc/rc
##(以下为启动nameserver节点和启动broker节点，视生产环境添加启动规则)
##启动nameserver节点
##/opt/alibaba-rocketmq/local/start_nameserver.sh
##启动broker节点
##/opt/alibaba-rocketmq/local/start_broker.sh

 

二、Rocketmq配置

 1.默认没有local目录，在$ROCKETMQ_HOME下新一个local目录用于创建启动nameserver和broker节点管理。

  

> mkdir $ROCKETMQ_HOME /local ; cd $ROCKETMQ_HOME /local
> touch start_nameserver.sh
 
#!/bin/sh
#ROCKETMQ_HOME最好重新指定，以免出错
#JAVA_HOME重新指定，用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqnamesrv > ${console日志输出} 2>&1 &
#可以使用mqnamesrc -p >namesrc.p取到默认配置文件，后续使用
#./mqnamesrv -c namesrv.p加载配置（这样可以修改namesrv的端口号，注意所有配置文#件格式为utf8最好。windows shell >出来的有问题）
nohup $ROCKETMQ_HOME /bin/mqnamesrv -c $ROCKETMQ_HOME /bin/namesrv .properties >$ROCKETMQ_HOME /log/mqnamesrv .log 2>&1 &
> touch start_borker.sh
#!/bin/sh
#ROCKETMQ_HOME最好重新指定，以免出错
#JAVA_HOME重新指定，用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqbroker [-n ${nameserver地址}] -c ${broker的配置文件} > ${console日志输出} 2>&1 &
nohup $ROCKETMQ_HOME /bin/mqbroker -c $ROCKETMQ_HOME /bin/broker .properties >$ROCKETMQ_HOME /log/mqbroker .log 2>&1 &
> touch stop_nameserver.sh
#!/bin/sh
#注释为杀进程方式关闭服务
#ps -ef |grep '../bin/mqnamesrv' |awk '{if($8!="'grep'") {print $2;exit}}'  |while read pid
#        do
#                kill $pid
#        done
$ROCKETMQ_HOME /bin/mqshutdown namesrv
> touch stop_borker.sh
#!/bin/sh
$ROCKETMQ_HOME /bin/mqshutdown broker

注意ROCKETMQ_HOME地址、nameserver地址更改、broker的配置文件地址

2.修改namesrv和broker的配置：

  修改namesrv配置：

> cd $$ROCKETMQ_HOME /bin
>. /mqnamesrv -p > namesrv.properties
#可以通过./namesrv.properties修改namesrv的端口号
#启动时按./mqnamesrv -c ./namesrv.properties 启动加载配置

  修改borker配置：

> cd $ROCKETMQ_HOME /bin
>broker -m broker.properties
# (当没有时可以使用此命令创建；此文件其实是.properties的文件。可以按.properties规则修改文件内容)

   cat broker.p显示以下内容：

namesrvAddr=192.168.45.214:9876
brokerIP1=192.168.45.214
brokerName=ROCKETMQAH
brokerClusterName=DefaultCluster
brokerId=0
autoCreateTopicEnable= true
autoCreateSubscriptionGroup= true
rejectTransactionMessage= false
fetchNamesrvAddrByAddressServer= false
storePathRootDir= /opt/alibaba-rocketmq/store
storePathCommitLog= /opt/alibaba-rocketmq/store/commitlog
storePathConsumeQueue= /opt/alibaba-rocketmq/consumequeue
storePathIndex= /opt/alibaba-rocketmq/index
storeCheckpoint= /opt/alibaba-rocketmq/checkpoint
abortFile= /opt/alibaba-rocketmq/abort
flushIntervalCommitLog=1000
flushCommitLogTimed= false
deleteWhen=04
fileReservedTime=72
maxTransferBytesOnMessageInMemory=262144
maxTransferCountOnMessageInMemory=32
maxTransferBytesOnMessageInDisk=65536
maxTransferCountOnMessageInDisk=8
accessMessageInMemoryMaxRatio=40
messageIndexEnable= true
messageIndexSafe= true
haMasterAddress=
brokerRole=ASYNC_MASTER
flushDiskType=SYNC_FLUSH
cleanFileForciblyEnable= false

   说明：

   1.namesrvAddr的地址，可以使用broker -n xxx.xxx.xxx.xxx方式指定。

   2.listenPort=10911（默认为10911）可以指定broker的服务开放地址。

   3.几个文件保存的地方需要重新指定，默认保存到use_dir下

   4.brokerName表示集群master组名称，同一个master+slave共用相同的brokerName。

   5.brokerClusterName 建议配置为同一个名称。

   6.brokerId为0时表示的master;大于0时表示slave;

   7.brokerRole 有ASYNC_MASTER异步master；SYNC_MASTER表示同步master；SLAVE表示slave

   8:flushDiskType表示producer到broker的处理方式：SYNC_FLUSH表示同步到文件后返回成功；ASYNC_FLUSH表示broker接收到后立即返回生产者成功，后续再同步到文件中

   9:cleanFileForciblyEnable 表示磁盘满后处理方式：true表示满后删除接收的文件。False表示立即停止服务。

   broke.p的详细配置可以参考《RocketMQ Developer Guide.pdf》中的broker使用指南 的说明。

3.修改日志配置：

   1.进行入$ROCKETMQ_HOME/conf目录下，将logback_*.xml 的所有xml文件的${user.home}改为${ ROCKETMQ_HOME}。


三、集群配置要修改说明

   一、nameserver集群配置说明：

        多个nameserver的配置：

  • 在另一台主机启动一个./start_nameserver.sh 这个不用修改

  • 修改所有的borker的启动方式(配置了一个改为两个nameserver情况)，vi ./start_borker.sh 改 -n 192.168.45.214:9876 为-n ‘192.168.45.214:9876;192.168.56.46:9876’

  • 所有的客户端程序（即producer，consumer） xxxx..setNamesrvAddr("192.168.45.214:9876;192.168.56.46:9876");

   二、borker节点结群说明：

   1.查看并修改nameserver节点配置

    完成（一、前提）的情况下，修改$ROCKETMQ_HOME/local 下的start_nameserver.sh 的$ROCKETMQ_HOME内容。

> cd $$ROCKETMQ_HOME /local
> vi start_nameserver.sh
#修改$ROCKETMQ_HOME，修改为当前的rocketmq地址，如果没有变化不用做修改

   管理nameserver节点：启动./start_nameserver.sh 停止./stop_nameserver.sh

   2.查看并修改broker_master节点配置：

  修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  •   修改brokerIP1 为本机IP；

  •   brokerName 为定义的master组名称；

  •   brokerId 填0；

  •   brokerRole 选择MASTER相关选项；

  •   flushDiskType值选择borker回复方式；

  启用./start_broker.sh 停止./stop_broker.sh

    3.修改和配置broker_slave节点：

     1.完成前提的情况下，修改$ROCKETMQ_HOME/local 下的start_broker.sh 的$ROCKETMQ_HOME内容和${nameserver地址}；。

     2.修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  • 修改brokerIP1 为本机IP,

  • brokerName 为定义的master组名称

  • brokerId 填大于0

  • brokerRole 选择SLAVE

  • flushDiskType值选择borker回复方式

     启用./start_broker.sh 停止./stop_broker.sh

四、客户端开发

          Producer，consumer在初始化时配置参考《RocketMQ Developer Guide.pdf》中的客户端 API 形式。

          注意consumer返回时:

           ConsumeConcurrentlyStatus.CONSUME_SUCCESS;--表示消费成功

           ConsumeConcurrentlyStatus.RECONSUME_LATER;--表示处理失败，并后面请broker过一定时间后再次下发。

           consumer.setMessageModel(MessageModel.BROADCASTING);--表示广播消费，也就是每个master都要撸一次。默认是MessageModel.CLUSTERING 这个《RocketMQ Developer Guide.pdf》写错了，表集群处理模式，一个请求只被一个master节点处理一次，要以自个测试结果为准。后续最好看下源码。

五、监控程序rocketmq_console和集群验证

监控为一个外置war文件，下载地址为：

    https://github.com/rocketmq/rocketmq-console.git

  • 使用MAVEN进行编译（附件中有编好的war包）

  • 下载后，需修改：src/main/resources/config.properties：

              Rocketmq.namesrv.addr内容，指向nameserver地址

      集群配置完成后，使用rockertmq_console访问和验证：

     分别启动一个consumer和producer 处理空业务，并查看rocketmq_console的 http://localhost:8080/rocketmq-console/cluster/list.do 显示情况

     以下为只有一个master+slave；多个master组合时，会出现多个这样的表格内容。

 

   1.查看http://localhost:8080/rocketmq-console/cluster/list.do节点情况（主要查看是否以master+slave为组的，一组一组的列表显示；注意#Broker_name是否为borker.p配置的地址和端口号（目前rocketmq在配置失效后，会使用默认的配置，所以需要查下是否配置正确））

六、问题说明

          本文档采用的是，多nameserver+master+slave(一个master只有一个slave，没有必要多个slave)。

          1.master停掉后不切到slave进行处理。

            首先slave只处理consumer的内容，即只负责发内容到consumer。当master停止后，这个master+slave的组合并不能再接收producer的任务。只能将自个没有处理完成的处理掉。这时producter的任务会分配给其它master节点进行处理。

          2.$ROCKETMQ_HOME/bin下面的exe不能执行：

             bin里面的exe程序，是用64位编译的，exe程序不支持32位的系统；jdk也最好是64位的。

          4.为什么broker broker.p 地址不能生效

             window shell 执行mqbroker -m > broker.p生成的文件编码有问题。java后面解析不出来。生成的配置文件最好为utf-8文件。

          5.后面遇到再说明：

七、附件

RocketMQ Developer Guide.pdf

rocketmq_ext.zip   (local目录文件和配置文件及conf修改)

rocketmq-console.war console客户端

       

八、参考文档

       《RocketMQ Developer Guide.pdf》

转载于:https://my.oschina.net/yifanxiang/blog/357280
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34082177/article/details/92535333

智能推荐

FTP命令字和返回码_ftp 登录返回230-程序员宅基地

文章浏览阅读3.5k次，点赞2次，收藏13次。为了从FTP服务器下载文件，需要要实现一个简单的FTP客户端。FTP（文件传输协议） 是 TCP/IP 协议组中的应用层协议。FTP协议使用字符串格式命令字，每条命令都是一行字符串，以“\r\n”结尾。客户端发送格式是：命令+空格+参数+"\r\n"的格式服务器返回格式是以：状态码+空格+提示字符串+"\r\n"的格式，代码只要解析状态码就可以了。读写文件需要登陆服务器，特殊用..._ftp 登录返回230

centos7安装rabbitmq3.6.5_centos7 安装rabbitmq3.6.5-程序员宅基地

文章浏览阅读648次。前提：systemctl stop firewalld 关闭防火墙关闭selinux查看getenforce临时关闭setenforce 0永久关闭sed-i'/SELINUX/s/enforcing/disabled/'/etc/selinux/configselinux的三种模式enforcing：强制模式，SELinux 运作中，且已经正确的开始限制..._centos7 安装rabbitmq3.6.5

idea导入android工程,idea怎样导入Android studio 项目？-程序员宅基地

文章浏览阅读5.8k次。满意答案s55f2avsx2017.09.05采纳率：46%等级：12已帮助：5646人新版Android Studio/IntelliJ IDEA可以直接导入eclipse项目,不再推荐使用eclipse导出gradle的方式2启动Android Studio/IntelliJ IDEA，选择 import project3选择eclipse 项目4选择 create project f..._android studio 项目导入idea 看不懂安卓项目

浅谈AI大模型技术：概念、发展和应用_ai大模型应用开发-程序员宅基地

文章浏览阅读860次，点赞2次，收藏6次。AI大模型技术已经在自然语言处理、计算机视觉、多模态交互等领域取得了显著的进展和成果，同时也引发了一系列新的挑战和问题，如数据质量、计算效率、知识可解释性、安全可靠性等。城市运维涉及到多个方面，如交通管理、环境监测、公共安全、社会治理等，它们需要处理和分析大量的多模态数据，如图像、视频、语音、文本等，并根据不同的场景和需求，提供合适的决策和响应。知识搜索有多种形式，如语义搜索、对话搜索、图像搜索、视频搜索等，它们可以根据用户的输入和意图，从海量的数据源中检索出最相关的信息，并以友好的方式呈现给用户。_ai大模型应用开发

非常详细的阻抗测试基础知识_阻抗实部和虚部-程序员宅基地

文章浏览阅读8.2k次，点赞12次，收藏121次。为什么要测量阻抗呢？阻抗能代表什么？阻抗测量的注意事项... ...很多人可能会带着一系列的问题来阅读本文。不管是数字电路工程师还是射频工程师，都在关注各类器件的阻抗，本文非常值得一读。全文13000多字，认真读完大概需要2小时。一、阻抗测试基本概念阻抗定义：阻抗是元器件或电路对周期的交流信号的总的反作用。AC 交流测试信号 (幅度和频率)。包括实部和虚部。​图1 阻抗的定义阻抗是评测电路、元件以及制作元件材料的重要参数。那么什么是阻抗呢？让我们先来看一下阻抗的定义。首先阻抗是一个矢量。通常，阻抗是_阻抗实部和虚部

小学生python游戏编程arcade----基本知识1_arcade语言 like-程序员宅基地

文章浏览阅读955次。前面章节分享试用了pyzero,pygame但随着想增加更丰富的游戏内容，好多还要进行自己编写类，从今天开始解绍一个新的python游戏库arcade模块。通过此次的《连连看》游戏实现，让我对swing的相关知识有了进一步的了解，对java这门语言也有了比以前更深刻的认识。java的一些基本语法，比如数据类型、运算符、程序流程控制和数组等，理解更加透彻。java最核心的核心就是面向对象思想，对于这一个概念，终于悟到了一些。_arcade语言 like

随便推点

【增强版短视频去水印源码】去水印微信小程序+去水印软件源码_去水印机要增强版-程序员宅基地

文章浏览阅读1.1k次。源码简介与安装说明：2021增强版短视频去水印源码 去水印微信小程序源码网站 去水印软件源码安装环境（需要材料）：备案域名–服务器安装宝塔-安装 Nginx 或者 Apachephp5.6 以上-安装 sg11 插件小程序已自带解析接口，支持全网主流短视频平台，搭建好了就能用注：接口是公益的，那么多人用解析慢是肯定的，前段和后端源码已经打包，上传服务器之后在配置文件修改数据库密码。然后输入自己的域名，进入后台，创建小程序，输入自己的小程序配置即可安装说明：上传源码，修改data/_去水印机要增强版

verilog进阶语法-触发器原语_fdre #(.init(1'b0) // initial value of register (1-程序员宅基地

文章浏览阅读557次。1. 触发器是FPGA存储数据的基本单元2. 触发器作为时序逻辑的基本元件，官方提供了丰富的配置方式，以适应各种可能的应用场景。_fdre #(.init(1'b0) // initial value of register (1'b0 or 1'b1) ) fdce_osc (

嵌入式面试/笔试C相关总结_嵌入式面试笔试c语言知识点-程序员宅基地

文章浏览阅读560次。本该是不同编译器结果不同，但是尝试了g++ msvc都是先计算c，再计算b，最后得到a+b+c是经过赋值以后的b和c参与计算而不是6。由上表可知，将q复制到p数组可以表示为：*p++=*q++，*优先级高，先取到对应q数组的值，然后两个++都是在后面，该行运算完后执行++。在电脑端编译完后会分为text data bss三种，其中text为可执行程序，data为初始化过的ro+rw变量，bss为未初始化或初始化为0变量。_嵌入式面试笔试c语言知识点

57 Things I've Learned Founding 3 Tech Companies_mature-程序员宅基地

文章浏览阅读2.3k次。57 Things I've Learned Founding 3 Tech CompaniesJason Goldberg, Betashop | Oct. 29, 2010, 1:29 PMI’ve been founding andhelping run techn_mature

一个脚本搞定文件合并去重，大数据处理，可以合并几个G以上的文件_python 超大文本合并-程序员宅基地

文章浏览阅读1.9k次。问题：先讲下需求，有若干个文本文件（txt或者csv文件等），每行代表一条数据，现在希望能合并成 1 个文本文件，且需要去除重复行。分析：一向奉行简单原则，如无必要，绝不复杂。如果数据量不大，那么如下两条命令就可以搞定合并：cat a.txt >> new.txtcat b.txt >> new.txt……去重：cat new...._python 超大文本合并

支付宝小程序iOS端过渡页DFLoadingPageRootController分析_类似支付宝页面过度加载页-程序员宅基地

文章浏览阅读489次。这个过渡页是第一次打开小程序展示的，点击某个小程序前把手机的开发者->network link conditioner->enable & very bad network 就会在停在此页。比如《支付宝运动》这个小程序先看这个类的.h可以看到它继承于DTViewController点击左上角返回的方法- (void)back;#import "DTViewController.h"#import "APBaseLoadingV..._类似支付宝页面过度加载页

推荐文章

热门文章

相关标签