消息中间件概述 mq工作原理_mq中间件原理-程序员宅基地

技术标签: 分布式  

消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。

在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息,对应用提供公共的信息交换机制是重要的。

设计分布式应用的方法主要有:远程过程调用(PRC)--分布式计算环境(DCE)的基础标准成分之一;对象事务监控(OTM)--基于CORBA的面向对象工业标准与事务处理(TP)监控技术的组合;消息队列(MessageQueue)--构造分布式应用的松耦合方法。

(a) 分布计算环境/远程过程调用 (DCE/RPC)
RPC是DCE的成分,是一个由开放软件基金会(OSF)发布的应用集成的软件标准。RPC模仿一个程序用函数引用来引用另一程序的传统程序设计方法,此引用是过程调用的形式,一旦被调用,程序的控制则转向被调用程序。

RPC实现时,被调用过程可在本地或远地的另一系统中驻留并在执行。当被调用程序完成处理输入数据,结果放在过程调用的返回变量中返回到调用程序。RPC完成后程序控制则立即返回到调用程序。因此RPC模仿子程序的调用/返回结构,它仅提供了Client(调用程序)和Server(被调用过程)间的同步数据交换。

(b) 对象事务监控 (OTM)
基于CORBA的面向对象工业标准与事务处理(TP)监控技术的组合,在CORBA规范中定义了:使用面向对象技术和方法的体系结构;公共的Client/Server程序设计接口;多平台间传输和翻译数据的指导方针;开发分布式应用接口的语言(IDL)等,并为构造分布的Client/Server应用提供了广泛及一致的模式。

(c) 消息队列 (Message Queue)
消息队列为构造以同步或异步方式实现的分布式应用提供了松耦合方法。消息队列的API调用被嵌入到新的或现存的应用中,通过消息发送到内存或基于磁盘的队列或从它读出而提供信息交换。消息队列可用在应用中以执行多种功能,比如要求服务、交换信息或异步处理等。

中间件是一种独立的系统软件或服务程序,分布式应用系统借助这种软件在不同的技术之间共享资源,管理计算资源和网络通讯。它在计算机系统中是一个关键软件,它能实现应用的互连和互操作性,能保证系统的安全、可靠、高效的运行。中间件位于用户应用和操作系统及网络软件之间,它为应用提供了公用的通信手段,并且独立于网络和操作系统。中间件为开发者提供了公用于所有环境的应用程序接口,当应用程序中嵌入其函数调用,它便可利用其运行的特定操作系统和网络环境的功能,为应用执行通信功能。

如果没有消息中间件完成信息交换,应用开发者为了传输数据,必须要学会如何用网络和操作系统软件的功能,编写相应的应用程序来发送和接收信息,且交换信息没有标准方法,每个应用必须进行特定的编程从而和多平台、不同环境下的一个或多个应用通信。例如,为了实现网络上不同主机系统间的通信,将要求具备在网络上如何交换信息的知识(比如用TCP/IP的socket程序设计);为了实现同一主机内不同进程之间的通讯,将要求具备操作系统的消息队列或命名管道(Pipes)等知识。

目前中间件的种类很多,如交易管理中间件(如IBM的CICS)、面向Java应用的Web应用服务器中间件(如IBM的WebSphere Application Server)等,而消息传输中间件(MOM)是其中的一种。它简化了应用之间数据的传输,屏蔽底层异构操作系统和网络平台,提供一致的通讯标准和应用开发,确保分布式计算网络环境下可靠的、跨平台的信息传输和数据交换。它基于消息队列的存储-转发机制,并提供特有的异步传输机制,能够基于消息传输和异步事务处理实现应用整合与数据交换。

MQ具有强大的跨平台性,它支持的平台数多达35种。它支持各种主流Unix操作系统平台,如:HP-UX、AIX、SUN Solaris、Digital UNIX、Open VMX、SUNOS、NCR UNIX;支持各种主机平台,如:OS/390、MVS/ESA、VSE/ESA;同样支持Windows NT服务器。在PC平台上支持Windows9X/Windows NT/Windows 2000和UNIX (UnixWare、Solaris)以及主要的Linux版本(Redhat、TurboLinux等)。此外,MQ还支持其他各种操作系统平台,如:OS/2、AS/400、Sequent DYNIX、SCO OpenServer、SCO UnixWare、Tandem等。

MQ的基本概念:

1) 队列管理器
队列管理器是MQ系统中最上层的一个概念,由它为我们提供基于队列的消息服务。

2) 消息
在MQ中,我们把应用程序交由MQ传输的数据定义为消息,我们可以定义消息的内容并对消息进行广义的理解,比如:用户的各种类型的数据文件,某个应用向其它应用发出的处理请求等都可以作为消息。消息有两部分组成:

消息描述符(Message Discription或Message Header),描述消息的特征,如:消息的优先级、生命周期、消息Id等;

消息体(Message Body),即用户数据部分。在MQ中,消息分为两种类型,非永久性(non-persistent)消息和永久性(persistent)消息,非永久性消息是存储在内存中的,它是为了提高性能而设计的,当系统掉电或MQ队列管理器重新启动时,将不可恢复。当用户对消息的可靠性要求不高,而侧重系统的性能表现时,可以采用该种类型的消息,如:当发布股票信息时,由于股票信息是不断更新的,我们可能每若干秒就会发布一次,新的消息会不断覆盖旧的消息。永久性消息是存储在硬盘上,并且纪录数据日志的,它具有高可靠性,在网络和系统发生故障等情况下都能确保消息不丢、不重。

此外,在MQ中,还有逻辑消息和物理消息的概念。利用逻辑消息和物理消息,我们可以将大消息进行分段处理,也可以将若干个本身完整的消息在应用逻辑上归为一组进行处理。

3) 队列
队列是消息的安全存放地,队列存储消息直到它被应用程序处理。

消息队列以下述方式工作:

a) 程序A形成对消息队列系统的调用,此调用告知消息队列系统,消息准备好了投向程序B;

b) 消息队列系统发送此消息到程序B驻留处的系统,并将它放到程序B的队列中;

c) 适当时间后,程序B从它的队列中读此消息,并处理此信息。

由于采用了先进的程序设计思想以及内部工作机制,MQ能够在各种网络条件下保证消息的可靠传递,可以克服网络线路质量差或不稳定的现状,在传输过程中,如果通信线路出现故障或远端的主机发生故障,本地的应用程序都不会受到影响,可以继续发送数据,而无需等待网络故障恢复或远端主机正常后再重新运行。

MQ中,队列分为很多种类型,其中包括:本地队列、远程队列、模板队列、动态队列、别名队列等。

本地队列又分为普通本地队列和传输队列,普通本地队列是应用程序通过API对其进行读写操作的队列;传输队列可以理解为存储-转发队列,比如:我们将某个消息交给MQ系统发送到远程主机,而此时网络发生故障,MQ将把消息放在传输队列中暂存,当网络恢复时,再发往远端目的地。

远程队列是目的队列在本地的定义,它类似一个地址指针,指向远程主机上的某个目的队列,它仅仅是个定义,不真正占用磁盘存储空间。

模板队列和动态队列是MQ的一个特色,它的一个典型用途是用作系统的可扩展性考虑。我们可以创建一个模板队列,当今后需要新增队列时,每打开一个模板队列,MQ便会自动生成一个动态队列,我们还可以指定该动态队列为临时队列或者是永久队列,若为临时队列我们可以在关闭它的同时将它删除,相反,若为永久队列,我们可以将它永久保留,为我所用。

4) 通道
通道是MQ系统中队列管理器之间传递消息的管道,它是建立在物理的网络连接之上的一个逻辑概念,也是MQ产品的精华。

MQ中,主要有三大类通道类型,即消息通道,MQI通道和Cluster通道。消息通道是用于在MQ的服务器和服务器之间传输消息的,需要强调指出的是,该通道是单向的,它又有发送(sender), 接收(receive), 请求者(requestor), 服务者(server)等不同类型,供用户在不同情况下使用。MQI通道是MQ Client和MQ Server之间通讯和传输消息用的,与消息通道不同,它的传输是双向的。群集(Cluster)通道是位于同一个MQ 群集内部的队列管理器之间通讯使用的。

MQ的工作原理

MQ工作原理

如图所示:

首先来看本地通讯的情况,应用程序A和应用程序B运行于同一系统A,它们之间可以借助消息队列技术进行彼此的通讯:应用程序A向队列1发送一条信息,而当应用程序B需要时就可以得到该信息。

其次是远程通讯的情况,如果信息传输的目标改为在系统B上的应用程序C,这种变化不会对应用程序A产生影响,应用程序A向队列2发送一条信息,系统A的MQ发现Q2所指向的目的队列实际上位于系统B,它将信息放到本地的一个特殊队列-传输队列(Transmission Queue)。我们建立一条从系统A到系统B的消息通道,消息通道代理将从传输队列中读取消息,并传递这条信息到系统B,然后等待确认。只有MQ接到系统B成功收到信息的确认之后,它才从传输队列中真正将该信息删除。如果通讯线路不通,或系统B不在运行,信息会留在传输队列中,直到被成功地传送到目的地。这是MQ最基本而最重要的技术--确保信息传输,并且是一次且仅一次(once-and-only-once)的传递。

MQ提供了用于应用集成的松耦合的连接方法,因为共享信息的应用不需要知道彼此物理位置(网络地址);不需要知道彼此间怎样建立通信;不需要同时处于运行状态;不需要在同样的操作系统或网络环境下运行。

MQ的基本配置举例

在上图中,要实现网络上两台主机上的通讯,若采用点对点的通讯方式,我们至少要建立如下MQ的对象:

在发送方A:

1) 建立队列管理器QMA: crtmqm -q QMA

2)定义本地传输队列: define qlocal (QMB) usage (xmitq) defpsist(yes)

3)创建远程队列: define qremote (QR.TOB) rname (LQB) rqmname (QMB) xmitq (QMB)

4)定义发送通道: define channel (A.TO.B) chltype (sdr) conname ('IP of B') xmitq (QMB) + trptype (tcp)

在接收方B:

1)建立队列管理器QMB: crtmqm -q QMB

2)定义本地队列QLB: define qlocal (LQB)

3)创建接收通道: define channel (A.TO.B) chltype (rcvr) trptype (tcp)

经过上述配置,我们就可以实现从主机A到B的单向通讯,若要实现二者之间的双向通讯,可参考此例创建所需要的MQ对象。

MQ的通讯模式

1) 点对点通讯:点对点方式是最为传统和常见的通讯方式,它支持一对一、一对多、多对多、多对一等多种配置方式,支持树状、网状等多种拓扑结构。

2) 多点广播:MQ适用于不同类型的应用。其中重要的,也是正在发展中的是"多点广播"应用,即能够将消息发送到多个目标站点(Destination List)。可以使用一条MQ指令将单一消息发送到多个目标站点,并确保为每一站点可靠地提供信息。MQ不仅提供了多点广播的功能,而且还拥有智能消息分发功能,在将一条消息发送到同一系统上的多个用户时,MQ将消息的一个复制版本和该系统上接收者的名单发送到目标MQ系统。目标MQ系统在本地复制这些消息,并将它们发送到名单上的队列,从而尽可能减少网络的传输量。

3) 发布/订阅(Publish/Subscribe)模式:发布/订阅功能使消息的分发可以突破目的队列地理指向的限制,使消息按照特定的主题甚至内容进行分发,用户或应用程序可以根据主题或内容接收到所需要的消息。发布/订阅功能使得发送者和接收者之间的耦合关系变得更为松散,发送者不必关心接收者的目的地址,而接收者也不必关心消息的发送地址,而只是根据消息的主题进行消息的收发。在MQ家族产品中,MQ Event Broker是专门用于使用发布/订阅技术进行数据通讯的产品,它支持基于队列和直接基于TCP/IP两种方式的发布和订阅。

4) 群集(Cluster):为了简化点对点通讯模式中的系统配置,MQ提供Cluster(群集)的解决方案。群集类似于一个域(Domain),群集内部的队列管理器之间通讯时,不需要两两之间建立消息通道,而是采用群集(Cluster)通道与其它成员通讯,从而大大简化了系统配置。此外,群集中的队列管理器之间能够自动进行负载均衡,当某一队列管理器出现故障时,其它队列管理器可以接管它的工作,从而大大提高系统的高可靠性。

MQ Server和MQ Client

MQ产品分为Server和Client 两种版本,在MQ服务器的运行环境下,有队列管理器、队列、消息通道等对象,它提供全面的消息服务;MQ Client为我们提供了一个MQ应用程序的开发和运行环境,它是MQ API的Client实现。在客户端环境下,没有队列管理器、队列等对象,它通过MQI通道与服务器之间建立通讯,并将消息从客户端发往服务器端的队列,或从Server端的队列中取得消息,它比较适合于网络条件较好或实时通讯的情况。同时要指出的是:采用MQ Client并不会导致数据的丢失或不完整性。MQ Client提供下列好处:适合同步处理的工作模式;减少系统负担;减少系统管理开销;减少磁盘空间要求等。

MQ的API

MQ支持多种编程语言,其中包括:C、C++、Java、VisualBasic、COBOL、PL/1、RPG等,同时也支持多种流行的开发工具,如:WebSphere Studio Application Developer, PowerBuiler、Microsoft Visual C++、Visual Basic、Delphi等。并且,MQ在不同平台上提供统一的编程接口,仅需重新编译就可完成不同平台间程序的移植。MQ的API接口十分简单易学,用户仅需利用MQ的13个常用而又功能强大的函数调用,便可以以最快的速度,写出各种复杂的应用程序。用户可以将主要精力集中于应用业务逻辑的实现,而不是底层通讯、例外处理等方面。

C语言为例,一个MQ应用的开发流程如下:

MQCONN() /*建立与队列管理器的连接*/ MQOPEN() /*打开要进行读写操作的队列*/ MQPUT() /*将消息放入队列*/ MQGET() /*从队列中读取消息*/ MQINQ() /*查询队列的属性*/ MQSET() /*设置队列的属性*/ MQCLOSE() /*在读写等操作进行完之后,将队列关闭*/ MQDISC() /*断开与队列管理器的连接,释放相关的资源*/

原文地址:http://blog.itpub.net/117123/viewspace-834591/

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/daimingyang123/article/details/78324567

智能推荐

软考可以不考初级直接考中级吗?_软考可以直接考中级吗-程序员宅基地

文章浏览阅读1.5k次。软考可以直接考中级吗,很多人以为软考必须考完初级才能考中级,其实软考是可以直接考中级的呢,也是可以直接报名高级考试的,这个划重点 !!_软考可以直接考中级吗

苹果怎么取消自动续费?分享关闭订阅的教程_苹果手机订阅的自动续费怎么取消-程序员宅基地

文章浏览阅读2.4k次。苹果怎么取消自动续费?在使用手机的时候,我们会使用一些限时免费的软件,或者充值一些会员,很多时候都会默认到期以后自动续费,有些时候不关注就会出现莫名其妙的扣款,想要关闭这些自动续费的内容要怎么操作?其实很简单,接下来就和大家分享一下。第一种:通过苹果手机的订阅以下操作步骤为苹果手机iOS 13.4.1系统下的步骤,系统版本不同可能会导致操作步骤不同,在操作之前可以先确认下系统版本。1、首先打开苹果手机的设置2、依次进入自己的账户(Apple ID)->订阅3、选择自己要取消的服务直接退订第二_苹果手机订阅的自动续费怎么取消

东方头条 弹窗_mini.eastday 弹窗-程序员宅基地

文章浏览阅读8.7k次,点赞2次,收藏2次。应该是浏览器或DNS被劫持了,亲测一下方法可完美解决;首先表态,东方头条是沙比,什么年代了,还用这种套路;1)在windows安装盘,定位到如下路径C:\Windows\System32\drivers\etc,把里面的hosts文件用记事本打开(直接双击后会弹出使用哪个程序打开,选择记事本即可);2)把hosts文件增加如下两行,然后保存即可。127.0.0.1 http://eastday.c..._mini.eastday 弹窗

mysql启动报错“NET HELPMSG 3534“的解决办法-程序员宅基地

文章浏览阅读1.1k次。原因:mysql安装步骤错误,从mysql5.7.6开始,mysql需要这样安装:mysqld--initialize-insecure或者mysqld--initializemysqld -installnet start mysqlmysqld--initialize-insecure自动生成无密码的root用户,mysqld--initializ..._more information is available by typing net helpmsg 3534.

区块链学习资源链接_metachain2023.github.io-程序员宅基地

文章浏览阅读831次。区块链如今已经被作为国家战略大力发展,可是各种学习资料并不集中,如果你感兴趣的话收藏这些区块链学习相关的技术网站和分析网站。不定时更新......_metachain2023.github.io

Linux(CentOS7)安装Redis7并启动_centos7启动redis-程序员宅基地

文章浏览阅读1.3k次。Linux(CentOS7)安装Redis7并启动_centos7启动redis

随便推点

按8字节对齐_按8字节对齐(即最低3位为000-程序员宅基地

文章浏览阅读1.1k次。序号对齐字节范围081-81169-1622417-2433225-3244033-40_按8字节对齐(即最低3位为000

超实用且高效的线框设计工具_uzer.meuzer.-程序员宅基地

文章浏览阅读1.1k次。Moqups—在线Mockup线框工具[https://moqups.com]Fluid UI—Android、 iOS、Windows App在线原型线框工具[https://fluidui.com/demos]Pencil—GUI原型工具(开源)UXToolbox—基于Windows的线框ToolMockups.me—UI线框应用Live Wires_uzer.meuzer.

通过socket实现不同两台电脑上的进程通信_两台pc间程序之间实现通讯-程序员宅基地

文章浏览阅读3k次。发送# send_infoSockin = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # new socketSockin.bind(('192.168.31.102', 23001)) # socket bind this computer ip and portdata_to_json = json.dumps(ir_se..._两台pc间程序之间实现通讯

html5弹性盒子模型,推荐10款弹性盒子源码(收藏)-程序员宅基地

文章浏览阅读298次。为父容器添加display:flex/inline-flex 父容器可以使用的属性有:1.flex-direction:决定主轴的方向有四个属性值:row(默认值):主轴为水平方向,起点在左端。row-reverse:主轴为水平方向,起点在右端。column:主轴为垂直方向,起点在上沿。column-reverse:主轴为垂直方向,起点在下沿。2.flex-wrap:如果一条轴线排不下,如何换行。..._哪些标签可以做弹性盒子

低功耗蓝牙芯片智能照明解决方案_蓝牙灯控解决方案-程序员宅基地

文章浏览阅读412次。智能照明是目前智能家居中普遍的应用,可实现节能省电和提供更高的舒适性和便利性。智能照明是指利用物联网技术、有线/无线通讯技术、电力载波通讯技术、嵌入式计算机智能化信息处理,以及节能控制等技术组成的分布式照明控制系统,来实现对照明设备的智能化控制。蓝牙智能照明支持场景:点对点遥控智能灯;该方案通过标准蓝牙协议,在巨微的低成本解决方案上实现LED灯的调光调色。备选芯片型号:MS1793,MS1591。点对组或多组遥控智能灯(MG-Mesh);该方案采用巨微创新的MG-Mesh系统架构,用最低成本实_蓝牙灯控解决方案

动画黄金搭档:CADisplayLink & CAShapeLayer_caanimation 和cadisplaylink-程序员宅基地

文章浏览阅读187次。CADisplayLink是计时器,它的频率和屏幕刷新频率同步。CADisplayLink *dl = [CADisplayLink displayLinkWithTarget:self selector:@selector(updateWave:)]; [dl addToRunLoop:[NSRunLoop currentRunLoop] forMode:NSRunLoopCommonMo_caanimation 和cadisplaylink

推荐文章

热门文章

相关标签