您现在的位置是:网站首页> 编程资料编程资料

深入浅析RabbitMQ镜像集群原理_Erlang_

2023-05-26 368人已围观

简介 深入浅析RabbitMQ镜像集群原理_Erlang_

集群架构

RabbitMQ 集群是一个或多个节点的逻辑分组,集群中的每个节点都是对等的

每个节点共享所有的用户,虚拟主机,队列,交换器,绑定关系,运行时参数和其他分布式状态等信息。

一个高可用,负载均衡的 RabbitMQ 集群架构应类似下图:

在这里插入图片描述

这里对上面的集群架构做一下解释说明:

1)首先一个基本的 RabbitMQ 集群不是高可用的

虽然集群共享队列,但在默认情况下,消息只会被路由到某一个节点的符合条件的队列上,并不会同步到其他节点的相同队列上。

假设消息路由到 node1 的 my-queue 队列上,但是 node1 突然宕机了,那么消息就会丢失

想要解决这个问题,需要开启队列镜像,将集群中的队列彼此之间进行镜像,此时消息就会被拷贝到处于同一个镜像分组中的所有队列上。

2)其次 RabbitMQ 集群本身并没有提供负载均衡的功能

也就是说对于一个三节点的集群,每个节点的负载可能都是不相同的,想要解决这个问题可以通过硬件负载均衡或者软件负载均衡的方式

这里我们选择使用 HAProxy 来进行负载均衡,当然也可以使用其他负载均衡中间件,如LVS等。

HAProxy 同时支持四层和七层负载均衡,并基于单一进程的事件驱动模型,因此它可以支持非常高的井发连接数。

3)接着假设我们只采用一台 HAProxy

那么它就存在明显的单点故障的问题

所以至少需要两台 HAProxy ,同时这两台 HAProxy 之间需要能够自动进行故障转移,通常的解决方案就是 KeepAlived 。

KeepAlived 采用 VRRP (Virtual Router Redundancy Protocol,虚拟路由冗余协议) 来解决单点失效的问题

它通常由一组一备两个节点组成,同一时间内只有主节点会提供对外服务,并同时提供一个虚拟的 IP 地址 (Virtual Internet Protocol Address ,简称 VIP) 。

如果主节点故障,那么备份节点会自动接管 VIP 并成为新的主节点 ,直到原有的主节点恢复。

4)最后,任何想要连接到 RabbitMQ 集群的客户端

只需要连接到虚拟 IP,而不必关心集群是何种架构。

搭建集群准备:

1、准备3个虚拟机

 vi /etc/hostname #修改虚拟机名称 node1 node2 node3 
虚拟机(机器)名称node1node2node3
ip192.168.0.101192.168.0.102192.168.0.103
安装Erlang+RabbitMQErlang+RabbitMQErlang+RabbitMQ

2、设置node1、node2、node3的hosts

 vi /etc/hosts #修改虚拟机hosts node1 node2 node3 

文件内容:

 192.168.0.101 node1 192.168.0.102 node2 192.168.0.103 node3 

安装Erlang:

由于RabbitMQ是基于Erlang(面向高并发的语言)语言开发,所以在安装RabbitMQ之前,需要先安装Erlang。

1.选择Erlang和RabbitMQ版本,这里选择RabbitMQ3.9.x、Erlang24.0,查看对应版本   

2.Erlang官网下载Github下载

在这里插入图片描述

3.更新基本系统,安装任何软件包之前,建议使用以下命令更新软件包和存储库

 yum -y update 

4、安装 tar

 yum install -y tar 

5、首先要先安装GCC、 GCC-C++、 Openssl等依赖模块:

 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel 

6、再安装ncurses模块

 yum -y install ncurses-devel yum install ncurses-devel 

7、将安装包拷贝到linux下:

在这里插入图片描述

8、解压ErLang安装包

 [root@node1 /]# cd /usr/local/ #先切换到安装包目录 [root@nodel local]# ls #查看文件 bin etc games include lib lib64 libexec otp_src_24.0 otp_src_24.0.tar.gz sbin share src [root@nodel local]# tar -xvf otp_src_24.0.tar.gz #解压文件 

9、创建安装的目录/usr/local/erlang

 [root@node1 local]# mkdir erlang [root@node1 local]# ls bin erlang etc games include lib lib64 libexec otp_src_24.0 otp_src_24.0.tar.gz sbin share src [root@node1 local]# 

10、切换到解压后的目录

 [root@node1 local]# cd otp_src_24.0 [root@node1 otp_src_24.0]# ls AUTHORS bootstrap configure.src erl-build-tool-vars.sh HOWTO LICENSE.txt Makefile.in otp_patch_apply otp_versions.table prebuilt.files system xcomp bin configure CONTRIBUTING.md erts lib make otp_build OTP_VERSION plt README.md TAR.include [root@node1 otp_src_24.0]# 

11、配置安装路径

 ./configure --prefix=/usr/local/erlang --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac 

erlang的编译需要用到java环境,如果不装,会报错如下,但不影响后续操作

在这里插入图片描述

12、进行编译安装

 make && make install 

13、查看安装

 [root@node1 local]# cd erlang/ [root@node1 erlang]# ll total 4 drwxr-xr-x. 2 root root 4096 Aug 7 23:30 bin drwxr-xr-x. 3 root root 19 Aug 7 23:30 lib [root@node1 erlang]# 

14、配置环境变量

 vi /etc/profile 

加入一下配置:

 ######### erlang ############# PATH=$PATH:/usr/local/erlang/bin ######################################## 

15、使配置生效:

 source /etc/profile 

16、直接输入 erl 、得到如下图得安装成功,输入 halt(). 退出

在这里插入图片描述

安装RabbitMQ:

1、Github下载

在这里插入图片描述

2、将安装包拷贝到linux下:

在这里插入图片描述

3、解压到 /usr/local/ 目录下

 [root@node1 local]# tar -xvf rabbitmq-server-generic-unix-3.9.3.tar.xz ****** [root@node1 local]# ls bin etc include lib64 otp_src_24.0 rabbitmq_server-3.9.3 sbin src erlang games lib libexec otp_src_24.0.tar.gz rabbitmq-server-generic-unix-3.9.3.tar.xz share 

4、添加环境变量

 vi /etc/profile 

加入一下配置:

 ######### RabbitMQ ############# PATH=$PATH:/usr/local/rabbitmq_server-3.9.3/sbin ######################################## 

5、使配置生效:

 source /etc/profile 

 

6、切换到解压后的目录

 [root@node1 local]# cd rabbitmq_server-3.9.3/ [root@node1 rabbitmq_server-3.9.3]# ls escript LICENSE-APACHE2-excanvas LICENSE-erlcloud LICENSE-MIT-Erlware-Commons LICENSE-MIT-Sammy LICENSE-rabbitmq_aws etc LICENSE-APACHE2-ExplorerCanvas LICENSE-httpc_aws LICENSE-MIT-Flot LICENSE-MIT-Sammy060 plugins INSTALL LICENSE-APL2-Stomp-Websocket LICENSE-ISC-cowboy LICENSE-MIT-jQuery LICENSE-MPL sbin LICENSE LICENSE-BSD-base64js LICENSE-MIT-EJS LICENSE-MIT-jQuery164 LICENSE-MPL2 share LICENSE-APACHE2 LICENSE-BSD-recon LICENSE-MIT-EJS10 LICENSE-MIT-Mochi LICENSE-MPL-RabbitMQ [root@node1 rabbitmq_server-3.9.3]# cd sbin/ [root@node1 sbin]# ls rabbitmqctl rabbitmq-defaults rabbitmq-diagnostics rabbitmq-env rabbitmq-plugins rabbitmq-queues rabbitmq-server rabbitmq-streams rabbitmq-upgrade [root@node1 sbin]# 

7、启动web管理插件

 [root@node1 sbin]# rabbitmq-plugins enable rabbitmq_management Enabling plugins on node rabbit@localhost: rabbitmq_management The following plugins have been configured: rabbitmq_management rabbitmq_management_agent rabbitmq_web_dispatch Applying plugin configuration to rabbit@localhost... The following plugins have been enabled: rabbitmq_management rabbitmq_management_agent rabbitmq_web_dispatch started 3 plugins. 

8、后台启动rabbitmq服务

 rabbitmq-server -detached 

9、启用了rabbitmq的管理插件,会有一个web管理界面,默认监听端口15672,将此端口在防火墙上打开,则可以访问web界面:

在这里插入图片描述

使用默认的用户 guest / guest (此也为管理员用户)登陆,会发现无法登陆,

报错:User can only log in via localhost。

那是因为默认是限制了guest用户只能在本机登陆,也就是只能登陆localhost:15672。

可以通过修改配置文件rabbitmq.conf,取消这个限制: loopback_users这个项就是控制访问的,

如果只是取消guest用户的话,只需要loopback_users.guest = false 即可。或者添加远程用户

10、添加远程用户

 # 添加用户 rabbitmqctl add_user 用户名 密码 # 设置用户角色,分配操作权限 rabbitmqctl set_user_tags 用户名 角色 # 为用户添加资源权限(授予访问虚拟机根节点的所有权限) rabbitmqctl set_permissions -p / 
                
                

-六神源码网