RabbitMQ基本操作: https://blog.csdn.net/Michael_lcf/article/details/124677268RabbitMQ的5大核心概念: https://blog.csdn.net/Michael_lcf/article/details/126435452RabbitMQ的队列模式https://blog.csdn.net/Michael_lcf/article/details/139362674RabbitMQ实现分布式WebSocket通信: https://blog.csdn.net/Michael_lcf/article/details/126403772RabbitMQ基本操作1、windows安装rabbitmq2、linux单节点rabbitmq2.2、rpm安装rabbitmq2.3、安装过程的小插曲2.3.1、Error: unable to perform an operation on node rabbitmichael3、三节点rabbitmq集群3.1、三节点集群安装rabbitmq3.2、配置集群镜像队列策略4、HaproxyKeepalive实现高可用负载均衡4.1、Haproxy Install4.2、Keepalived实现双机(主备)热备为什么要用MQ1.流量消峰。2.应用解耦。3.异步处理。1、windows安装rabbitmq分别安装erlang和rabbitmq下载链接: https://download.csdn.net/download/Michael_lcf/85332315Erlang_otp_win64_22.3.exerabbitmq-server-3.8.3.exe浏览器访问http://127.0.0.1:15672/.guest/guestdockerpull rabbitmq:3.13.7-managementdockerrun-it\--rm\--namerabbitmq\-p5672:5672-p15672:15672\rabbitmq:3.13.7-management-i/--interactive保持标准输入打开即使没有附加终端。-t/--tty分配伪终端‑it经常一起用可以看到容器控制台输出。--rm容器停止后自动删除容器。测试方便重启数据全部丢失。生产禁用。-p 5672:5672端口映射宿主机端口:容器内部端口。5672 是 RabbitMQ AMQP 业务消息端口。-p 15672:15672Web 管理面板端口浏览器访问http://宿主机IP:15672。2、linux单节点rabbitmq2.2、rpm安装rabbitmq链接: https://download.csdn.net/download/Michael_lcf/86262885安装rabbitmqrpm-ivherlang-21.3-1.el7.x86_64.rpm yuminstallsocat-yrpm-ivhrabbitmq-server-3.8.8-1.el7.noarch.rpm启动rabbitmqsystemctlenablerabbitmq-server systemctl start rabbitmq-server systemctl status rabbitmq-server systemctl stop rabbitmq-server开启web管理插件rabbitmq-pluginsenablerabbitmq_management 用默认账号密码(guest/guest)访问地址 http://192.168.168.101:15672/出现权限问题;添加一个新的用户# 创建账号rabbitmqctl add_user admin123 admin123# 设置用户角色rabbitmqctl set_user_tags admin123 administrator# 设置用户权限# set_permissions [-p vhostpath] user conf write readrabbitmqctl set_permissions-p/admin123.*.*.*用户 user_admin123 具有/vhost1 这个 virtualhost中所有资源的配置、写、读权限# 当前用户和角色rabbitmqctl list_users# 创建一个vhostvhost_name就是想要创建的vhostrabbitmqctl add_vhost[vhost_name]rabbitmqctl delete_vhost[vhost_name]rabbitmqctl list_vhosts 用账号密码(admin123/admin123)访问地址 http://192.168.168.101:15672/正常访问;重置命令# 关闭应用的命令rabbitmqctl stop_app# 重置的命令rabbitmqctl reset# 重新启动命令rabbitmqctl start_app# 查看所有队列命令rabbitmqctl list_queues2.3、安装过程的小插曲2.3.1、Error: unable to perform an operation on node ‘rabbitmichael’Error:unable to perform an operation on noderabbitmichael.Please see diagnostics information and suggestions below.Most common reasonsforthisare:*Target node isunreachable(e.g.due to hostname resolution,TCPconnection or firewall issues)*CLItool fails to authenticatewiththeserver(e.g.due toCLItools Erlang cookie not matching thatofthe server)*Target node is not running In addition to the diagnostics info below:*See theCLI,clustering and networking guides on https://rabbitmq.com/documentation.html to learn more*Consult server logs on node rabbitmichael*If target node is configured to use long node names,dont forget to use--longnameswithCLItoolsDIAGNOSTICSattempted to contact:[rabbitmichael]rabbitmichael:*connected toepmd(port4369)on michael*node rabbitmichael up,rabbitapplication running Current node details:*node name:rabbitmqcli-3572-rabbitmichael*effective users home directory:/var/lib/rabbitmq*Erlang cookie hash:mXgluqZ4XzA9DXxrrbEyw在/etc/hosts文件中如下图添加 相关配置3、三节点rabbitmq集群3.1、三节点集群安装rabbitmq前提三节点 均已安装rabbitmq。1.修改3台机器的主机名称在第1台机器执行echonode1/etc/hostname 在第2台机器执行echonode2/etc/hostname 在第3台机器执行echonode3/etc/hostname2.配置各个节点的 hosts 文件让各个节点都能互相识别对方cat/etc/hostsEOF 192.168.168.171 node1 192.168.168.172 node2 192.168.168.173 node3 EOF3.以确保各个节点的cookie文件使用的是同一个值在node1上执行远程操作命令scp/var/lib/rabbitmq/.erlang.cookie rootnode2:/var/lib/rabbitmq/.erlang.cookiescp/var/lib/rabbitmq/.erlang.cookie rootnode3:/var/lib/rabbitmq/.erlang.cookie4.启动RabbitMQ服务,顺带启动Erlang虚拟机和RbbitMQ应用服务在三台节点上分别执行以下命令rabbitmq-server-detached5.在node2执行此处 我们以node1为主然后把node2加入到node1。rabbitmqctl stop_app 只关闭RabbitMQ服务 rabbitmqctl stop 会将Erlang虚拟机关闭rabbitmqctl stop_app 只关闭RabbitMQ服务 rabbitmqctl reset rabbitmqctl join_cluster rabbitnode1 rabbitmqctl start_app 只启动应用服务6.在node3执行此处 我们以node1为主然后把node3加入到node2。把node3加入到node1也可以。rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl join_cluster rabbitnode2 rabbitmqctl start_app7.集群状态rabbitmqctl cluster_status8.需要重新设置用户创建账号 rabbitmqctl add_user admin123 admin123 设置用户角色 rabbitmqctl set_user_tags admin123 administrator 设置用户权限 rabbitmqctl set_permissions-p/admin123.*.*.*9.解除集群节点(node2和node3机器分别执行)node2和node3机器分别执行 rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl start_app rabbitmqctl cluster_status node1机器上执行 rabbitmqctl forget_cluster_node rabbitnode2 rabbitmqctl forget_cluster_node rabbitnode33.2、配置集群镜像队列策略如果RabbitMQ集群中只有一个Broker节点那么该节点的失效将导致整体服务的临时性不可用并且也可能会导致消息的丢失。可以将所有消息都设置为持久化并且对应队列的durable属性也设置为true但是这样仍然无法避免由于缓存导致的问题因为消息在发送之后和被写入磁盘井执行刷盘动作之间存在一个短暂却会产生问题的时间窗。通过publisherconfirm机制能够确保客户端知道哪些消息己经存入磁盘尽管如此一般不希望遇到因单点故障导致的服务不可用。引入镜像队列(Mirror Queue)的机制可以将队列镜像到集群中的其他Broker节点之上如果集群中的一个节点失效了队列能自动地切换到镜像中的另一个节点上以保证服务的可用性。启动三台集群节点。随便找一个节点添加policy。在node1上创建一个队列发送一条消息队列存在镜像队列。停掉node1之后发现node2成为镜像队列。就算整个集群只剩下一台机器了 依然能消费队列里面的消息说明队列里面的消息被镜像队列传递到相应机器里面了。4、HaproxyKeepalive实现高可用负载均衡HAProxy提供高可用性、负载均衡及基于TCPHTTP应用的代理支持虚拟主机它是免费、快速并且可靠的一种解决方案包括TwitterRedditStackOverflowGitHub在内的多家知名互联网公司在使用。HAProxy实现了一种事件驱动、单一进程模型此模型支持非常大的井发连接数。扩展nginx,lvs,haproxy之间的区别: http://www.ha97.com/5646.html4.1、Haproxy Install1.下载haproxy(在node1和node2)yum-yinstallhaproxy2.修改node1和node2的haproxy.cfgvim/etc/haproxy/haproxy.cfg backend app balance roundrobin server rabbitmq_node1192.168.168.171:5672 check inter5000rise2fall3weight1server rabbitmq_node2192.168.168.172:5672 check inter5000rise2fall3weight1server rabbitmq_node3192.168.168.173:5672 check inter5000rise2fall3weight13.在两台节点启动haproxyhaproxy-f/etc/haproxy/haproxy.cfgps-ef|grephaproxy4.访问地址http://192.168.168.171:8888/stats http://192.168.168.172:8888/stats4.2、Keepalived实现双机(主备)热备试想如果前面配置的HAProxy主机突然宕机或者网卡失效那么虽然RbbitMQ集群没有任何故障但是对于外界的客户端来说所有的连接都会被断开结果将是灾难性的为了确保负载均衡服务的可靠性同样显得十分重要这里就要引入Keepalived它能够通过自身健康检查、资源接管功能做高可用(双机热备)实现故障转移.1.下载keepalivedyum -y install keepalived2.节点node1配置文件vim /etc/keepalived/keepalived.conf把资料里面的keepalived.conf修改之后替换3.节点node2配置文件需要修改global_defs的router_id,如:nodeB其次要修改vrrp_instance_VI中state为BACKUP最后要将priority设置为小于100的值4.添加haproxy_chk.sh(为了防止HAProxy服务挂掉之后Keepalived还在正常工作而没有切换到Backup上所以这里需要编写一个脚本来检测HAProxy 务的状态,当HAProxy服务挂掉之后该脚本会自动重启HAProxy的服务如果不成功则关闭Keepalived服务这样便可以切换到Backup 继续工作)vim /etc/keepalived/haproxy_chk.sh(可以直接上传文件)修改权限chmod 777 /etc/keepalived/haproxy_chk.sh5.启动keepalive命令(node1和node2启动)systemctl start keepalived6.观察Keepalived的日志tail -f /var/log/messages -n 2007.观察最新添加的vipip add show8.node1模拟keepalived关闭状态systemctl stop keepalived9.使用vip地址来访问rabbitmq集群
RabbitMQ基本操作: https://blog.csdn.net/Michael_lcf/article/details/124677268RabbitMQ的5大核心概念: https://blog.csdn.net/Michael_lcf/article/details/126435452RabbitMQ的队列模式https://blog.csdn.net/Michael_lcf/article/details/139362674RabbitMQ实现分布式WebSocket通信: https://blog.csdn.net/Michael_lcf/article/details/126403772RabbitMQ基本操作1、windows安装rabbitmq2、linux单节点rabbitmq2.2、rpm安装rabbitmq2.3、安装过程的小插曲2.3.1、Error: unable to perform an operation on node rabbitmichael3、三节点rabbitmq集群3.1、三节点集群安装rabbitmq3.2、配置集群镜像队列策略4、HaproxyKeepalive实现高可用负载均衡4.1、Haproxy Install4.2、Keepalived实现双机(主备)热备为什么要用MQ1.流量消峰。2.应用解耦。3.异步处理。1、windows安装rabbitmq分别安装erlang和rabbitmq下载链接: https://download.csdn.net/download/Michael_lcf/85332315Erlang_otp_win64_22.3.exerabbitmq-server-3.8.3.exe浏览器访问http://127.0.0.1:15672/.guest/guestdockerpull rabbitmq:3.13.7-managementdockerrun-it\--rm\--namerabbitmq\-p5672:5672-p15672:15672\rabbitmq:3.13.7-management-i/--interactive保持标准输入打开即使没有附加终端。-t/--tty分配伪终端‑it经常一起用可以看到容器控制台输出。--rm容器停止后自动删除容器。测试方便重启数据全部丢失。生产禁用。-p 5672:5672端口映射宿主机端口:容器内部端口。5672 是 RabbitMQ AMQP 业务消息端口。-p 15672:15672Web 管理面板端口浏览器访问http://宿主机IP:15672。2、linux单节点rabbitmq2.2、rpm安装rabbitmq链接: https://download.csdn.net/download/Michael_lcf/86262885安装rabbitmqrpm-ivherlang-21.3-1.el7.x86_64.rpm yuminstallsocat-yrpm-ivhrabbitmq-server-3.8.8-1.el7.noarch.rpm启动rabbitmqsystemctlenablerabbitmq-server systemctl start rabbitmq-server systemctl status rabbitmq-server systemctl stop rabbitmq-server开启web管理插件rabbitmq-pluginsenablerabbitmq_management 用默认账号密码(guest/guest)访问地址 http://192.168.168.101:15672/出现权限问题;添加一个新的用户# 创建账号rabbitmqctl add_user admin123 admin123# 设置用户角色rabbitmqctl set_user_tags admin123 administrator# 设置用户权限# set_permissions [-p vhostpath] user conf write readrabbitmqctl set_permissions-p/admin123.*.*.*用户 user_admin123 具有/vhost1 这个 virtualhost中所有资源的配置、写、读权限# 当前用户和角色rabbitmqctl list_users# 创建一个vhostvhost_name就是想要创建的vhostrabbitmqctl add_vhost[vhost_name]rabbitmqctl delete_vhost[vhost_name]rabbitmqctl list_vhosts 用账号密码(admin123/admin123)访问地址 http://192.168.168.101:15672/正常访问;重置命令# 关闭应用的命令rabbitmqctl stop_app# 重置的命令rabbitmqctl reset# 重新启动命令rabbitmqctl start_app# 查看所有队列命令rabbitmqctl list_queues2.3、安装过程的小插曲2.3.1、Error: unable to perform an operation on node ‘rabbitmichael’Error:unable to perform an operation on noderabbitmichael.Please see diagnostics information and suggestions below.Most common reasonsforthisare:*Target node isunreachable(e.g.due to hostname resolution,TCPconnection or firewall issues)*CLItool fails to authenticatewiththeserver(e.g.due toCLItools Erlang cookie not matching thatofthe server)*Target node is not running In addition to the diagnostics info below:*See theCLI,clustering and networking guides on https://rabbitmq.com/documentation.html to learn more*Consult server logs on node rabbitmichael*If target node is configured to use long node names,dont forget to use--longnameswithCLItoolsDIAGNOSTICSattempted to contact:[rabbitmichael]rabbitmichael:*connected toepmd(port4369)on michael*node rabbitmichael up,rabbitapplication running Current node details:*node name:rabbitmqcli-3572-rabbitmichael*effective users home directory:/var/lib/rabbitmq*Erlang cookie hash:mXgluqZ4XzA9DXxrrbEyw在/etc/hosts文件中如下图添加 相关配置3、三节点rabbitmq集群3.1、三节点集群安装rabbitmq前提三节点 均已安装rabbitmq。1.修改3台机器的主机名称在第1台机器执行echonode1/etc/hostname 在第2台机器执行echonode2/etc/hostname 在第3台机器执行echonode3/etc/hostname2.配置各个节点的 hosts 文件让各个节点都能互相识别对方cat/etc/hostsEOF 192.168.168.171 node1 192.168.168.172 node2 192.168.168.173 node3 EOF3.以确保各个节点的cookie文件使用的是同一个值在node1上执行远程操作命令scp/var/lib/rabbitmq/.erlang.cookie rootnode2:/var/lib/rabbitmq/.erlang.cookiescp/var/lib/rabbitmq/.erlang.cookie rootnode3:/var/lib/rabbitmq/.erlang.cookie4.启动RabbitMQ服务,顺带启动Erlang虚拟机和RbbitMQ应用服务在三台节点上分别执行以下命令rabbitmq-server-detached5.在node2执行此处 我们以node1为主然后把node2加入到node1。rabbitmqctl stop_app 只关闭RabbitMQ服务 rabbitmqctl stop 会将Erlang虚拟机关闭rabbitmqctl stop_app 只关闭RabbitMQ服务 rabbitmqctl reset rabbitmqctl join_cluster rabbitnode1 rabbitmqctl start_app 只启动应用服务6.在node3执行此处 我们以node1为主然后把node3加入到node2。把node3加入到node1也可以。rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl join_cluster rabbitnode2 rabbitmqctl start_app7.集群状态rabbitmqctl cluster_status8.需要重新设置用户创建账号 rabbitmqctl add_user admin123 admin123 设置用户角色 rabbitmqctl set_user_tags admin123 administrator 设置用户权限 rabbitmqctl set_permissions-p/admin123.*.*.*9.解除集群节点(node2和node3机器分别执行)node2和node3机器分别执行 rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl start_app rabbitmqctl cluster_status node1机器上执行 rabbitmqctl forget_cluster_node rabbitnode2 rabbitmqctl forget_cluster_node rabbitnode33.2、配置集群镜像队列策略如果RabbitMQ集群中只有一个Broker节点那么该节点的失效将导致整体服务的临时性不可用并且也可能会导致消息的丢失。可以将所有消息都设置为持久化并且对应队列的durable属性也设置为true但是这样仍然无法避免由于缓存导致的问题因为消息在发送之后和被写入磁盘井执行刷盘动作之间存在一个短暂却会产生问题的时间窗。通过publisherconfirm机制能够确保客户端知道哪些消息己经存入磁盘尽管如此一般不希望遇到因单点故障导致的服务不可用。引入镜像队列(Mirror Queue)的机制可以将队列镜像到集群中的其他Broker节点之上如果集群中的一个节点失效了队列能自动地切换到镜像中的另一个节点上以保证服务的可用性。启动三台集群节点。随便找一个节点添加policy。在node1上创建一个队列发送一条消息队列存在镜像队列。停掉node1之后发现node2成为镜像队列。就算整个集群只剩下一台机器了 依然能消费队列里面的消息说明队列里面的消息被镜像队列传递到相应机器里面了。4、HaproxyKeepalive实现高可用负载均衡HAProxy提供高可用性、负载均衡及基于TCPHTTP应用的代理支持虚拟主机它是免费、快速并且可靠的一种解决方案包括TwitterRedditStackOverflowGitHub在内的多家知名互联网公司在使用。HAProxy实现了一种事件驱动、单一进程模型此模型支持非常大的井发连接数。扩展nginx,lvs,haproxy之间的区别: http://www.ha97.com/5646.html4.1、Haproxy Install1.下载haproxy(在node1和node2)yum-yinstallhaproxy2.修改node1和node2的haproxy.cfgvim/etc/haproxy/haproxy.cfg backend app balance roundrobin server rabbitmq_node1192.168.168.171:5672 check inter5000rise2fall3weight1server rabbitmq_node2192.168.168.172:5672 check inter5000rise2fall3weight1server rabbitmq_node3192.168.168.173:5672 check inter5000rise2fall3weight13.在两台节点启动haproxyhaproxy-f/etc/haproxy/haproxy.cfgps-ef|grephaproxy4.访问地址http://192.168.168.171:8888/stats http://192.168.168.172:8888/stats4.2、Keepalived实现双机(主备)热备试想如果前面配置的HAProxy主机突然宕机或者网卡失效那么虽然RbbitMQ集群没有任何故障但是对于外界的客户端来说所有的连接都会被断开结果将是灾难性的为了确保负载均衡服务的可靠性同样显得十分重要这里就要引入Keepalived它能够通过自身健康检查、资源接管功能做高可用(双机热备)实现故障转移.1.下载keepalivedyum -y install keepalived2.节点node1配置文件vim /etc/keepalived/keepalived.conf把资料里面的keepalived.conf修改之后替换3.节点node2配置文件需要修改global_defs的router_id,如:nodeB其次要修改vrrp_instance_VI中state为BACKUP最后要将priority设置为小于100的值4.添加haproxy_chk.sh(为了防止HAProxy服务挂掉之后Keepalived还在正常工作而没有切换到Backup上所以这里需要编写一个脚本来检测HAProxy 务的状态,当HAProxy服务挂掉之后该脚本会自动重启HAProxy的服务如果不成功则关闭Keepalived服务这样便可以切换到Backup 继续工作)vim /etc/keepalived/haproxy_chk.sh(可以直接上传文件)修改权限chmod 777 /etc/keepalived/haproxy_chk.sh5.启动keepalive命令(node1和node2启动)systemctl start keepalived6.观察Keepalived的日志tail -f /var/log/messages -n 2007.观察最新添加的vipip add show8.node1模拟keepalived关闭状态systemctl stop keepalived9.使用vip地址来访问rabbitmq集群
