首页 > 技术文章 > HM-SpringCloud微服务系列4.3.2【WorkQueue工作队列模型】

yppah 2022-01-27 17:21 原文

1 WorkQueue工作队列简介

  • Work queues,也被称为(Task queues),任务模型。简单来说就是让多个消费者绑定到一个队列,共同消费队列中的消息
    image
  • 当消息处理比较耗时的时候,可能生产消息的速度会远远大于消息的消费速度。长此以往,消息就会堆积越来越多,无法及时处理。
  • 此时就可以使用work 模型,多个消费者共同处理消息处理,速度就能大大提高了。
  • Work queue,工作队列,可以提高消息处理速度,避免队列消息堆积。

2 案例

image
image
image

2.1 消息发送

这次我们循环发送,模拟大量消息堆积现象。
在publisher服务中的SpringAmqpTest类中添加一个测试方法:

    @Test
    public void testSentMessage2WorkQueue() throws InterruptedException {
        String queueName = "simple.queue";
        String message = "hello, message__";
        for (int i=1; i<50; i++) {
            rabbitTemplate.convertAndSend(queueName, message + i);
            Thread.sleep(20);
        }
    }

image

2.2 消息接收

要模拟多个消费者绑定同一个队列,我们在consumer服务的SpringRabbitListener中添加2个新的方法:

    @RabbitListener(queues = "simple.queue")
    public void listenWorkQueue1(String msg) throws InterruptedException {
        System.out.println("==消费者1==接收到消息:【" + msg + "】" + LocalTime.now());
        Thread.sleep(20); //1秒=1000毫秒;设置休眠20毫秒-->每条监听50条消息
    }

    @RabbitListener(queues = "simple.queue")
    public void listenWorkQueue2(String msg) throws InterruptedException {
        System.out.println("**消费者2**接收到消息:【" + msg + "】" + LocalTime.now());
        Thread.sleep(200); //设置休眠200毫秒-->每条监听5条消息
    }

image

2.3 测试

image
image
image
image
image
image
image
image

  • 启动ConsumerApplication后,在执行publisher服务中刚刚编写的发送测试方法testSentMessage2WorkQueue。
  • 可以看到消费者1很快完成了自己的25条(偶数)消息。消费者2却在缓慢的处理自己的25条(奇数)消息。
  • 也就是说消息是平均分配给每个消费者,并没有考虑到消费者的处理能力。这样显然是有问题的。
  • 消息预取:先平均分配消息至所有消费者。再各个消费者各自处理
    image

2.4 能者多劳-消费预取限制

在spring中有一个简单的配置,可以解决以上问题。修改consumer服务的application.yml文件,设置preFetch这个值,可以控制预取消息的上限:

spring:
  rabbitmq:
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息,处理完成才能获取下一个消息

image
重启consumer服务&publisher服务中的发送测试方法testSentMessage2WorkQueue进行测试
image
image
image
image
image
image
image
image

3 小结

WorkQueue模型的使用:

  • 多个消费者绑定到一个队列,同一条消息只会被一个消费者处理
  • 通过设置prefetch来控制消费者预取的消息数量

推荐阅读