一起來學SpringBoot | 第十三篇：RabbitMQ延遲隊列

selfimpr 發布于2019-08-16 12:35 / 3146人閱讀

摘要：另一種就是用中的位于包下，本質是由和實現的阻塞優先級隊列。表明了一條消息可在隊列中存活的最大時間。當某條消息被設置了或者當某條消息進入了設置了的隊列時，這條消息會在時間后死亡成為。

SpringBoot 是為了簡化 Spring 應用的創建、運行、調試、部署等一系列問題而誕生的產物，自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置，我們只需遵循規范，引入相關的依賴就可以輕易的搭建出一個 WEB 工程

初探RabbitMQ消息隊列中介紹了RabbitMQ的簡單用法，順帶提及了下延遲隊列的作用。所謂延時消息就是指當消息被發送以后，并不想讓消費者立即拿到消息，而是等待指定時間后，消費者才拿到這個消息進行消費。

延遲隊列

延遲隊列能做什么？

訂單業務： 在電商/點餐中，都有下單后 30 分鐘內沒有付款，就自動取消訂單。

短信通知： 下單成功后 60s 之后給用戶發送短信通知。

失敗重試： 業務操作失敗后，間隔一定的時間進行失敗重試。

這類業務的特點就是：非實時的，需要延遲處理，需要進行失敗重試。一種比較笨的方式是采用定時任務，輪訓數據庫，方法簡單好用，但性能底下，在高并發情況下容易弄死數據庫，間隔時間不好設置，時間過大，影響精度，過小影響性能，而且做不到按超時的時間順序處理。另一種就是用Java中的DelayQueue 位于java.util.concurrent包下，本質是由PriorityQueue和BlockingQueue實現的阻塞優先級隊列。，這玩意最大的問題就是不支持分布式與持久化

RabbitMQ 實現思路

RabbitMQ隊列本身是沒有直接實現支持延遲隊列的功能，但可以通過它的Time-To-Live Extensions 與 Dead Letter Exchange 的特性模擬出延遲隊列的功能。

Time-To-Live Extensions

RabbitMQ支持為隊列或者消息設置TTL（time to live 存活時間）。TTL表明了一條消息可在隊列中存活的最大時間。當某條消息被設置了TTL或者當某條消息進入了設置了TTL的隊列時，這條消息會在TTL時間后死亡成為Dead Letter。如果既配置了消息的TTL，又配置了隊列的TTL，那么較小的那個值會被取用。

Dead Letter Exchange

死信交換機，上文中提到設置了 TTL 的消息或隊列最終會成為Dead Letter。如果為隊列設置了Dead Letter Exchange（DLX），那么這些Dead Letter就會被重新發送到Dead Letter Exchange中，然后通過Dead Letter Exchange路由到其他隊列，即可實現延遲隊列的功能。

導入依賴

在 pom.xml 中添加 spring-boot-starter-amqp的依賴


    
        org.springframework.boot
        spring-boot-starter-amqp
    
    
        com.alibaba
        fastjson
        1.2.46
    
    
        org.springframework.boot
        spring-boot-starter-web
    
    
        org.springframework.boot
        spring-boot-starter-test
        test

屬性配置

在 application.properties 文件中配置rabbitmq相關內容，值得注意的是這里配置了手動ACK的開關

spring.rabbitmq.username=battcn
spring.rabbitmq.password=battcn
spring.rabbitmq.host=192.168.0.133
spring.rabbitmq.port=5672
spring.rabbitmq.virtual-host=/
# 手動ACK 不開啟自動ACK模式,目的是防止報錯后未正確處理消息丟失 默認 為 none
spring.rabbitmq.listener.simple.acknowledge-mode=manual

具體編碼 定義隊列

如果手動創建過或者RabbitMQ中已經存在該隊列那么也可以省略下述代碼...

package com.battcn.config;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CachingConnectionFactory;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.util.HashMap;
import java.util.Map;

/**
 * RabbitMQ配置
 *
 * @author Levin
 * @since 2018/4/11 0011
 */
@Configuration
public class RabbitConfig {

    private static final Logger log = LoggerFactory.getLogger(RabbitConfig.class);

    @Bean
    public RabbitTemplate rabbitTemplate(CachingConnectionFactory connectionFactory) {
        connectionFactory.setPublisherConfirms(true);
        connectionFactory.setPublisherReturns(true);
        RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);
        rabbitTemplate.setMandatory(true);
        rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> log.info("消息發送成功:correlationData({}),ack({}),cause({})", correlationData, ack, cause));
        rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> log.info("消息丟失:exchange({}),route({}),replyCode({}),replyText({}),message:{}", exchange, routingKey, replyCode, replyText, message));
        return rabbitTemplate;
    }

    /**
     * 延遲隊列 TTL 名稱
     */
    private static final String REGISTER_DELAY_QUEUE = "dev.book.register.delay.queue";
    /**
     * DLX，dead letter發送到的 exchange
     * TODO 此處的 exchange 很重要,具體消息就是發送到該交換機的
     */
    public static final String REGISTER_DELAY_EXCHANGE = "dev.book.register.delay.exchange";
    /**
     * routing key 名稱
     * TODO 此處的 routingKey 很重要要,具體消息發送在該 routingKey 的
     */
    public static final String DELAY_ROUTING_KEY = "";


    public static final String REGISTER_QUEUE_NAME = "dev.book.register.queue";
    public static final String REGISTER_EXCHANGE_NAME = "dev.book.register.exchange";
    public static final String ROUTING_KEY = "all";

    /**
     * 延遲隊列配置
     * 
     * 1、params.put("x-message-ttl", 5 * 1000);
     * TODO 第一種方式是直接設置 Queue 延遲時間 但如果直接給隊列設置過期時間,這種做法不是很靈活,（當然二者是兼容的,默認是時間小的優先）
     * 2、rabbitTemplate.convertAndSend(book, message -> {
     * message.getMessageProperties().setExpiration(2 * 1000 + "");
     * return message;
     * });
     * TODO 第二種就是每次發送消息動態設置延遲時間,這樣我們可以靈活控制
     **/
    @Bean
    public Queue delayProcessQueue() {
        Map params = new HashMap<>();
        // x-dead-letter-exchange 聲明了隊列里的死信轉發到的DLX名稱，
        params.put("x-dead-letter-exchange", REGISTER_EXCHANGE_NAME);
        // x-dead-letter-routing-key 聲明了這些死信在轉發時攜帶的 routing-key 名稱。
        params.put("x-dead-letter-routing-key", ROUTING_KEY);
        return new Queue(REGISTER_DELAY_QUEUE, true, false, false, params);
    }

    /**
     * 需要將一個隊列綁定到交換機上，要求該消息與一個特定的路由鍵完全匹配。
     * 這是一個完整的匹配。如果一個隊列綁定到該交換機上要求路由鍵 “dog”，則只有被標記為“dog”的消息才被轉發，不會轉發dog.puppy，也不會轉發dog.guard，只會轉發dog。
     * TODO 它不像 TopicExchange 那樣可以使用通配符適配多個
     *
     * @return DirectExchange
     */
    @Bean
    public DirectExchange delayExchange() {
        return new DirectExchange(REGISTER_DELAY_EXCHANGE);
    }

    @Bean
    public Binding dlxBinding() {
        return BindingBuilder.bind(delayProcessQueue()).to(delayExchange()).with(DELAY_ROUTING_KEY);
    }


    @Bean
    public Queue registerBookQueue() {
        return new Queue(REGISTER_QUEUE_NAME, true);
    }

    /**
     * 將路由鍵和某模式進行匹配。此時隊列需要綁定要一個模式上。
     * 符號“#”匹配一個或多個詞，符號“*”匹配不多不少一個詞。因此“audit.#”能夠匹配到“audit.irs.corporate”，但是“audit.*” 只會匹配到“audit.irs”。
     **/
    @Bean
    public TopicExchange registerBookTopicExchange() {
        return new TopicExchange(REGISTER_EXCHANGE_NAME);
    }

    @Bean
    public Binding registerBookBinding() {
        // TODO 如果要讓延遲隊列之間有關聯,這里的 routingKey 和 綁定的交換機很關鍵
        return BindingBuilder.bind(registerBookQueue()).to(registerBookTopicExchange()).with(ROUTING_KEY);
    }

}

實體類

創建一個Book類

public class Book implements java.io.Serializable {

    private static final long serialVersionUID = -2164058270260403154L;

    private String id;
    private String name;
    // 省略get set ...
}

控制器

編寫一個Controller類，用于消息發送工作，同時為了看到測試效果，添加日志輸出，將發送消息的時間記錄下來..

package com.battcn.controller;

import com.battcn.config.RabbitConfig;
import com.battcn.entity.Book;
import com.battcn.handler.BookHandler;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.support.converter.AbstractJavaTypeMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

import java.time.LocalDateTime;

/**
 * @author Levin
 * @since 2018/4/2 0002
 */
@RestController
@RequestMapping(value = "/books")
public class BookController {

    private static final Logger log = LoggerFactory.getLogger(BookController.class);

    private final RabbitTemplate rabbitTemplate;

    @Autowired
    public BookController(RabbitTemplate rabbitTemplate) {
        this.rabbitTemplate = rabbitTemplate;
    }

    /**
     * this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book); 對應 {@link BookHandler#listenerDelayQueue}
     */
    @GetMapping
    public void defaultMessage() {
        Book book = new Book();
        book.setId("1");
        book.setName("一起來學Spring Boot");
        // 添加延時隊列
        this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book, message -> {
            // TODO 第一句是可要可不要,根據自己需要自行處理
            message.getMessageProperties().setHeader(AbstractJavaTypeMapper.DEFAULT_CONTENT_CLASSID_FIELD_NAME, Book.class.getName());
            // TODO 如果配置了 params.put("x-message-ttl", 5 * 1000); 那么這一句也可以省略,具體根據業務需要是聲明 Queue 的時候就指定好延遲時間還是在發送自己控制時間
            message.getMessageProperties().setExpiration(5 * 1000 + "");
            return message;
        });
        log.info("[發送時間] - [{}]", LocalDateTime.now());
    }
}

消息消費者

默認情況下 spring-boot-data-amqp 是自動ACK機制，就意味著 MQ 會在消息消費完畢后自動幫我們去ACK，這樣依賴就存在這樣一個問題：如果報錯了，消息不會丟失，會無限循環消費，很容易就吧磁盤空間耗完，雖然可以配置消費的次數但這種做法也有失優雅。目前比較推薦的就是我們手動ACK然后將消費錯誤的消息轉移到其它的消息隊列中，做補償處理。由于我們需要手動控制ACK，因此下面監聽完消息后需要調用basicAck通知rabbitmq消息已被正確消費，可以將遠程隊列中的消息刪除

package com.battcn.handler;

import com.battcn.config.RabbitConfig;
import com.battcn.entity.Book;
import com.rabbitmq.client.Channel;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.time.LocalDateTime;

/**
 * BOOK_QUEUE 消費者
 *
 * @author Levin
 * @since 2018/4/11 0011
 */
@Component
public class BookHandler {

    private static final Logger log = LoggerFactory.getLogger(BookHandler.class);

    @RabbitListener(queues = {RabbitConfig.REGISTER_QUEUE_NAME})
    public void listenerDelayQueue(Book book, Message message, Channel channel) {
        log.info("[listenerDelayQueue 監聽的消息] - [消費時間] - [{}] - [{}]", LocalDateTime.now(), book.toString());
        try {
            // TODO 通知 MQ 消息已被成功消費,可以ACK了
            channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
        } catch (IOException e) {
            // TODO 如果報錯了,那么我們可以進行容錯處理,比如轉移當前消息進入其它隊列
        }
    }
}

主函數

package com.battcn;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

/**
 * @author Levin
 */
@SpringBootApplication
public class Chapter12Application {

    public static void main(String[] args) {
        SpringApplication.run(Chapter12Application.class, args);
    }
}

測試

完成準備事項后，啟動Chapter12Application 訪問 http://localhost:8080/books 將會看到如下內容，就代表一切正常....

2018-05-23 19:56:36.248  INFO 29048 --- [nio-8080-exec-1] com.battcn.controller.BookController     : [發送時間] - [2018-05-23T19:56:36.248]
2018-05-23 19:56:41.256  INFO 29048 --- [cTaskExecutor-1] com.battcn.handler.BookHandler           : [listenerDelayQueue 監聽的消息] - [消費時間] - [2018-05-23T19:56:41.256] - [Book{id="1", name="一起來學Spring Boot"}]

總結

目前很多大佬都寫過關于 SpringBoot 的教程了，如有雷同，請多多包涵，本教程基于最新的 spring-boot-starter-parent：2.0.2.RELEASE編寫，包括新版本的特性都會一起介紹...

說點什么

個人QQ：1837307557

battcn開源群（適合新手）：391619659

微信公眾號（歡迎調戲）：battcn

個人博客：http://blog.battcn.com/

全文代碼：https://github.com/battcn/spring-boot2-learning/tree/master/chapter12

GPU云服務器云服務器第十三篇第十三天 java學起來難嗎 js延遲一秒鐘

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/71356.html

一起來學SpringBoot | 第十二篇：初探RabbitMQ消息隊列

摘要：用于控制活動人數，將超過此一定閥值的訂單直接丟棄。緩解短時間的高流量壓垮應用。目前比較推薦的就是我們手動然后將消費錯誤的消息轉移到其它的消息隊列中，做補償處理消費者該方案是默認的方式不太推薦。 SpringBoot 是為了簡化 Spring 應用的創建、運行、調試、部署等一系列問題而誕生的產物，自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置，我們只需遵循規范，引入相...

Baoyuan 2019-08-16 12:35 評論0 收藏0
SpringBoot非官方教程 | 第十三篇：springboot集成spring cache

摘要：本文介紹如何在中使用默認的聲明式緩存定義和接口用來統一不同的緩存技術。在使用集成的時候，我們需要注冊實現的的。默認使用在我們不使用其他第三方緩存依賴的時候，自動采用作為緩存管理器。源碼下載參考資料揭秘與實戰二數據緩存篇快速入門本文介紹如何在springboot中使用默認的spring cache 聲明式緩存 Spring 定義 CacheManager 和 Cache 接口用來統一不...

Magicer 2019-08-15 12:14 評論0 收藏0
SpringBoot非官方教程 | 第十五篇：Springboot整合RabbitMQ

摘要：創建消息監聽，并發送一條消息在程序中，提供了發送消息和接收消息的所有方法。這篇文章帶你了解怎么整合RabbitMQ服務器，并且通過它怎么去發送和接收消息。我將構建一個springboot工程，通過RabbitTemplate去通過MessageListenerAdapter去訂閱一個POJO類型的消息。準備工作 15min IDEA maven 3.0 在開始構建項目之前，機器需...

HollisChuang 2019-08-15 12:31 評論0 收藏0
JavaScript專題系列文章

摘要：專題系列共計篇，主要研究日常開發中一些功能點的實現，比如防抖節流去重類型判斷拷貝最值扁平柯里遞歸亂序排序等，特點是研究專題之函數組合專題系列第十六篇，講解函數組合，并且使用柯里化和函數組合實現模式需求我們需要寫一個函數，輸入，返回。 JavaScript 專題之從零實現 jQuery 的 extend JavaScritp 專題系列第七篇，講解如何從零實現一個 jQuery 的 ext...

Maxiye 2019-08-21 17:57 評論0 收藏0
SpringBoot非官方教程 | 第二十三篇：異步方法

摘要：如果去掉，你會發現，執行這三個方法都在線程中執行。耗時總結，如下耗時通過這一個小的栗子，你應該對異步任務有了一定的了解。這篇文章主要介紹在springboot 使用異步方法，去請求github api. 創建工程在pom文件引入相關依賴： org.springframework.boot spring-boot-starter ...

jackwang 2019-08-16 12:39 評論0 收藏0