1.什么是MQ? 消息队列,队列是一种FIFO先进先出的数据结构,然后消费者对消息进行处理。 使用场景:微信、qq 2. MQ的三种作用 1.异步:送快递,将消息存放等待有时间去处理,作用响应速度和吞吐量提高 2.解耦:服务与服务之间进行解耦,提高系统的扩展性和稳定性 3.销峰:用于秒杀等,以稳定的系统应对突发流量冲击 3.缺点:1.系统可用性降低:一旦MQ宕机,整个业务都会受到影响 2.系统的复杂度:会存在一定问题,消息的丢失?重复调用?消息如何保证顺序? 4.选择产品的原因 kafka:优点:吞吐量大,性能非常好,集群高可用 缺点:容易丢失数据,功能单一 使用场景:日志分析、大数据采集 rabbitMQ:优点:消息可靠,功能全面 缺点:吞吐量较低,当消息累积会影响性能 使用场景:小规模 rocketMQ:优点:高吞吐、高性能、功能全面 缺点:开源版本不如商业版,稳定性不太好 场景:几乎全部 5.消息丢失几种情况及解决。 解决:kafka:消息发送+回调 rabbitMQ:消息发送+回调+事务 事务:生产者——half消息给MQ——响应half——生产者发送真正事务消息——MQ回查事务响应事务状态 2.MQ主从消息同步丢失 解决:rocketMQ同步同步,不会丢失信息。生产者——MQ的Master——S——生产者 异步同步,效率高容易丢失消息。生产者——master——s(如果master宕机了,就没法回滚了) rabbitMQ:普通集群和镜像集群 3.MQ消息存盘时消息丢失 解决:rocketMQ同步异步刷盘,rabbitMQ将队列配置成持久队列 4.MQ消息到消费者时丢失 解决:rocketMQ默认同步消费,采用异步。 rabbitMQ:手动提交offset 6.如何保证消息消费的幂等性(重复消费) RocketMQ中给每个消息分配了一个MessageID,作为消费者判断幂等(不建议使用) 一般使用:自己生成一个由业务标识的ID(预创订单号),来进行判断是否幂等。 7.如何保证消息的顺序 首先要知道MQ本身是先进先出且局部有序,全局无序。只需要把他们放在同一个队列中消费就能实现。 RocketMQ:生产者把一组有序的消息放在一个队列中,消费者对应消费 rabbitMQ:生产者将消息交给exchange交给对应一个队列,对应一个消费者 kafka:生产者通过partition分配,将消息分配到同一个partition,topic下对应一个消费者 8.如何保证消息的高效读写 通过零拷贝技术,java中对零拷贝进行了封装,Mmap方式通过MappedBytoBuffer对象进行操作,适合比较小的文件,文件不超过1.5-2G. transfile通过FileChannel进行操作,没有文件大小限制 RocketMQ使用Mmap,commitlog创建存在,满了在创建以此循环一直操作 kafka:使用index日志文件通过Mmap读写,使用transfile将硬盘数据加载到网卡 |
|
来自: 芥子c1yw3tb42g > 《谋生之道-自律自由》