分享

消息队列四种应用场景

 jackeyqing 2018-08-04

引用

博文连接,很好的一篇博客,列举了消息队列的使用场景和场景消息队列的基本概念,并贴上了收集的博文资料。

消息队列使用场景

  息队列基本使用场景有四种,分别是异步处理应用解耦流量削峰日志处理等。
  解耦和异步处理往往相辅相成,比如两个系统之间放入消息队列,不仅可以解耦开,而且相应的业务逻辑也可以实现异步处理,最典型的就是用户注册消息队列实现解耦和异步处理

一、二.异步处理和应用解耦,见上图

三.流量削峰

  在秒杀或者抢购过程中,一般都会在短时间产生巨大的流量,此时便可以在用户请求与业务处理之间放入消息队列,以控制请求人数。比如在抢红包应用中,消息队列的长度为红包个数,在队列传入的请求即可视为无效。消息队列在削减流量高峰中的应用

四.日志处理,以Kafka为例

4.1基本概念

  1)Broker:Kafka包含一个或多个服务器,这些服务器被称为Broker;
  2)Topic:每条发布到Kafka上的消息都有一个类别,这个类别被称为Topic,不同Topic的消息物理上分开存储;
  3)Partition:物理概念,一个Topic包含多个Partition;
  4)Producer:负责发布消息到Kafka Broker;
  5)Consumer:消息消费者,拉取Kafka Broker消息并处理的客户端;
  6)Consumer Grop:每个Consumer属于一个特定的group,没有指定则属于默认的group;

4.2使用场景

  一般应用于处理大数据级别的日志,并且对是实时性和可靠性有一定容忍度的场景。

4.3基本介绍及特性

  Kafka是一种高吞吐量的分布式发布、订阅消息系统,他可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop的并行加载机制来同一线上的和离线的消息处理,也是为了通过集群来提供湿湿的消费。??
  Kafka提供持久化的磁盘结构时间复杂度为O(1)、吞吐量高、资质Hadoop秉性数据加载一级支持通过Kafka服务器和消费机集群来区分消息。
  

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多