深圳幻海软件技术有限公司

1、背景引入：很多同学看不懂kafka参数今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并

作者：京东物流冯鸿儒1简介Gossip是一种p2p的分布式协议。它的核心是在去中心化结构下，通过将信息部分传递，达到全集群的状态信息传播，传播的时间收敛在O（Log（N））以内，其中N是节点的数量。基于gossip协议，可以构建出状态一致的各种解决方案。一些常见的分布式协议如二阶段提交协议和Raft

本文作者magiccao、littleorca，来自携程消息队列团队。目前主要从事消息中间件的开发与弹性架构演进工作，同时对网络/性能优化、应用监控与云原生等领域保持关注。一、背景QMQ延迟消息是以服务形式独立存在的一套不局限于消息厂商实现的解决方案，其架构如下图所示。QMQ延迟消息服务架构延迟消息

​背景前段时间有个小项目需要使用延迟任务，谈到延迟任务，我脑子第一时间一闪而过的就是使用消息队列来做，比如RabbitMQ的死信队列又或者RocketMQ的延迟队列，但是奈何这是一个小项目，并没有引入MQ，我也不太想因为一个延迟任务就引入MQ，增加系统复杂度，所以这个方案直接就被pass了。虽然基于

前言这段时间在做MQ（Pulsar）相关的治理工作，其中一个部分内容关于消息队列的升级，比如：一键创建一个测试集群。运行一批测试用例，覆盖我们线上使用到的功能，并输出测试报告。模拟压测，输出测试结果。本质目的就是想直到新版本升级过程中和升级后对现有业务是否存在影响。一键创建集群和执行测试用例比较简单

在线业务侧主要从RocketMQ集群部署架构、平台系统架构、日常运维操作平台、监控告警一体化实践以及vivo如何通过建设AMQP消息网关的方式完成所有在线业务服务从RabbitMQ到RocketMQ的业务无感迁移，实现了在线业务消息中间件组件的统一。大数据侧主要从资源隔离、流量均衡、智能动态限流、集

笔者是RocketMQ的忠实粉丝，在阅读源码的过程中，学习到了很多编程技巧。这篇文章，笔者结合RocketMQ源码，分享并发编程三大神器的相关知识点。1CountDownLatch实现网络同步请求CountDownLatch是一个同步工具类，用来协调多个线程之间的同步，它能够使一个线程在等待另外一些

一、写在前面​上一篇文章咱们聊了聊TCC分布式事务，对于常见的微服务系统，大部分接口调用是同步的，也就是一个服务直接调用另外一个服务的接口。这个时候，用TCC分布式事务方案来保证各个接口的调用，要么一起成功，要么一起回滚，是比较合适的。但是在实际系统的开发过程中，可能服务间的调用是异步的。也就是说，

问题描述订阅关系控制台上没有订阅关系信息：Topic、过滤规则均为空。消费者状态没有消费者实例信息，消息在不断堆积。分析过程初步判断为了便于表达和理解，我们只关注与该问题有关的部分逻辑。因为消息堆积量不断在增加，所以判断该GroupID已经在Broker上有了订阅关系，很可能是使用该GroupID的

作者|葛贤亮，单位：中国移动智慧家庭运营中心​Labs导读近年来，互联网技术发展迅猛，各行各业的信息量急剧膨胀。随着云计算和算力网络时代的到来，消息中间件在国内许多行业的关键应用中越来越受到重视。在高并发分布式场景下，合理地利用消息中间件往往能起到突破性能瓶颈与化繁为简的效果。前期分别从“作用”与“

译者|布加迪审校|孙淑娟数据在急剧增多。全球每天生成的数据量三年后将达到463EB。相比之下，人类迄今生成的所有单词量估计总共也就5EB。为了在当今的数字经济下取得成功，许多企业在实施战略以使用和分析所有这些数据，以便实时做出正确的业务决策。据估计，到2025年，每个联网人员的平均每日数字交互次数将

大家好，我是指北君。消息中间件是我们工作中使用最频繁的一类中间件，它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。今天

 分布式系统中必备的一个中间件就是消息队列，通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。目前市面上已经有RabbitMQ、RochetMQ、ActiveMQ、Kafka等，有人会问：“Redis适合做消息队列么?”在回答这个问题之前，我们先从本质思考：消息队列提供了什

 在分布式系统中，实现强一致性并不容易。即使2PC、3PC阶段提交，也无法保证绝对的强一致性。我们也不能因为极小的不一致性概率，导致系统整体性能低下，或者扩展性受到影响，并且架构也变得极其复杂。因此，在2PC/3PC提交缺乏大规模应用的情况下，最终一致性是一个较好的方案，在业界得到了大量使

 RocketMQ自阿里开源以来，在Apache下的孵化还不错，现在很多互联网公司都在生产环境下使用。当然也是各大技术厂商的面试要点。技术架构  RocketMQ架构上主要分为四部分，如上图所示:Producer：消息发布的角色，支持分布式集群方式部署。Producer

 今天先来说说kafka吧，我看Hbase没什么人看，于是直接跳过，讲大家最喜欢的。一、Kafka架构图  在一套kafka架构中有多个Producer，多个Broker,多个Consumer，每个Producer可以对应多个Topic，每个Consumer只能对应一个

 在微服务架构的世界中，我们通过一系列服务构建应用。集合中的每项服务都符合以下标准：松散耦合可维护和可测试可以独立部署微服务架构中的每个服务都解决了应用中的业务问题，或至少支持一个。一个团队对应用中的一个或多个服务负责。微服务架构可以解锁许多好处。它们通常更容易构建和维护服务是围绕业务问题

 MQ(消息队列)在软件架构中是经常被使用的，特别是在分布式系统中也是使用频率很高的组件。以下从消息队列的使用场景、概念、常见问题及解决方案来详细讲解。一、消息队列使用场景1.1常见的使用场景系统解耦在分布式环境下，系统间的相互依赖，最终会会导致整个依赖关系混乱，特别在微服务环境下，会出现

 我们为什么需要消息总线?在消息总线上线前，马蜂窝大部分业务中的异步需求是通过Redis队列来实现。随着消息量增加，经常会出现消息积压、不同消息之间互相影响的问题。为解决这些问题，电商研发团队开始规划和设计消息总线。为什么会有消息总线，而不是让业务系统直接用PHP或者其他语言对接Rabbi

同程艺龙的机票、火车票、汽车票、酒店相关业务已经接入了RocketMQ，用于流量高峰时候的削峰，以减少后端的压力。同时，对常规的系统进行解耦，将一些同步处理改成异步处理，每天处理的数据达1500亿条。在近期的ApacheRocketMQMeetup上，同程艺龙机票事业部架构师查江，分享了同程艺龙的消