百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

Disruptor核心组件

toyiye 2024-05-25 20:11 14 浏览 0 评论


image.png

1.RingBuffer、Disruptor

RingBuffer: 基于数组的缓存实现,也是创建Sequencer与定义WaitStrategy的入口
Disruptor: 持有RingBuffer、消费者线程池Executor、消费者集合含ConsumerRepository等引用

2.Sequence、Sequencer、Sequence Barrier

2.1 Sequence

  • 通过顺序递增的序号来编号,管理进行交换的数据(事件);
  • 对数据(事件)的处理过程总是沿着序号逐个递增处理;
  • 一个Sequence用于跟踪标识某个特定的事件处理者(RingBuffer/Producer/Consumer)的处理进度,Producer有自己的Sequence,Consumer也有自己的Sequence,如果Producer和Consumer有多个,每个Producer和Consumer都有自己的Sequence;
  • Sequence可以看成是一个AtomicLong,用于标识进度,只不过其比AtomicLong更强大;
  • Sequence还有另外一个目的是防止不同Sequence之间CPU缓存伪共享(False Sharing)的问题;

2.2 Sequencer

  • Sequencer表示一个对象,其包含了Sequence;
  • Sequencer是Disruptor真正的核心;
  • 此接口有两个重要实现类
    com.lmax.disruptor.SingleProducerSequencer;
    com.lmax.disruptor.MultiProducerSequencer;
  • 主要实现生产者和消费者之间快速、正确地传递数据的并发算法;

2.2 Sequence Barrier

  • 用于保持对RingBuffer的Main Published Sequence (Producer)和Consumer之间的平衡的关系,或者说定义了Consumer要如何等着;
  • SequenceBarrier还定义了决定Consumer是否还有可处理的事件的逻辑;

3.WaitStrategy等待策略

  • 决定一个消费者如何等待生产者将Event置入Disruptor;
  • 其所有实现都是针对消费者线程的;

名称

措施

适用场景

BlockingWaitStrategy

加锁

CPU资源紧缺,吞吐量和延迟并不重要的场景

BusySpinWaitStrategy

自旋

通过不断重试,减少切换线程导致的系统调用,而降低延迟。推荐在线程绑定到固定的CPU的场景下使用

PhasedBackoffWaitStrategy

自旋 + yield + 自定义策略

CPU资源紧缺,吞吐量和延迟并不重要的场景

SleepingWaitStrategy

自旋 + yield + sleep

性能和CPU资源之间有很好的折中。延迟不均匀

TimeoutBlockingWaitStrategy

加锁,有超时限制

CPU资源紧缺,吞吐量和延迟并不重要的场景

YieldingWaitStrategy

自旋 + yield + 自旋

性能和CPU资源之间有很好的折中。延迟比较均匀

主要策略有:

  1. BlockingWaitStrategy
  • 最低效的策略,但其对CPU的消耗最小,并且在各种部署环境中能提供更加一致的性能表现;
  • 内部维护了一个重入锁ReentrantLock和Condition;
  1. SleepingWaitStrategy
  • 性能表现和BlockingWaitStrategy差不多,对CPU的消耗也类似,但其对生产者线程的影响最小,适合用于异步日志类似的场景;
  • 是一种无锁的方式;
  1. YieldingWaitStrategy
  • 性能最好,适合用于低延迟的系统;在要求极高性能且事件处理线程数小于CPU逻辑核心树的场景中,推荐使用此策略;例如,CPU开启超线程的特性;
  • 也是无锁的实现,只要是无锁的实现,signalAllWhenBlocking()都是空实现;

4.Event、EventProcessor、EventHandler

4.1 Event

从生产者到消费者过程中所处理的数据单元;
在Disruptor框架中没有类表示Event,因为它完全是由用户定义的,在Disruptor框架中是用泛型表示的;

4.2 EventProcessor

主要用于事件的循环,处理Disruptor中的Event,拥有消费者的Sequence;

  • 它有一个实现类是BatchEventProcessor,包含了event loop的有效实现,并且将回调一个EventHandler接口的实现对象;
  • 继承自java.lang.Runnable接口;
  • 是Disruptor中最核心的方法,实现了run()方法,不断的轮询,获取数据对象,把数据对象交给消费者处理,具体怎么交给消费者,利用了消费者的等待策略;
  • 其在run()方法中回调EventHandler的实现对象,所有的Consumer都实现了EventHandler接口;

4.3 EventHandler

由用户实现并且代表了Disruptor中的一个消费者的接口,也就是消费者逻辑都要写在其中;

5 WorkProcessor

在多生产者多消费者模式下,确保每个sequence只被一个processor消费,在同一个WorkPool中,确保多个WorkProcessor不会消费同样的sequence;

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码