百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

Disruptor高性能缓存队列入门指导

toyiye 2024-06-27 00:38 27 浏览 0 评论

Disruptor是什么,怎么使用,网上有很多教材,但有些过于复杂,剖析了Disruptor的方方面面,实际上对应普通的开发人员,使用这个工具,只需要指导知道大概原理和使用方法,并不需要知道非常深入的原理。

有些文章则是写了错误的实例,或者只是摘取了项目的一段代码,实际上,要把这些代码转化成项目的实际代码,却发现困难重重。

这个文章主要是针对想提高性能,在项目组使用Disruptor的开发人员写的,会简单讲解它的一些原理,尽量把代码简单,但又包括项目使用中必须的方方面面。

——Disruptor的使用场景

一个字,就是快,经过测试,Disruptor的速度比LinkedBlockingQueue提高了七倍。所以,当你在使用LinkedBlockingQueue出现性能瓶颈的时候,你就可以考虑采用Disruptor的代替。

当然,Disruptor性能高并不是必然的,所以,是否使用还得经过测试。

Disruptor的最常用的场景就是“生产者-消费者”场景,对场景的就是“一个生产者、多个消费者”的场景,并且要求顺序处理。

举个例子,我们从MySQL的BigLog文件中顺序读取数据,然后写入到ElasticSearch(搜索引擎)中。在这种场景下,BigLog要求一个文件一个生产者,那个是一个生产者。而写入到ElasticSearch,则严格要求顺序,否则会出现问题,所以通常意义上的多消费者线程无法解决该问题,如果通过加锁,则性能大打折扣。

——一个生产者,多消费者例子

在贴出代码之前,这里简单讲一下代码的结构和说明。简单的图示如下,先有Producer来作为生产者,发送事件。由EventHandler作为消费者,处理事件。

这个实例代码很简单,就是由生产者发送一个字符串到Disruptor,然后消费者处理该事件,并把字符串打印处理。

下面是各个Java类的说明:

HelloEventProducer:生产者,负责传递一个字符串,并发布事件

HelloEventHandler:消费者,负责消费事件,并打印字符串

HelloEventFactory:事件工厂类,负责初始化一个事件

HelloEvent:表示一个事件

DisruptorMain:运行的主程序,负责将整个逻辑连接起来


  1. package com.disruptor;
  2. import java.util.concurrent.ExecutorService;
  3. import java.util.concurrent.Executors;
  4. import com.lmax.disruptor.EventFactory;
  5. import com.lmax.disruptor.EventHandler;
  6. import com.lmax.disruptor.RingBuffer;
  7. import com.lmax.disruptor.WaitStrategy;
  8. import com.lmax.disruptor.YieldingWaitStrategy;
  9. import com.lmax.disruptor.dsl.Disruptor;
  10. import com.lmax.disruptor.dsl.ProducerType;
  11. public class DisruptorMain {
  12. public static void main(String[] args){
  13. ExecutorService executor = Executors.newFixedThreadPool(3);
  14. // WaitStrategy blockingWaitStrategy = new BlockingWaitStrategy();
  15. // WaitStrategy sleepingWaitStrategy = new SleepingWaitStrategy();
  16. WaitStrategy yieldingWaitStrategy = new YieldingWaitStrategy();
  17. EventFactory<HelloEvent> eventFactory = new HelloEventFactory();
  18. int ringBufferSize = 1024 * 1024;
  19. Disruptor<HelloEvent> disruptor = new Disruptor<HelloEvent>(eventFactory,
  20. ringBufferSize, executor, ProducerType.SINGLE
  21. , yieldingWaitStrategy);
  22. EventHandler<HelloEvent> eventHandler = new HelloEventHandler();
  23. disruptor.handleEventsWith(eventHandler);
  24. disruptor.start();
  25. RingBuffer<HelloEvent> ringBuffer = disruptor.getRingBuffer();
  26. HelloEventProducer producer = new HelloEventProducer(ringBuffer);
  27. for(long l = 0; l<100; l++){
  28. producer.onData("黄育源:Hello World!!!:" + l);
  29. }
  30. }
  31. }
  32. package com.disruptor;
  33. public class HelloEvent {
  34. private String value;
  35. public String getValue() {
  36. return value;
  37. }
  38. public void setValue(String value) {
  39. this.value = value;
  40. }
  41. }
  42. package com.disruptor;
  43. import com.lmax.disruptor.EventFactory;
  44. public class HelloEventFactory implements EventFactory<HelloEvent>{
  45. @Override
  46. public HelloEvent newInstance() {
  47. return new HelloEvent();
  48. }
  49. }
  50. package com.disruptor;
  51. import com.lmax.disruptor.EventHandler;
  52. public class HelloEventHandler implements EventHandler<HelloEvent>{
  53. @Override
  54. public void onEvent(HelloEvent event, long sequence, boolean endOfBatch) throws Exception {
  55. System.out.println(event.getValue());
  56. }
  57. }
  58. package com.disruptor;
  59. import com.lmax.disruptor.RingBuffer;
  60. public class HelloEventProducer implements Runnable{
  61. private final RingBuffer<HelloEvent> ringBuffer;
  62. public HelloEventProducer(RingBuffer<HelloEvent> ringBuffer){
  63. this.ringBuffer = ringBuffer;
  64. }
  65. /**
  66. * onData用来发布事件,每调用一次就发布一次事件
  67. * 它的参数会用过事件传递给消费者
  68. */
  69. public void onData(String str){
  70. long sequence = ringBuffer.next();
  71. System.out.println(sequence);
  72. try{
  73. HelloEvent event = ringBuffer.get(sequence);
  74. event.setValue(str);
  75. }finally{
  76. ringBuffer.publish(sequence);
  77. }
  78. }
  79. @Override
  80. public void run() {
  81. for(long l = 0; l<100; l++){
  82. this.onData("黄育源:Hello World!!!:" + l);
  83. }
  84. }
  85. }

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码