百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

Disruptor和LinkedBlockingQueue性能对比以及分析

toyiye 2024-05-25 20:11 18 浏览 0 评论

Disruptor和LinkedBlockingQueue简介

Disruptor是Java实现的用于线程间通信的消息组件,其核心是一个Lock-free(无锁)的Ringbuffer;LinkedBlockingQueue是java.util.concurrent包中提供的一个阻塞队列;因为二者之间有很多相同的地方,所以在此进行一次性能的对比。

压力测试

1.针对LinkedBlockingQueue的压测类

public class LinkedBlockingQueueTest {

 public static int eventNum = 5000000;

 public static void main(String[] args) {
 final BlockingQueue queue = new LinkedBlockingQueue();
 final long startTime = System.currentTimeMillis();
 new Thread(new Runnable() {

 @Override
 public void run() {
 int i = 0;
 while (i < eventNum) {
 LogEvent logEvent = new LogEvent(i, "c" + i);
 try {
 queue.put(logEvent);
 } catch (InterruptedException e) {
 e.printStackTrace();
 }
 i++;
 }
 }
 }).start();

 new Thread(new Runnable() {

 @Override
 public void run() {
 int k = 0;
 while (k < eventNum) {
 try {
 queue.take();
 } catch (InterruptedException e) {
 e.printStackTrace();
 }
 k++;
 }
 long endTime = System.currentTimeMillis();
 System.out
 .println("costTime = " + (endTime - startTime) + "ms");
 }
 }).start();
 }
}

LinkedBlockingQueueTest 实现了一个简单的生产者-消费者模式,一条线程负责插入,另外一条线程负责读取。

public class LogEvent implements Serializable {

 private static final long serialVersionUID = 1L;
 private long logId;
 private String content;
 
 public LogEvent(){
 
 }
 
 public LogEvent(long logId, String content){
 this.logId = logId;
 this.content = content;
 }

 public long getLogId() {
 return logId;
 }

 public void setLogId(long logId) {
 this.logId = logId;
 }

 public String getContent() {
 return content;
 }

 public void setContent(String content) {
 this.content = content;
 }
}

LogEvent实体类,Disruptor的压测类中也同样会用到

2.下面是针对Disruptor的压测类,需要引入Disruptor的jar包

 com.lmax
 disruptor
 3.3.6

Disruptor的压测类

public class DisruptorTest {

 public static void main(String[] args) {
 LogEventFactory factory = new LogEventFactory();
 int ringBufferSize = 65536;
 final Disruptor disruptor = new Disruptor(factory,
 ringBufferSize, DaemonThreadFactory.INSTANCE,
 ProducerType.SINGLE, new BusySpinWaitStrategy());

 LogEventConsumer consumer = new LogEventConsumer();
 disruptor.handleEventsWith(consumer);
 disruptor.start();
 new Thread(new Runnable() {

 @Override
 public void run() {
 RingBuffer ringBuffer = disruptor.getRingBuffer();
 for (int i = 0; i < LinkedBlockingQueueTest.eventNum; i++) {
 long seq = ringBuffer.next();
 LogEvent logEvent = ringBuffer.get(seq);
 logEvent.setLogId(i);
 logEvent.setContent("c" + i);
 ringBuffer.publish(seq);
 }
 }
 }).start();
 }
}

同样为了保证测试数据的准确性,Disruptor使用了ProducerType.SINGLE(单生产者)模式,同时也只使用了一个LogEventConsumer(消费者)

public class LogEventConsumer implements EventHandler {

 private long startTime;
 private int i;

 public LogEventConsumer() {
 this.startTime = System.currentTimeMillis();
 }

 public void onEvent(LogEvent logEvent, long seq, boolean bool)
 throws Exception {
 i++;
 if (i == LinkedBlockingQueueTest.eventNum) {
 long endTime = System.currentTimeMillis();
 System.out.println(" costTime = " + (endTime - startTime) + "ms");
 }
 }

}

LogEventConsumer 中负责记录开始时间和结束时间以及接受消息的数量,方便统计时间;

压测结果统计

测试环境:
操作系统:win7 32位
CPU:Intel Core i3-2350M 2.3GHz 4核
内存:3G
JDK:1.6

分别运行以上两个实例,运行多次取平均值,结果如下:

结果显示LinkedBlockingQueue花费时间是Disruptor的1.65倍,测试环境是本人的笔记本电脑,配置有点低所有差距并不是特别明显;同样在公司台式机(win7 64位 – Intel Core i5 4核 – 4g内存 – jdk1.7)显示的结果是3-4倍左右;官方提供的数据是在5倍左右:https://github.com/LMAX-Exchange/disruptor/wiki/Performance-Results

性能差距原因分析

1.lock和cas的差距
LinkedBlockingQueue中使用了锁,如下所示:

/** Lock held by take, poll, etc */
private final ReentrantLock takeLock = new ReentrantLock();

/** Lock held by put, offer, etc */
private final ReentrantLock putLock = new ReentrantLock();

而Disruptor中提供了cas的无锁支持,提供了BusySpinWaitStrategy策略的支持

2.避免伪共享
缓存系统中是以缓存行(cache line)为单位存储的。缓存行是2的整数幂个连续字节,一般为32-256个字节。最常见的缓存行大小是64个字节。当多线程修改互相独立的变量时,如果这些变量共享同一个缓存行,就会无意中影响彼此的性能,这就是伪共享。

看一个实例:

public class FalseSharing implements Runnable {
 public final static int NUM_THREADS = 4;
 public final static long ITERATIONS = 50000000;
 private final int arrayIndex;

 private static VolatileLong[] longs = new VolatileLong[NUM_THREADS];
 static {
 for (int i = 0; i < longs.length; i++) {
 longs[i] = new VolatileLong();
 }
 }

 public FalseSharing(final int arrayIndex) {
 this.arrayIndex = arrayIndex;
 }

 public static void main(final String[] args) throws Exception {
 final long start = System.currentTimeMillis();
 runTest();
 System.out.println("costTime = " + (System.currentTimeMillis() - start) + "ms");
 }

 private static void runTest() throws InterruptedException {
 Thread[] threads = new Thread[NUM_THREADS];

 for (int i = 0; i < threads.length; i++) {
 threads[i] = new Thread(new FalseSharing(i));
 }

 for (Thread t : threads) {
 t.start();
 }

 for (Thread t : threads) {
 t.join();
 }
 }

 @Override
 public void run() {
 long i = ITERATIONS + 1;
 while (0 != --i) {
 longs[arrayIndex].value = i;
 }
 }

 public final static class VolatileLong {
 public volatile long value = 0L;
 public long p1, p2, p3, p4, p5, p6;
 }
}

分别注释掉VolatileLong 中的public long p1, p2, p3, p4, p5, p6;和不注释掉进行对比,发现不注释掉的性能居然是注释掉性能的4倍,原因就是缓存行大小是64个字节,不注释掉说明一个VolatileLong 对象刚好占用一个缓存行;注释掉的话一个缓存行会被多个变量占用,就会无意中影响彼此的性能。

查看Disruptor的源码会发现很多地方避免了伪共享,比如:

abstract class SingleProducerSequencerPad extends AbstractSequencer
{
 protected long p1, p2, p3, p4, p5, p6, p7;

 public SingleProducerSequencerPad(int bufferSize, WaitStrategy waitStrategy)
 {
 super(bufferSize, waitStrategy);
 }
}

3.Ringbuffer的使用
Disruptor选择使用Ringbuffer来构造lock-free队列,什么事Ringbuffer,可以参考wiki:https://zh.wikipedia.org/wiki/%E7%92%B0%E5%BD%A2%E7%B7%A9%E8%A1%9D%E5%8D%80
数组是预分配的,这样避免了Java GC带来的运行开销。生产者在生产消息或产生事件的时候对Ringbuffer元素中的属性进行更新,而不是替换Ringbuffer中的元素。

占时先整理这三条,肯定还有其他原因;

总结

Disruptor的高性能早就被用在了一些第三方库中,比如log4j2,让log4j2在性能上有质的飞越,之前对三种主流日志性能对比:Log4j1,Logback以及Log4j2性能测试对比

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码