百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

一个简单的Unix作业队列系统(一个简单的unix作业队列系统包含)

toyiye 2024-09-16 06:11 4 浏览 0 评论

更多互联网新鲜资讯、工作奇淫技巧关注原创【飞鱼在浪屿】(日更新)


Unix作业队列系统创建非常轻量级的作业队列系统,并且无需进行设置,维护,监督或任何长时间运行的过程。

nq应该可以在任何POSIX.1-2008兼容系统上运行。包括Linux,OpenBSD,FreeBSD,Mac OS X 10.3等。

预期的目的是临时对命令行进行排队。应用场景比如有,构建Makefile的多个目标,一次下载多个文件,以多种配置运行基准测试,或者只是作为nohup的替代品。


工作原理:

时间戳nq将强制按顺序执行作业。该顺序将在启动时获得。同步发生在文件系统级别。计时器分辨率为毫秒。不使用轮询。严格执行独占执行。

强制执行流程如下:

  • 每个作业都有一个flocked文件,格式如下 ,TIMESTAMP.PID
  • 仅在解锁所有先前的flock文件后,每个作业才开始
  • 为什么要使用flock?因为它锁定文件句柄,该文件句柄在exec与子进程(实际作业)之间共享,并且在文件关闭时(通常是在作业终止时)它将解锁。

使用排队得到新工作的锁,nq CMDLINE...。将输出作业ID(取消显示加上-q),并且从nq立即分离,在后台运行作业。STDOUT和STDERR被重定向到日志文件。

nq尽力(但不能保证)以确保当前正在运行的作业的日志文件设置了+ x位。因此,可以用来ls -F快速了解队列状态。

日志文件的“文件扩展名”实际上是PID,因此可以取消作业。在作业开始之前,它是的PID nq,因此也可以通过杀死它来取消排队的作业。

由于exec日志文件中的第一行,可以通过将其作为外壳命令文件执行来重新提交作业sh $jobid。

可以等待作业完成使用nq -w,可能会列出要等待的作业ID;默认是所有这些。同样,可以使用来测试是否有需要等待的作业-t。

默认情况下,作业ID是按目录的,但是可以设置$NQDIR环境变量,将其放置在其他位置。建议创建nq包装器设置$NQDIR以为不同目的提供不同的队列。

所有这些操作在产生的锁定文件数量上花费的时间在最坏情况下是数量的平方时间,因此应该定期清理它们。


使用示例

git clone https://github.com/leahneukirchen/nq

make可以构建目标clean,depends,all,生成nq和fq可执行文件,可以mv 到/usr/local/bin目录下。

使用make all来构建,make install安装(/usr/local默认)。也可以只将二进制文件复制到PATH。

make check如果安装Perl,则可以用来运行一个简单的测试套件。

make clean
make depends
make all

简单的下载队列,可从多个终端访问:

% mkdir -p /tmp/downloads //生成临时下载目录
% alias qget='NQDIR=/tmp/downloads nq wget' //别名,比较好记,qget为一个可排队的下载命令
% alias qwait='NQDIR=/tmp/downloads fq -q'
window1% qget http://mymirror/big1.iso //起一个窗口1,执行qget下载任务
window2% qget http://mymirror/big2.iso //起窗口2
window3% qget http://mymirror/big3.iso //起窗口3
% qwait //在原来窗口观察任务在队列的顺序执行
... wait for all downloads to finish ...

作为nohup替换:

% ssh remote
remote% nq ./run-benchmark
,14f6f3034f8.17035
remote% ^D
% ssh remote
remote% fq
... see output, fq exits when job finished ...

环境条件

nq 仅在以下情况下才能正常工作:

  • $NQDIR是可写的。
  • flock在$NQDIR目录 可以工作.。
  • gettimeofday表现单调(使用CLOCK_MONOTONIC会产生混乱的文件名)。由于竞争,其他工作顺序可能会混乱,并且多个任务可能一次运行。
  • 没有其他的程序把,* 设置到环境变量$NQDIR。

nq助手

提供了两个帮助程序:

fq输出当前正在运行的作业的日志,在作业完成时退出。如果没有作业正在运行,则显示最后一个作业的输出。 fq -a显示所有作业的输出,每个作业fq -q仅显示一行。 在Linux上fq使用inotify,而后退回轮询以进行大小更改。(这fq.sh是一个类似于shell脚本调用的类似工具tail,但功能不够强大)。

tq包装nq并fq在新的tmux或屏幕窗口中显示输出。

(一个纯粹的壳实现nq提供为nq.sh,它需要 flock从UTIL-Linux和只有1秒的计时器分辨率。锁文件nq和nq.sh不应该混。)


相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码