Linux 下并发执行重复任务

现在有一些重复的任务,如下

rsync 10001.mp4 xx:10001.mp4
...
rsync 50001.mp4 xx:50001.mp4
...
rsync 90001.mp4 xx:90001.mp4

现在有一堆文件需要做转码再上传到 OSS,如果按顺序执行,那速度会非常慢,如果要拆分成多个文件再分别运行又会非常麻烦。

如果要自己写代码控制线程,又得写一些代码,最简单优雅的方式,就是使用 parallel

Centos 下安装过程非常简单,命令如下:

yum install -y epel-release
yum install -y parallel

并发执行方法如下:

parallel -j 10 :::: job.sh

发表评论