slurm作业提交系统常用命令

2019/03/24 18:03
阅读数 184

写下自己的关于slurm感悟一二

与各人pc不同,slurm的基本架构是,一个中专节点,之后有很多局域网ip对应不同的计算节点,在中专节点敲命令,命令中可以指定需要用到哪些计算节点

1. 查看有哪些分区 sinfo命令

2. 指定节点跑程序srun,比如这里我有一个run.py的文件,是print(1)

slurm最基本的命令是srun,比如上面一行是指定-p分区,-w节点名称运行一个run.py的文件,当然还有更高级的,指定gpu的数量和指定进程的数量

比如上面的命令,--gres=gpu:8表示每个节点上用几个gpu,-n表示有多少个进程,一般多线程的时候,用到多卡的时候会这么操作

3. 查看自己任务的run的情况,squeue -u +用户

比如上图,我运行了ipython命令,然后我用squeue -u +我的用户名,查看了一下我的任务占据的节点的名称,分区jobid等等,这个命令的主要作用还是有时候机器用完的时候,排队用机器,看看排队情况,或者是不指定节点名称的时候(刚刚我们说的-w指定节点名称,实际上也可以不指定,这个时候slurm系统自动分配),看看节点名称是多少,方便后续操作

4. 查看gpu使用情况

swatch +节点名称+nv

因为放到了cuda里面,确实占用一定的显存

查看cpu:swatch+节点名称+top

查看内存:swatch+节点名称+free

查看内存或者是gpu的使用的时候,可以使多个节点一起看,中间用逗号隔开即可

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部