文档章节

常用shell脚本

蓝狐乐队
 蓝狐乐队
发布于 2015/04/09 20:52
字数 3459
阅读 303
收藏 36

3 月,跳不动了?>>>

1、脚本之间传递参数 "1.sh"的脚本,接受参数。如下,如果有一个参数则赋值个sourceFile这个变量,否则用默认值。 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. LANG=en_US.UTF-8   

  4. #get parameters   

  5. sourceFile="/data/log/abc"   

  6. if [ $# == 1 ]   

  7.   then sourceFile=$1   

  8.   else echo "$1 required!"   

  9. fi   

  10. echo $sourceFile   


备注:这里$#是传递参数的个数,$1 是具体的参数。 

关于if else: 
如果两条命令写在同一行则需要用";"号隔开,一行只写一条命令就不需要写";"号了。和[命令一样,要注意命令和各参数之间必须用空格隔开。if命令的参数组成一条子命令,如果该子命令的Exit Status为0(表示真),则执行then后面的子命令,如果Exit Status非0(表示假),则执行elif、else或者fi后面的子命令。if后面的子命令通常是测试命令,但也可以是其它命令。Shell脚本没有{}括号,所以用fi表示if语句块的结束。 

"2.sh"的脚本,传递参数 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. sh 1.sh 参数1 参数2 ...   


备注:多个参数之间用空格符隔开。 

2、文件内容行之间的排序 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. sort -t= +4 文件 ”  


备注:“=”表示按=号进行切割(注意:只能是单个字符),“+4”表示按第五个项进行排序。 
更多参数: 
-r 表示降序排序 
-n 表示按数字大小排序 
-k 表示根据那个字段排序,4.1,表示第4列第一个字符开始 ,5表示到第5个字段为结束 
-t 后面跟分隔符,缺省是空格 
例如:sort -r -n -k4.1,5 


3、判断目录是否存在,没有则新建一个目录 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. dayDir="/home/logs/"   

  4. if [ ! -d "$dayDir" ]   

  5.   then mkdir "$dayDir" fi   



4、判断文件是否存在,有则删除 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. if [ -f "$FAIL_FILE" ]  

  4.   then   

  5.     rm -rf "$FAIL_FILE"   

  6.     echo `date`" FILE IS EXISTS: "$FAIL_FILE   

  7. fi  



5、找出文件中的相关行 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. cat 文件 |grep -a "关键词" >> result.log   


备注:把文件中包含关键词的行输出到result.log中。 

6、文件切分 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. awk -F'' '{print $1}' 文件   


备注:“”表示分隔符,“print”表示换行输出(printf不换行),“$1”表示取第一项。“文件”表示要切分的文件 

7、文件内容排重 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. awk -F',' '!a[$1]++' test.txt   


备注:“,”表示按“,”号分隔;“$1”表示按第一项排重;“test.txt”表示要处理的文件。 

8、grep多个关键字 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. cat $file |grep -a "aop=keyword1\|keyword2"   


备注:多个关键字用“\|”分隔。 

9、时间格式化,中间有空格的需要加引号 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. TODAY=`date -d today '+%Y-%m-%d %H:%M:%S'`   



10、多个文件合并 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. cat $FILE1 $FILE2 |grep -a "关键字" > $MERGE_FILE   



11、运行java项目 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. LANG=en_US.UTF-8   

  4. export LANG=$LANG   

  5. /usr/java/latest/bin/java -cp . -Djava.ext.dirs=../lib 包.类(含main方法) -a 参数1 -b 参数2   


备注:“/usr/java/latest/bin/java”表示Java环境,“-cp”表示classpath路径,“.”表示当前目录,“-Djava.ext.dirs”表示jar文件所在目录,“-a”表示参数名称,“参数1”表示参数值。 

12、根据关键字统计行数,赋值给变量 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. COUNT=$(cat $FILE |grep -a "关键字" |wc -l)   


备注:“$FILE”表示要统计的文件,“关键字”要包含的关键字,“wc”统计文件(-l行数,-w字数,-c字节数) 
wc命令的功能为统计指定文件中的字节数、字数、行数, 并将统计结果显示输出。 
语法:wc [选项] 文件… 
说明:该命令统计给定文件中的字节数、字数、行数。如果没有给出文件名,则从标准输入读取。wc同时也给出所有指定文件的总统计数。字是由空格字符区分开的最大字符串。 
该命令各选项含义如下: 
-c 统计字节数。 
-l 统计行数。 
-w 统计字数。 
这些选项可以组合使用。 输出列的顺序和数目不受选项的顺序和数目的影响。总是按下述顺序显示并且每项最多一列。 行数、字数、字节数、文件名 如果命令行中没有文件名,则输出中不出现文件名。 例如: $wc -lcw file1 file2 4 33 file1 7 52 file2 11 11 85 total 省略任选项-lcw,wc命令的执行结果与上面一样。 

13、基本算术计算的方法(5种) 
a.使用awk计算 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. ##示例1:1012为两个参数分别对应$1和$2   

  4. echo 10 12 |awk '{printf("%d\n", $1+$2)}'   

  5.   

  6. ##示例2:a和b作为两个变量传入   

  7. a=10   

  8. b=12   

  9. echo |awk '{printf("%d\n", '$a'+'$b')}'   

  10.   

  11. ##示例3:COUNT_FAIL除以COUNT_INIT 保留4为小数,结果赋值给FAIL_INIT,[b]结果四舍五入[/b]。   

  12. COUNT_FAIL=10   

  13. COUNT_INIT=20 FAIL_INIT=`awk 'BEGIN{printf "%.4f\n",'$COUNT_FAIL'/'$COUNT_INIT'}'`   

  14. echo $FAIL_INIT   


备注:示例2和示例3两种写法除数和被除数都要加“'”号(单引号),否则会报错“division by zero attempted”,另外“BEGIN”也很重要哦。 

b.使用bc命令 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. ##示例1:输出 1+2 的运算结果   

  4. echo 1+2 |bc   

  5.   

  6. ##示例2:COUNT_FAIL除以COUNT_INIT 保留2为小数,结果赋值给FAIL_INIT,[b]结果不四舍五入[/b]。   

  7. FAIL_INIT=`echo "scale=2; $COUNT_FAIL/$COUNT_INIT" | bc`   



c.使用expr命令 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. count=10   

  4. count=`expr $count + 12`   

  5. echo $count   



d.使用let命令 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. ##示例1   

  4. let num1=10*20   

  5. echo $num1   

  6.   

  7. ##示例2   

  8. let "num2=10*20"   

  9. echo $num2   



e.加双括号 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. ##示例1:双小括号   

  4. a=12   

  5. b=20   

  6. echo $((a*b))   

  7. echo $(($a*$b))   

  8.   

  9. ##示例2:中括号   

  10. c=10   

  11. echo $[c*20]   

  12. echo $[$c*20]   


备注:此种写法括号里面的变量可以不用加“$”符号,但是括号外面的“$”符号一定要加上。 

14、运用tee命令将日志同时输出到多个文件 
tee用法功能说明:读取标准输入的数据,并将其内容输出成文件。 
语 法:tee [-ai][--help][--version][文件...] 
补充说明:tee指令会从标准输入设备读取数据,将其内容输出到标准输出设备,同时保存成文件。 
参 数: 
-a或--append 附加到既有文件的后面,而非覆盖它. 
-i或--ignore-interrupts 忽略中断信号。 
-help 在线帮助。 
-version 显示版本信息。 
例1:日志在记入log1.txt和log2.txt的同时也在控制台输出 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. echo "hello jack!" |tee -a log1.txt log2.txt   


备注:“-a”追加,否则清空重写。 

15、针对某个域进行分组统计 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. cat $FILE |awk -F"" '{list[$11]++;}END{for (val in list) print val, list[val];}' |tee -a $RESULT_FILE   


备注:“$FILE”要处理的文件,用awk命令按“”进行切分,“$11”表示第11域(1,3,5,...),“var”表示分组名称,“list[var]”表示每组的数量。 

16、查询控制命令的历史记录 
  Shell代码

  1.    

  2. #!/bin/bash history |grep "rm"   


备注:查询包含“rm”字符的命令记录。 

17、循环删除所有文件 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. for i in `ls`; do rm $i; done   


备注:在文件非常多的情况下,rm * 命令不能删除所有文件。所以需要遍历删除每一个文件。 

18、遍历文件夹并按第二个域对文件内容排序。 
  Shell代码

  1.    

  2. #!/bin/bash   

  3. #用等号分隔,按第二个域排序   

  4. function sortfile(){   

  5.    echo 'Processing: '$1 sort -t= +1 $1 > $1'_temp'   

  6.    mv $1'_temp' $1   

  7. }   

  8. #遍历文件夹,调用排序函数   

  9. function ergodic(){   

  10.   for file in `ls $1`   

  11.   do   

  12.     if [ -d $1"/"$file ]   

  13.       then  

  14.         ergodic $1"/"$file   

  15.       else   

  16.         f=$1"/"$file   

  17.         #调用排序函数   

  18.          sortfile $f   

  19.      fi   

  20.   done  

  21. }   

  22. #以参数形式运行程序   

  23. if [ $# == 1 ];   

  24.   then   

  25.     echo "parameter: "$1;   

  26.     ergodic $1   

  27.   else   

  28.     echo "a file directory required!"   

  29. fi   



19、查看文件夹下所有文件数目和所有文件夹数目 
  Shell代码

  1. #!/bin/bash   

  2. #查看当前文件夹下所有文件数目   

  3. find . -type f |wc -l   

  4.   

  5. #查看当前文件夹下所有文件夹数目   

  6. find . -type d |wc -l   


备注:“.”表示当前目录,可以换成其他路径。 

20、shell与java正则区别 
  Java代码

  1. String regex = "2010-11-08.+"   

  2. //或者 regex = "2010-11-08.*"   


备注:JAVA中匹配以“2010-11-08"开头的字符串。 
  Shell代码

  1.    

  2. regex = "2010-11-08*"   


备注:SHELL中匹配以“2010-11-08”开头的字符串。 
“.*”或“.+”在java中表示任意多个字符串,如果要匹配“.”号,需要加转义“\”。 “*”在shell表示任意多个字符,加“.”或“+”号都会错误。 

21、编码转换命令 
  Shell代码

  1. iconv -f gb2312 -t utf-8 a.log > b.log  


备注:表示把a.log文件从gb2312编码转成utf-8的编码,并把文件写入b.log 

22、批量替换多个文件中的字符串 
  Shell代码

  1. sed -i "s/<原始串>/<新串>/g" `grep <原始串> -rl <目标文件或目录>`  


备注: 
-i 表示inplace edit,就地修改文件 
-r 表示搜索子目录 
-l 表示输出匹配的文件名 

23、常用MySQL语句 
//查询mysql变量(timeout) 
show variables like '%timeout' 
//查询缓存变量 
show status like "Qcache%" 
//查询进程列表 
show PROCESSLIST 

24、清空memcache数据 
telnet 10.27.5.71 11211 
flush_all 
quit //退出telnet 

25、监控Tomcat并启动 
  Shell代码

  1. #!/bin/sh  

  2.   

  3. export _JAVA_SR_SIGNUM=12  

  4. export JAVA_HOME=/usr/java/jdk1.6.0_11  

  5. export CATALINA_BASE=/home/co_newest_family/tomcat  

  6. export CATALINA_HOME=/usr/local/apache-tomcat-6.0.18  

  7. export LD_LIBRARY_PATH=:/usr/local/lib/:/usr/local/apr/lib/:/usr/local/apr/lib/  

  8. export CATALINA_OPTS="-server -Xms1024m -Xmx2048m -XX:PermSize=128m -XX:MaxPermSize=128m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9158 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dfile.encoding=UTF8 -Dmeganotes.home=/home/co_newest_family"  

  9. export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin  

  10.   

  11. date=`date "+%H:%M:%S"`  

  12. message="$date|check_tomcat(81_co_newest_family)_shutdown_and_restart_it."  

  13. request_url="http://10.27.5.81:9091/index.jsp"  

  14.   

  15. if ! wget -t1 -T2 $request_url &> /dev/null;then  

  16.    #pid=`ps aux | grep "\-Dcms4.home\=\/home\/co_newest_family\/"| awk '{print $2}'`          

  17.    #kill -9 $pid  

  18.    ps x|grep 'tomcat'|grep -v 'grep'|grep -v 'sh'|awk '{print $1}'|xargs kill -9  

  19.    $CATALINA_HOME/bin/startup.sh  

  20.    wget -t1 -T2 http://10.27.5.112:8880/send.jsp?msg=$message &> /dev/null;  

  21.    echo "$date check tomcat shutdown and restart it." >> logs/check.log  

  22. else  

  23.    echo "$date check tomcat ok." >> logs/check.log  

  24. fi  

  25.   

  26. rm -f index.jsp*  

  27. rm -f send.jsp?msg=*  


备注:定时监控tomcat,发现挂掉,立刻重启!并发送短信和邮件报告~ 
-t1 表示只请求一次 
-T2 表示2秒超时 

26、linux查找文件的一些方法 
1) 按文件名查找 
#在/opt目录及其子目录下查找包含文件名是以zhjedu开头的文件 
find /opt -name "zhjedu*"   

2) 按时间查找 
#在/opt目录及其子目录下查找最近1个小时修改的文件 
find /opt -mtime -1 
#在/opt目录及其子目录下查找1个小时以前修改的文件 
find /opt -mtime +1 

3) 按类型查找 
#在/opt目录及其子目录下查找目录及其子目录 
find /opt -type d 
#在/opt目录及其子目录下查找所有的普通文件 
find /opt -type f 

4) 按大小查找 
#在/opt目录及其子目录下查找文件大于10M的文件 
find /opt -size +10000k 

27、curl命令的用法 
参见1:http://blog.sina.com.cn/s/blog_62b832910100tyfi.html 
参见2:http://javag.iteye.com/blog/499113 

28、split切割大文件 
  Shell代码

  1. split -l 10000 log1_6.log.2012-03-21 tt.txt  


备注:将log1_6.log.2012-03-21文件切割成10000行一个的以tt.txt开头的N多个文件 
-l 表示按行切割 
tt.txt 表示切割后的零碎文件的前缀 

29、循环读取行 
读取文件每行并输出 
方法一: 
  Shell代码

  1. #!/bin/sh  

  2. while read line  

  3. do  

  4.       echo $line      

  5. done < filename  


方法二: 
  Shell代码

  1. #!/bin/sh  

  2. cat filename | while read line  

  3. do  

  4.     echo $line  

  5. done  



30、删除数量比较多的文件 
  Shell代码

  1. ls | xargs -n 20 rm -rf  


ls当然是输出所有的文件名(用空格分割) 
xargs就是将ls的输出,每20个为一组(以空格为分隔符),作为rm -rf的参数 
也就是说将所有文件名20个为一组,由rm -rf删除,这样就不会超过命令行的长度了 

31、for循环总结 
a. for((i=1;i<=10;i++));do echo $(expr $i \* 4);done 
b. 在shell中常用的是 for i in $(seq 10) 
c. for i in `ls` 
d. for i in ${arr[@]}   
e. for i in $* ; do 
f. for File in /proc/sys/net/ipv4/conf/*/accept_redirects; do 
g. for i in f1 f2 f3 ;do 
h. for i in *.txt 
i. for i in $(ls *.txt) 
  for in语句与` `和$( )合用,利用` `或$( )的将多行合为一行的缺陷,实际是合为一个字符串数组 
  for num in $(seq 1 100) 
j. LIST="rootfs usr data data2" 
  for d in $LIST; do 
  用for in语句自动对字符串按空格遍历的特性,对多个目录遍历 
k. for i in {1..10} 
l. for i in stringchar {1..10} 
m. awk 'BEGIN{for(i=1; i<=10; i++) print i}' 

注意:AWK中的for循环写法和C语言一样的 
参考:http://hi.baidu.com/plp_cm/blog/item/d828d1881b05e2faf11f3607.html 

32、格式转换 
dos2unix, unix2dos 用来实现 DOS <=> UNIX text file 转换 
  Shell代码

  1. unix2dos target.$date.txt  

  2. dos2unix target.$date.txt  



33、根据起止日期打印期间的日期 
  Shell代码

  1. #!/bin/sh  

  2. #riqizizeng  

  3. datebeg=$1  

  4. dateend=$2  

  5. #read datebeg  

  6. #read dateend  

  7. beg_s=`date -d "$datebeg" +%s`  

  8. end_s=`date -d "$dateend" +%s`  

  9. while [ "$beg_s" -le "$end_s" ]  

  10. do  

  11. day=`date -d @$beg_s +"%Y-%m-%d"`;//本次循环的日期  

  12. beg_s=$((beg_s+86400))  

  13. done  



34、用awk来对比两个文件 
要求:输出a.txt中包含b.txt的行 
命令: 
  Shell代码

  1. awk 'NR==FNR{a[substr($2,3)]=$0;next}{if($0 in a)print a[$0]}' a.txt b.txt > c.txt  


备注:awk参数用法:http://bbs.chinaunix.net/thread-691456-1-1.htmlhttp://bbs.chinaunix.net/thread-1797847-1-1.html 
substr($2,3):表示截取a.txt第二列从第三个字符开始的所有字符。 
if($0 in a):如果b.txt的一行跟a.txt第二列截取字符的相等。 

a.txt(数据源1) 
---------------- 
12 x=abc 
14 x=ccc 
15 x=acd 

b.txt(数据源2) 
---------------- 
abc 
ccc 
efg 

c.txt(结果) 
---------------- 
12 x=abc 
14 x=ccc 

35、在root用户下查看端口被哪个用户占用 
  Shell代码

  1. lsof -i:8091  



36、查看一个关键字的前后N行 
  Shell代码

  1. cat tomcat/debuglog/debug.log.2012-07-05-21  |grep -B 5 -A 25 java.net.SocketTimeoutException  



37、根据修改时间判定文件数目(适用于大数目文件夹哦) 
  Shell代码

  1. ll |awk '{print $6$7$8}' |grep Aug212012 |wc -l   


备注:$6表示月份,$7表示日期(最近几天只显示时间),$8表示年份。 
如上命令表示:2012-08-21日产生的文件数目


本文转载自:

蓝狐乐队
粉丝 107
博文 326
码字总数 95508
作品 0
昌平
程序员
私信 提问
加载中

评论(0)

Shell编程基础 shell的结构、执行及变量

12月27日任务 20.1 shell脚本介绍 20.2 shell脚本结构和执行 20.3 date命令用法 20.4 shell脚本中的变量 shell脚本介绍 shell是一种脚本语言,是一名运维工程师所必需掌握的最基本的能力。通...

robertt15
2018/12/27
71
0
SHELL调试方法

如何调试Shell脚本 1) 检查语法错误: 一般来说我们可以通过修改shell脚本的源代码,令其输出相关的调试信息来定位错误,那有没有不修改源代码来调试shell脚本的方法呢?答案就是使用shell的...

xiaofengge315
2014/05/29
0
0
Linux的Shell脚本加密

Linux的Shell脚本加密 如需转载请标明出处:http://blog.csdn.net/itas109 QQ技术交流群:129518033 相关问题: 1.linux脚本加密 2.脚本二进制化 3.同架构跨操作系统二进制脚本 相关文章: ...

itas109
昨天
0
0
Shell脚本基础1—认识Shell

什么是Shell shell是一个很多命令的集合,一个内核。shell脚本就是通过一些相关shell命令的组合来达到完成一个任务的文件,文件一般是以,sh结尾。查看当前系统支持的shell 使用“Ctri+l”快捷...

小八路2222
2019/03/22
0
0
linux基础-总结题 (每日更新)

1,如何找出/usr/local 下面所有shell脚本文件,并设置执行权限? 解答: chmod + x 2,如何通过端口查找出进程所在目录? 解答: ss -lntup|grep 端口号 3,常用的磁盘raid有哪些?描述下原理...

邱月涛
2017/07/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

为什么只能在头文件中实现模板? - Why can templates only be implemented in the header file?

问题: Quote from The C++ standard library: a tutorial and handbook : 引用来自C ++标准库:教程和手册 : The only portable way of using templates at the moment is to implement t......

javail
今天
19
0
Gradle 6 针对已有的构建如何创建一个构建扫描

有关构建扫描的定义为: 构建扫描(build scan)是一个中心化并且可以共享的构建记录。这个构建记录通常能够告诉在构建中发生了什么并且为什么会发生。 通过应用构建扫描插件到你的项目中,你...

honeymoose
今天
17
0
C语言动态内存分配:(一)malloc/free的实现及malloc实际分配/释放的内存

一、malloc/free概述 malloc是在C语言中用于在程序运行时在堆中进行动态内存分配的库函数。free是进行内存释放的库函数。 1、函数原型 #include <stdlib.h> void *malloc( size_t size ); v...

shzwork
今天
17
0
什么是JavaBean? - What is a JavaBean exactly?

问题: I understood, I think, that a "Bean" is a Java class with properties and getters/setters. 我认为,“ Bean”是具有属性和getter / setter的Java类。 As much as I understand,......

技术盛宴
今天
27
0
深圳援鄂最后一批工作人员归来,88万元关爱金发放至85人

中国公益在线3月31日深圳讯 深圳援鄂最后一批工作人员归来......深圳市民政局、深圳市卫健委和深圳市慈善会发起了“深爱战疫天使基金”项目,联合龙华区慈善会和 永贤慈善基金会,进行第二次...

传承天下融媒体中心
今天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部