一些Shell常用的功能写法整理

# 一些Shell常用的功能写法整理

# 设置抛出脚本错误

set -e

# 注释

“# ”开头的就是注释，被编译器忽略

单行注释： #

多行注释： :<<EOF … EOF 或者 :<<! … ! （:<< 标识多行注释开始，并指定一个标识符作为开始结束的标志）

1
2
3
4
5

# 变量

变量类型

运行shell时，会同时存在三种变量：

局部变量：局部变量在脚本或命令中定义，仅在当前shell实例中有效，其他shell启动的程序不能访问局部变量。

环境变量：所有的程序，包括shell启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。

shell变量：shell变量是由shell程序设置的特殊变量。shell变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了shell的正常运行

变量操作

创建普通变量： name=“test” （=两边不可有空格）

创建只可函数体中使用的局部变量： local name=“test” （使用local修饰的变量在函数体外无法访问，并且local只能在函数体内使用）

使用变量： echo $name 或者 echo ${name} （推荐使用大括号版）

变量重新赋值： name=“new_test” （将原值覆盖）

只读变量： name=“only_read” -> readonly name （使用readonly标识后的变量，不可被修改）

删除变量： unset name; （删除之后不可访问，删除不掉只读变量）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# 字符串变量

1）单引号

单引号变量var='test' ，只能原样输出，变量无效

单引号中不能出现一个单独的单引号，转义也不可以

2）双引号

双引号变量var="my name is ${name}"，变量有效

可出现转义符

3）拼接字符串

中间无任何+，之类的字符

name=“this is”" my name"; name=“this is my name”; name=“this” is “my name” 等效

name=‘this is'' my nam'; name=‘this is my name'; name=‘this' is ‘my name' 等效

4）获取字符串长度

在${}中使用“#”获取长度

name=“test”;

echo ${#name}; # 输出为4

5）提取子字符串

1:4 从第2个开始 往后截取4个字符

::4 从第一个字符开始 往后截取4个字符

name=“this is my name”;

echo ${name:1:4} #输出 is i

echo ${name::4} #输出 this

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

# 数组

bash只支持一维数组，不支持多维数组

定义数组：array_name=(li wang xiang zhang) （小括号做边界、使用空格分离）

单独定义数组的元素： array_para[0]=“w”; array_para[3]=“s” （定义时下标不连续也可以）

赋值数组元素：array_name[0]=“zhao”;

获取数组元素：

array_name[0]=“li”

array_name[3]=“zhang”

echo ${array_name[0]} # 输出"li"

echo ${array_name[1]} # 输出" "

echo ${array_name[3]} # 输出"zhang"

echo ${array_name[@]} # 输出"li zhang" 输出数组所有元素，没有元素的下标省略

取得元素个数：${#array_name[@]} 或者 ${#array_name[*]}

取得单个元素长度：${#array_name[1]}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 参数传递

获取参数值：

$0 ： 固定，代表执行的文件名

$1 ： 代表传入的第1个参数

$n ： 代表传入的第n个参数

$#：参数个数

$*： 以一个单字符串显示所有向脚本传递的参数。如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数

$@：与$*相同，但是使用时加引号，并在引号中返回每个参数。

$$：脚本运行的当前进程号

$！：后台运行的最后一个进程的ID

$?： 显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误。

$* 与 $@ 区别

相同点：都是引用所有参数。

不同点：只有在双引号中体现出来。假设在脚本运行时写了三个参数 1、2、3，，则 " * " 等价于 “1 2 3”（传递了一个参数），而 “@” 等价于 “1” “2” “3”（传递了三个参数）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 运算符

# 算数运算

+ 、-、*、\ ： 乘号前必须加\进行转义才可以进行乘法运算

加法运算

val=`expr 2 + 2` （使用linux命令expr进行辅助运算）

val=$[2+2] （4个空格不是必要的，不同于条件判断）

val=$((2+2))

1
2
3
4
5
6
7
8
9

# 数字关系运算符

关系运算符只支持数字，不支持字符串，除非字符串的值是数字。

下面假定变量 a 为 10，变量 b 为 20

-eq ：检测两个数是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。

-ne： 检测两个数是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。

-gt： 检测左边的数是否大于右边的，如果是，则返回 true。 [ $a -gt $b ] 返回 false。

-lt ： 检测左边的数是否小于右边的，如果是，则返回 true。 [ $a -lt $b ] 返回 true。

-ge： 检测左边的数是否大于等于右边的，如果是，则返回 true。 [ $a -ge $b ] 返回 false。

-le ： 检测左边的数是否小于等于右边的，如果是，则返回 true。 [ $a -le $b ] 返回 true。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# 字符串运算符

下表列出了常用的字符串运算符，假定变量 a 为 “abc”，变量 b 为 “efg”：

= ：检测两个字符串是否相等，相等返回 true。 [ $a = $b ] 返回 false。

!= ：检测两个字符串是否相等，不相等返回 true。 [ $a != $b ] 返回 true。

-z ：检测字符串长度是否为0，为0返回 true。 [ -z $a ] 返回 false。

-n ：检测字符串长度是否为0，不为0返回 true。 [ -n “$a” ] 返回 true。

$ ：检测字符串是否为空，不为空返回 true。 [ $a ] 返回 true。

1
2
3
4
5
6
7
8
9
10
11

# 布尔运算符

下表列出了常用的布尔运算符，假定变量 a 为 10，变量 b 为 20：

! ：非运算，表达式为 true 则返回 false，否则返回 true。 [ ! false ] 返回 true。

-o ：或运算，有一个表达式为 true 则返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。

-a ：与运算，两个表达式都为 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

1
2
3
4
5
6
7

# 逻辑运算符

以下介绍 Shell 的逻辑运算符，假定变量 a 为 10，变量 b 为 20:

&& ：逻辑的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false

|| ：逻辑的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

1
2
3
4
5

# 文件运算符

-b file ：检测文件是否是块设备文件，如果是，则返回 true。 [ -b $file ] 返回 false。

-c file ：检测文件是否是字符设备文件，如果是，则返回 true。 [ -c $file ] 返回 false。

-d file ：检测文件是否是目录，如果是，则返回 true。 [ -d $file ] 返回 false。

-f file ：检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true。 [ -f $file ] 返回 true。

-g file ：检测文件是否设置了 SGID 位，如果是，则返回 true。 [ -g $file ] 返回 false。

-k file ：检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true。 [ -k $file ] 返回 false。

-p file ：检测文件是否是有名管道，如果是，则返回 true。 [ -p $file ] 返回 false。

-u file ：检测文件是否设置了 SUID 位，如果是，则返回 true。 [ -u $file ] 返回 false。

-r file ：检测文件是否可读，如果是，则返回 true。 [ -r $file ] 返回 true。

-w file ：检测文件是否可写，如果是，则返回 true。 [ -w $file ] 返回 true。

-x file ：检测文件是否可执行，如果是，则返回 true。 [ -x $file ] 返回 true。

-s file ：检测文件是否为空（文件大小是否大于0），不为空返回 true。 [ -s $file ] 返回 true。

-e file ：检测文件（包括目录）是否存在，如果是，则返回 true。 [ -e $file ] 返回 true。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 命令替换

命令替换与变量替换差不多，都是用来重组命令行的，先完成引号里的命令行，然后将其结果替换出来，再重组成新的命令行。
执行命令：

`ls /etc` ： 反引号 （所有的unix系统都支持）

$(ls /etc) ： $+() （部分unix系统不支持）

多个嵌套使用时，从内向外执行

for file in \s /etc\ 或 for file in $(ls /etc) 循环中使用
`dirname $0` 获取脚本文件所在的目录
path=$(cd `dirname $0`;pwd) ： 获取脚本当前所在目录，并且执行cd命令到达该目录，使用pwd获取路径并赋值到path变量

1
2
3
4
5
6
7
8
9
10
11
12

# 算术运算

$[ ] : 加减乘除,不必添加空格

$(( )) ：加减乘除等,不必添加空格

逻辑判断

[ ] ： 中括号旁边和运算符两边必须添加空格 （可以使用，不推荐）

[[ ]]：中括号旁边和运算符两边必须添加空格 （字符串验证时，推荐使用）

(()) ： 中括号旁边和运算符两边必须添加空格 （数字验证时，推荐使用）

[[]] 和 (()) 分别是[ ]的针对数学比较表达式和字符串表达式的加强版。

使用[[ … ]]条件判断结构，而不是[ … ]，能够防止脚本中的许多逻辑错误。比如，&&、||、<和> 操作符能够正常存在于[[ ]]条件判断结构中，但是如果出现在[ ]结构中的话，会报错。比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不适用双括号, 则为if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。

[[ ]]中增加模式匹配特效；
(( ))不需要再将表达式里面的大小于符号转义

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

除了可以使用标准的数学运算符外，还增加了以下符号

符号	描述
val++	后增
val--	后减
++val	先增
--val	先减
!	逻辑求反
~	位求反
**	幂运算
<<	左位移
>>	右位移
&	位布尔和
`\|`	位布尔减
&&	逻辑和
`\|\|`	逻辑或

# printf

printf 不会像 echo 自动添加换行符，我们可以手动添加 \n
无大括号，直接以空格分隔

格式：printf format-string [arguments...] 其中（format-string: 格式控制字符串、arguments: 参数列表）

案例：printf "%-10s %-8s %-4.2f\n" 长生 男 66.1234

%s %c %d %f 都是格式替代符

d：Decimal 十进制整数 对应位置参数必须是十进制整数，否则报错!

s：String 字符串 对应位置参数必须是字符串或者字符型 否则报错

c：Char 字符 对应位置参数必须是字符串或者字符型 否则报错

f：Float 浮点 对应位置参数必须是数字型 否则报错

%-10s ： 指一个宽度为10个字符（-表示左对齐，没有则表示右对齐），任何字符都会被显示在10个字符宽的字符内，如果不足则自动以空格填充，超过也会将内容全部显示出来。

%-4.2f ：指格式化为小数，宽度为4个字符，其中.2指保留2位小数。

转义符：

\a ：警告字符，通常为ASCII的BEL字符

\b ：后退

\c ：抑制（不显示）输出结果中任何结尾的换行字符（只在%b格式指示符控制下的参数字符串中有效），而且，任何留在参数里的字符、任何接下来的参数以及任何留在格式字符串中的字符，都被忽略

\f ：换页（formfeed）

\n ：换行

\r ：回车（Carriage return）

\t ：水平制表符

\v ：垂直制表符

\ ：一个字面上的反斜杠字符

\ddd ：表示1到3位数八进制值的字符。仅在格式字符串中有效

\0ddd ：表示1到3位的八进制值字符

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

# 将内容输出到文件里

echo '内容' > 文件名

# 判断文件夹是否存在

if [ -d 目录名 ]; then
    
fi

1
2
3

# 判断文件是否存在

if [ -f 文件名 ]; then
    
fi

1
2
3

# 返回当前脚本根目录

cd -

# 获取日期和时间

datetime=`date +"%Y-%m-%d %H:%M:%S"`

# 获得git仓库当前分支名

branch=`git rev-parse --abbrev-ref HEAD`

# 获得git仓库提交地址

remote_url=`git remote get-url --push origin`

# 判断git仓库是否有变化

message=`git status . | tail -n 2`
#nothing to commit, working tree clean
#无文件要提交，干净的工作区
noCommit='nothing to commit'
noCommit_CN='无文件要提交'
if [[ $message =~ $noCommit || $message =~ $noCommit_CN ]]; then
    # 无文件要提交
else
    # 有文件要提交
fi

1
2
3
4
5
6
7
8
9
10

# 数组合并

array_new=(${array1[@]}  ${array2[@]})

# 数组索引查找

function indexOf(){
  local idx=-1
  local params=($@)
  local len=${#params[@]}
  local array=(${params[@]:0:$len-1})
  local str=${params[@]:len-1}
  for((i=0;i<${#array[@]};i++)) do
  	if [[ ${array[$i]} = $str ]];then
      idx=$i
      break
    fi
  done
  echo $idx
  return $?
}
# 用例
idx=$(indexOf ${vlist[@]} $item)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# grep

grep [OPTIONS] PATTERN [FILE...]
--color=auto 对匹配到的文本着色显示
-v 显示不被pattern匹配到的行
-i 忽略字符大小写
-n 显示匹配的行号
-c 统计匹配的行数
-o 仅显示匹配到的字符串
-q 静默模式，不输出任何信息
-A # after, 后#行
-B # before, 前#行
-C # context, 前后各#行
-e 实现多个选项间的逻辑or关系
grep –e ‘cat ’ -e ‘dog’ file
-w 匹配整个单词
-E 使用ERE,相当于egrep
-F 相当于fgrep，不支持正则表达式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# sed

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。如果没有使诸如‘D’ 的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

sed [option]... 'script' inputfile
选项
-n 不输出模式空间内容到屏幕，即不自动打印
-e 多点编辑
-f /PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
-r 支持使用扩展正则表达式
-i 直接编辑文件
-i.bak 备份文件并原处编辑
script 地址定界
不给地址：对全文进行处理
单地址：
#: 指定的行，$：最后一行
/pattern/：被此处模式所能够匹配到的每一行
地址范围：
#,#
#,+#
/pat1/,/pat2/
`#,/pat1/
~：步进
1~2 奇数行
2~2 偶数行
编辑命令：
d 删除模式空间匹配的行，并立即启用下一轮循环
p 打印当前模式空间内容，追加到默认输出之后
a [\]text1 在指定行后面追加文本,支持使用\n实现多行追加
i [\]text 在行前面插入文本
c [\]text 替换行为单行或多行文本
w /path/somefile 保存模式匹配的行至指定文件
r /path/somefile 读取指定文件的文本至模式空间中匹配到的行后
= 为模式空间中的行打印行号
! 模式空间中匹配行取反处理
s///：查找替换,支持使用其它分隔符，s@@@，s###
替换标记：
g 行内全局替换
p 显示替换成功的行
w /PATH/TO/SOMEFILE 将替换成功的行保存至文件中

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

# awk

报告生成器，格式化文本输出,有多种版本：New awk（nawk），GNU awk（ gawk）
awk [options] 'program' file…
program:pattern{action statements;..}
pattern部分决定动作语句何时触发及触发事件
BEGIN,END
action statements对数据进行处理，放在{}内指明
print, printf
选项：
-F 指明输入时用到的字段分隔符
-v var=value 自定义变量
分割符、域和记录
awk执行时，由分隔符分隔的字段（域）标记1,1,2..n称为域标识，n称为域标识，0为所有域。
省略action，则默认执行 print $0 的操作。
变量
FS:输入字段分隔符；OFS：输出字段分隔符；RS：输入记录分隔符；ORS：输出记录分隔符；NF：字段数量；NR:记录号；NFR：各文件分别计数，记录号。FILENAME：当前文件名；ARGC：命令行的参数；ARGV：数组，保存的是命令行所给定的各参数。

注意：以上都是内置变量，在引用时不需要前面加$，每新建一个变量，都需要加个-v,与变量名之间有无空格都可以，变量可以在引用之后再声明，但那一行的输出会输出空行。

printf命令
printf “FORMAT” , item1, item2, ... 不会自动换行，FORMAT中需要分别为后面每个item指定格式符。

格式符
格式符 item表现形式
%c  显示字符的ASCII码
%d, %i  显示十进制整数
%e, %E  显示科学计数法数值
%f  显示为浮点数
%g, %G  以科学计数法或浮点形式显示数值
%s  显示字符串
%u  无符号整数
%%  显示%自身
修饰符
格式符 item表现形式
#[.#]   第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
-   左对齐（默认右对齐） %-15s
+   显示数值的正负符号 %+d
操作符

算术操作符：x+y, x-y, x*y, x/y, x^y, x%y
-x: 转换为负数
+x: 转换为数值
比较操作符：==, !=, >, >=, <, <=
模式匹配符：~：左边是否和右边匹配包含 !~：是否不匹配
逻辑操作符：与&&，或||，非!
函数调用：function_name(argu1, argu2, ...)
条件表达式（三目表达式）：selector?if-true-expression:if-false-expression
PATTERN:根据pattern条件，过滤匹配的行，再做处理
如果未指定：空模式，匹配每一行
/regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来
relational expression: 关系表达式，结果为“真”才会被处理
line ranges：行范围 startline,endline：/pat1/,/pat2/不支持直接给出数字格式
BEGIN/END模式
awk控制语句
{ statements;… } 组合语句
if(condition) {statements;…}
if(condition) {statements;…} else {statements;…}
while(conditon) {statments;…}
do {statements;…} while(condition)
for(expr1;expr2;expr3) {statements;…}
break
continue
delete array[index]
delete array
exit
awk [-F|-v] '行数筛选{XXX;XXX;printf “”,XXX,XXX}'

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

上次更新: 2023/10/20, 12:31:11 访问次数: 0

Nano 编辑器快捷键→