Shell常用命令-grep-sed

\：转义符，将特殊字符进行转义，忽略其特殊意义

^：匹配行首，匹配字符串的开始

$：匹配行尾，匹配字符串的结尾

^$：表示空行

.：匹配除换行符\n之外的任意单个字符 

[]：匹配包含在[字符]之中的任意一个字符 [a|b]cd

[^]：匹配[^a]之外的任意字符 

[ - ]：匹配[]中指定范围内的任意一个字符 [a-z] | [0-9]

?：匹配之前的项1次或者0次 

+：匹配之前的项1次或者多次 [0-9]+

*：匹配之前的项0次或者多次 .* 

()：匹配表达式，创建一个用于匹配的子串 grep "ab(c|d)"

{n}：匹配之前的项n次，n是可以为0的正整数 grep "[0-9]{1,3}"

{n,}：之前的项至少需要匹配n次

{n,m}：指定之前的项至少匹配n次，最多匹配m次，n<=m

|：交替匹配，|两边的任意一项ab(c|d)匹配abc或abd

\<\>或\b锚定词首与词尾， \<grep\> ，匹配所有包含grep字符的行,如果出现grepa是不会被匹配

[[:space:]]：匹配空格

[[:digit:]]：匹配[0-9]

[[:lower:]]：匹配[a-z]

[[:upper:]]：匹配[A-Z]

[[:alpha:]]：匹配[a-Z]

[root@client ~]# cat test.txt 

I am xuyong teacher!

I teach linux.

test

I like badminton ball ,billiard ball and

chinese chess!

my blog is

http://xuyonglinux.blog.51cto.com

our site is http://www.ixuyong.cn

my qq num is 572891887.

not 572891888887.

#1. 过滤以 m 开头的行

[root@client ~]# grep "^m" test.txt 

#2. 排除空行，并打印行号

[root@client ~]# grep -vn "^$" test.txt 

#3. 匹配任意一个字符，不包括空行

[root@client ~]# grep "." test.txt

#4. 匹配所有内容

[root@client ~]# grep ".*" test.txt

#5. 匹配以点结尾的

[root@client ~]# grep "\.$" test.txt 

#6. 匹配有 a 或 b 或 c 的行

[root@client ~]# egrep "[a|b|c]" test.txt 

#7. 匹配数字所在的行

[root@client ~]# egrep "[0-9]" test.txt

#8. 匹配所有小写字母

[root@client ~]# egrep "[a-z]" test.txt 

#9. 匹配包含 5 个 8 的行

[root@client ~]# egrep "[8]{5}" test.txt

[root@client ~]# ifconfig eth0 | grep "^.*inet " | egrep -o "[0-9]{2,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"

[root@client ~]#  ifconfig eth0 | grep "^.*inet " | egrep -o "[[:digit:]]{2,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}"

[root@client ~]# egrep -v "(^#|^$|^[[:space:]]+#)" nginx.conf

[root@client ~]# cat test1.txt 

[27/Sep/2021:09:55:06 +0800]"GET/HTTP/1.0"200 4"_""curl/7.29.0"

：1[27/Sep/2021:09:55:18+0800] "GET/HTTP/1.1""2004"_""curl/7.29.0"

：1[27/Sep/2021:09:55:21 +0800] "GETT/HTTP/1.1"20044"_""curl/7.29.0"

：:1[27/Sep/2021:09:55:25+0800]]"GET/HTTP/2.O"20044"_""curl/7.29.0"

：：1[27/Sep/2021:09:55:255+0800]"GET/HTTP/2.0"200 4"_""curl/7.29.0""

：1[27/Sep/2021:09:55:255+0800]“GET/HTTP/2.1"2004"_""curl/7.29.0"

：:1[27/Sep/2021:09:55:265+0800]“GETHTTP/1.1""200 4"_""curl/7.29.0"

：:1[27/Sep/2021:09:55:265+0800]“GETHTTP/3.1" 200 4 "-" "curl/7.29.0"

:1[27/Sep/2021:09:55:265+0800]"GET/HTTP/3.1"200 4"_""curl/7.29.0"

[27/Sep/2021:09:55:265+0800]“GETHTTP/3.0"200 4"_""curl/7.29.0"

[root@client ~]# grep -io "http/[1|2|3]\.[0|1|2]" test1.txt 

HTTP/1.0

HTTP/1.1

HTTP/1.1

HTTP/2.0

HTTP/2.1

HTTP/1.1

HTTP/3.1

HTTP/3.1

HTTP/3.0

[root@client ~]# egrep -v "^#|^$" zabbix_agentd.conf

[root@client ~]# grep '^[a-Z]' zabbix_agentd.conf

[root@client ~]# cat grep01.sh 

#!/bin/bash

read -p "请输入你要测试的手机号[[ 133 | 152 | 166 ]: " Action

if [[ $Action =~ [0-9]{11}$ ]];then

	# 判断开头是否为 133 152

	if [[ $Action =~ ^(133|152|166)[0-9]{8}$ ]];then

		echo "$Action 是合法手机号...."

	else

		echo "$Action 手机号输入错误"

	fi

else

	echo "$Action 目前属于非法手机号..."

fi

[root@client ~]# cat email.sh 

#!/usr/bin/bash

read -p "请输入找回密码的邮箱: " Action

Action_pre=${Action%@*}

# 比对前缀的长度是否超过 16

if [ ! ${#Action_pre} -le 16 ];then

	echo "你输入的邮箱长度太长"

	exit

fi

# 匹配

	# (0-9 | a-z )+    

	# 纯数字

	# 数字 + 字母

	# 纯字母

	# 字母 + 数字

if [[ $Action =~ ^([0-9]|[a-z])+|@(qq|sina|163)\..+$ ]];then

	echo "$Action 邮件已经发送，请登录邮箱点击链接找回密码"

else

	echo "$Action 不符合系统预定的邮箱规则，请重新尝试"

fi

[root@client ~]# cat rege.txt 

xxt-demo.shop.oldxu.com

xxt-demoadmin.shop.oldxu.com

abc.shop.oldxu.com

abcadmin.shop.oldxu.com

123.shop.oldxu.com

abc123.shop.oldxu.com

bbb.admin.oldxu.com

bbb-ccc.admin.oldxu.com

bbb-ccc-ddd.admin.oldxu.com

bbb-ccc-ddd.shop.oldxu.com

[root@client ~]# egrep "^([a-z]|-)+\.(shop|admin)\.oldxu\.com" rege.txt

xxt-demo.shop.oldxu.com

xxt-demoadmin.shop.oldxu.com

abc.shop.oldxu.com

abcadmin.shop.oldxu.com

bbb.admin.oldxu.com

bbb-ccc.admin.oldxu.com

bbb-ccc-ddd.admin.oldxu.com

bbb-ccc-ddd.shop.oldxu.com

[root@client ~]# egrep "^([a-z]{1,}-[a-z]{1,}|[a-z]{1,}|admin)\.shop\.oldxu\.com" rege.txt

xxt-demo.shop.oldxu.com

xxt-demoadmin.shop.oldxu.com

abc.shop.oldxu.com

abcadmin.shop.oldxu.com

[root@client ~]# cat file.txt

I love shell

I love SHELL

This is test file

[root@client ~]# sed -n '/shell/p' file.txt 

I love shell

[root@client ~]# sed -n -e '/shell/p' -e '/SHELL/p' file.txt

I love shell

I love SHELL

[root@client ~]# cat edit.sed

/shell/p

[root@client ~]# sed -n -f edit.sed file.txt 

I love shell

[root@client ~]# sed -rn '/shell|SHELL/p' file.txt 

I love shell

I love SHELL

[root@client ~]# ifconfig eth0 | sed -n '/inet /p' | sed -r 's#(^.*et )(.*)(net.*$)#\2#g'

192.168.40.10

#打印 passwd 文件的第 10 行

[root@client ~]# sed -n '10p' passwd 

operator:x:11:0:operator:/root:/sbin/nologin

#打印 passwd 文件的 10 到 20 行

[root@client ~]# sed -n '10,20p' passwd 

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

polkitd:x:999:998:User for polkitd:/:/sbin/nologin

tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

abrt:x:173:173::/etc/abrt:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

#打印 passwd 文件中从第 1 行开始，往后面加 5 行的内容

[root@client ~]# sed -n '1,+5p' passwd 

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

[root@client ~]# sed -n '/^root/p' passwd

root:x:0:0:root:/root:/bin/bash

[root@client ~]# sed -rn '/^bin/,/^ftp/p' passwd 

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

#打印 passwd 文件中从第 11 行开始匹配，直到以 ^ftp 开头的行结束

[root@client ~]# sed -n '11,/^ftp/p' passwd 

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

#1. 打印 /etc/passwd 中第 20 行

sed -n '20p' /etc/passwd

#2. 打印 /etc/passwd 中从第 8 行开始，到第 15 行结束的内容

sed -n '8,15p' /etc/passwd

#3. 打印 /etc/passwd 中从第 8 行开始，然后 + 5 行结束的内容

sed -n '8,+5p' /etc/passwd

#4. 打印 /etc/passwd 中开头匹配 bin 字符串的内容

sed -n '/^bin/' /etc/passwd

#5. 打印 /etc/passwd 中开头为 root 的行开始，到开头为 ftp 的行结束的内容

sed -n '/^root/,/ftp/p' /etc/passwd

#6. 打印 /etc/passwd 中第 8 行开始，到含有 /sbin/nologin 的内容的行结束内容

sed -n '8,/\/sbin\/nologin/p' /etc/passwd

[root@client ~]# sed -n '/^\[base\]/,/\[.*/p' /etc/yum.repos.d/CentOS-Base.repo | sed -r '/^\[|^#/d'

name=CentOS-$releasever - Base - mirrors.aliyun.com

failovermethod=priority

baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/

        http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/

        http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/

gpgcheck=1

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

[root@client ~]# sed -i '/^bin/a ok' passwd

[root@client ~]# sed -i '/^bin/,/^sshd/i OKOK' passwd

[root@client ~]# sed -i '30i listen 80' passwd

[root@client ~]# sed -i '/root/r list.txt'

[root@client ~]# sed '/\/bin\/bash/w /tmp/login.txt' passwd

[root@client ~]# sed -i '/#Port/a port 666' /etc/ssh/sshd_config

1）passwd文件第10行后面追加 "Add Line"

sed -i '10a Add Line'

2）passwd文件第10行到第20行，每一行后面都追加"Test Line"

sed -i '10,20a Test Line' passwd

3）passwd文件匹配到/bin/bash的行后面追加"Insert Line"

sed -i '10a Insert Line'

4）passwd文件匹配到以bin开头的行，在匹配的行前住家 "Add Line Before"

sed -i '/^bin/i Add Line Before'

5）passwd文件每一行前面都追加 "Insert LineBefore"

sed '/^/i Insert Line Before' passwd

6）将/etc/fstab文件的内容追加到passwd文件的第10行后面

sed -i '10r /etc/fstab' passwd 

7）将/etc/inittab文件内容追加到passwd文件匹配/bin/sync行的后面

sed -i '/\/sbin\/nologin/r /etc/inittab' passwd

8）将/etc/hosts文件内容追加到passwd文件中10行的后面

sed -i '/\/sbin\/nologin/r /etc/inittab' passwd

9）将passwd文件匹配到/bin/bash的行追加到/tmp/sed.txt文件中

sed '/\/bin\/bash/w /tmp/sed.txt' passwd

#1. 删除 passwd 文件中第 1 行内容

sed '1d' passwd

#2. 删除 passwd 文件中第 1 行到第 5 行的内容

sed '1,5d' passwd

#3. 删除 passwd 文件中第 2 行以及往下的 5 行内容

sed '2,+5d' passwd

#4. 匹配 /sbin/nologin 结尾的行，然后进行删除

sed '/\/sbin\/nologin$/d' passwd

#5. 匹配以 sshd 开头的行，到 rpc 开头的行删除

sed '/^sshd/,/^rpc/d' passwd

#6. 删除 vsftpd 配置文件以 # 号开头的行，以及空行

#删除配置文件中 #号开头的注释行，如果碰到 tab 或空格是无法删除

sed '/^#/d' file

#删除配置文件中含有 tab 键的注释行

sed -r '/^[ \t]*#/d' file

#删除无内容空行

sed -r '/^[ \t]*$/d' file

#1. 删除 /etc/passwd 中的第 15 行

sed '15d'

#2. 删除 /etc/passwd 中的第 8 行到第 14 行的所有内容

sed '8,14d'

#4. 删除 /etc/passwd 中以 /sbin/nologin 结尾的行

sed '/\/sbin\/nologin$/d'

#4. 删除 /etc/passwd 中以 bin 开头的行，到以 ntp 开头的行的所有内容

sed '/^bin/,/^ntp/d'

#5. 删除 /etc/passwd 中第 3 行到以 ftp 开头的所有行内容

sed '3,/^ftp/d'

#6. 典型需求：删除 Nginx 配置文件中所有的注释以及空行

sed -i '/^#|^$/d'

#1. 修改 passwd 文件第 1 行中第一个 root 为 ROOT

sed -i '1s/root/ROOT/' passwd

#2. 修改 passwd 文件中第 5 行到第 10 行中所有的 /sbin/nologin 为 /bin/bash

sed -i '5,10s/\/sbin\/nologin/\/bin\/bash/' passwd

sed -i '5,10s#/sbin/nologin#/bin/bash#' passwd

#3. 修改 passwd 文件中匹配到 /sbin/nologin 的行，将匹配到行中的 login 为该大写的 LOGIN

sed -i '/\/sbin\/nologin/s#login#LOGIN#g' passwd

sed -i '/\/sbin\/nologin/s/login/LOGIN#g' passwd

#4. 修改 passwd 文件中从匹配到以 root 开头的行，到匹配到行中包含 bin 的行

sed -i '/^root/,/^bin/s/bin/BIN/g' passwd

#5. 修改 SELINUX=enforcing 修改为 SELINUX=disabled（可以使用 c 替换方式）

sed -i '/^SELINUX=/c SELINUX=disabled' selinux

#6. 将 nginx.conf 配置文件添加注释

sed -i 's/^/# /' nginx.conf

#7. 使用 sed 提取 eth0 网卡的 IP 地址

ifconfig eth0 | sed -rn '2s/^.*et //p' | sed -rn 's/ ne.*//p'

ifconfig eth0 | sed -nr '2s/(^.*et) (.*) (net.*)/\2/p'

[root@client ~]# sh example.sh

1: web01： 有 2 台主机

2: web02： 有 12 台主机

[root@client ~]# cat hosts

[dnsservers]

172.16.1.91

172.16.1.92

[routes]

172.16.1.200

[lbservers]

172.16.1.3

172.16.1.4

[proxyservers]

172.16.1.5

172.16.1.6

[webservers]

172.16.1.7

172.16.1.8 

172.16.1.9

[dbservers]

172.16.1.51

[redisservers]

172.16.1.41

[nfsservers]

172.16.1.32

[backupservers]

172.16.1.31

[root@client ~]# cat ansible_sed.sh 

#!/usr/bin/bash

inventory=hosts

# 获取主机组的名称的函数（有很多主机组的名称）

get_host_groups_name(){

	get_names=$(sed -n '/^\[/p' ${inventory} | sed -n 's/\[//p' | sed -n 's/\]//p')

	echo $get_names

}

# 通过拿到主机组的名称，能够提取对应的数量

get_host_number(){

	get_hosts=$(sed -n '/^\['$1'\]/,/\[.*\]/p' hosts | sed -r '/\[|^$/d' | wc -l)

	echo $get_hosts

}

get_host_ip() {

	get_ip=$(sed -n '/^\['$1'\]/,/\[.*\]/p' hosts | sed -r '/\[|^$/d' | xargs)

	echo $get_ip

}

index=1

# 遍历获取每个主机组的数量

	#1. 调用函数拿到所有的组名称

	#2. 将 webservers 赋值给 host 变量

for host in $(get_host_groups_name)

do

	# 3. 执行 get_host_number 这个函数 传递了一个参数 host  host 的结果是 webservers

	numbers=$(get_host_number $host)

	host_ip=$(get_host_ip $host)

	#  $host 对应的就是组的名称  $numbers 就是最终这个组对应的数量

	echo "${index}: 主机组名称: $host  主机数量: $numbers 对应的IP是: ${host_ip}"

	index=$[ $index +1 ]

done

[root@client ~]# sh mysql_conf_total.sh

1: client 2

2: server 12

3: mysqld 12

4: mysqld_safe 7

5: embedded 8

6: mysqld-5.5 10

# 1 获取 [] 内容，sed -n '/^\[/p' my.cnf | sed's/\[//' | sed's/\]//'

# 2 基于 [] 内容，提取的数量；sed -n '/\[mysqld\]/,/\[.*\]/p' my.cnf | sed -r '/\[|^$|#/d' |wc -l

[root@client ~]# cat my.cnf

# this is read by the standalone daemon and embedded servers

[client]

port=3306

socket=/tmp/mysql.socket

#This For server

[server]

innodb_buffer_pool_size=8G

innodb_buffer_pool_instances=8

innodb_buffer_pool_load_at_startup=1

innodb_buffer_pool_dump_at_shutdown=1

innodb_data_file_path=ibdata1:1G:autoextend

innodb_flush_log_at_trx_commit=1

innodb_log_buffer_size=32M

innodb_log_file_size=2G

innodb_log_files_in_group=2

innodb_max_undo_log_size=4G

innodb_undo_directory=undolog

innodb_undo_tablespaces=95

#this is ysqld stand alone daemon

[mysqld]

port=3306

socket=/tmp/mysql.sock

basedir=/usr/local/mysql

datadir=/data/mysql

pid-file=/data/mysql/mysql.pid

user=mysql

bind-address=0.0.0.0

sort_buffer_size=16M

join_buffer_size=16M

thread_cache_size=3000

interactive_timeout=600

wait_timeout=600

#This Form ysqld_safe

[mysqld_safe]

log-error=/var/log/mariadb/mariadb.log

pid-file=/var/run/mariadb/mariadb.pid

max_connections=1000

open_files_limit=65535

thread_stack=512K

external-locking=FALSE

max_allowed_packet=32M

#this is only for embedded server

[embedded]

gtid_mode=on

enforce_gtid_consistency=1

log_slave_updates

slave-rows-search-algorithms='INDEX_SCAN,HASH_SCAN'

binlog_format=row

binlog_checksum=1

relay_log_recovery=1

relay-log-purge=1

#mysqld configure

[mysqld-5.0]

key_buffer_size=32M

read_buffer_size=8M

read_rnd_buffer_size=16M

bulk_insert_buffer_size=64M

myisam_sort_buffer_size=128M

myisam_max_sort_file_size=10G

myisam_repair_threads=1

lock_wait_timeout=3600

explicit_defaults_for_timestamp=1

innodb_file_per_table=1

[root@client ~]# cat mysql_sed.sh 

#!/bin/bah

#1. 先定义函数，拿到 [] 中的名字

get_mysql_name() {

	sed -n '/^\[/p' my.cnf  | sed 's/\[//' | sed 's/\]//'

}

get_mysql_number() {

	sed -n '/\['$1'\]/,/\[.*\]/p' my.cnf  | sed -r '/\[|^$|#/d' |wc -l

}

index=1

for i in  $(get_mysql_name)

do

	numbers=$(get_mysql_number $i)

	echo "$index: $i         $numbers"

	index=$[ $index + 1 ]

done