分享

文本处理三剑客

 印度阿三17 2019-05-24

grep sed awk

sed是可以不打开文件进行增删改查,vim的缺点是打开文件会把文件加载到我们的内存中,占用我们的内存,sed不会把文件加载到内存当中。

要先观察格式

格式

sed 选项 sed命令 文件名

sed选项

-n 不输出模式空间里的内容

-e 执行多条sed命令

-r 使用拓展正则时用-r

-i 直接修改文件内容

sed命令

a 追加在指定行的下面

如何追加多行

sed ‘2i ok\nok1\nok3’ 文件名

c 取代指定行

d 删除,可以支持多行,比如1,3就是第一行和第三行

删除所有行

sed ‘d’ 文件名

i 插入在指定行的上面

p 输出指定内容c

一般结合-n使用,sed ‘/root/p’ –n /etc/passwd

! 取反,放在命令前面

sed用法总结

1.查找指定的字符串

例子:显示/etc/passwd中保含root的行(显示模式空间中的内容)

方法1:sed '/root/p' /etc/passwd

方法2:cat /etc/passwd | sed '/root/p'

2.在指定的位置做增删

例子:删除以root为开头的行

# sed '/^root/d' a.txt

例子:在包含root的行后添加一行 i am ken

# sed '/root/a i am ken' a.txt

3.按行替换

例子:将5到9行的内容替换为 i am ken

# sed '5,9c i am ken' a.txt

4.按照字符替换

例子:将/etc/selinux/config中的SELINUX=enforcing改成 disabled

写法1:# sed -i 's/SELINUX=disabled/SELINUX=enforcing/g' config

写法2:# sed -r -i 's/(SELINUX=)disabled/\1enforcing/g' config

5.查找指定的内容再做替换

例子:将以r开头的行中的oo替换为qq

# sed '/^r/{s/oo/qq/g}' passwd

6.多点编辑

例子:去除文件中的注释行和空白行

# grep -v -E "(^#)|(^$)" passwd.bak >passwd

# cat passwd.bak | sed -e '/^#/d' -e '/^$/d' >passwd

7.取反操作

显示非1-3行

# sed -n '1,3!p' passwd

awk不仅是系统命令,也是编程语言

格式

awk awk参数 ‘匹配的是什么东西{对这个东西做什么}’ file

常用参数只有一个 –F 指定分隔符

几个小概念

记录(record):一行就是一个记录

分隔符(field separator):进行对记录进行切割的时候所使用的字符

字段(field):将一条记录分割成的每一段

FILENAME:当前处理文件的文件名

FS(Field Separator):字段分隔符(默认是以空格为分隔符=)

NR(Number of Rrecord):记录的编号(awk每读取一行,NR就加1==)

NF(Number of Field):字段数量(记录了当前这条记录包含多少个字段==)

1. 结合内置变量,打印指定的几行,以及字段数量

例子;输出有多余5个字段的行的第三个字段

# cat a.sh | awk -F ":" 'NF>=5{print $3}'

例子:输出每行行号和该行有几个字段

# cat a.sh | awk -F ":" '{print NR,NF}'

例子:输出用户名,要求所有用户显示在同一行,而且用空格分隔

# cat mypwd | awk 'BEGIN{FS=":"; ORS=" "}{print $1}'

2. 结合正则来匹配一行或者某个字段

例子:输出用户名以s为开头的用户的uid

# cat mypwd | awk -F ":" '/^s/{print $}'

例子:输出第五个字段是以t为结尾的用户的姓名

# cat mypwd | awk -F ":" '$5~/t$/{print $1}'

3. 采用比较符号来进行打印指定的某些行

例子:实现仅仅输出3-5的内容,每行前面添加一个行号

# cat mypwd | awk 'NR>=3&&NR<=5{print NR,$1}'

# cat mypwd | awk 'NR==3,NR==5{print NR,$1}'

例子:实现仅仅输出3 和 5 和 7行的内容,每行前面添加一个行号

# cat mypwd | awk 'NR==3||NR==5||NR==7{print NR,$1}'

4. END

例子:统计mypwd中以#开头的行有多少行

# cat mypwd | awk 'BEGIN{n=0}/^#/{n =1}END{print n}'

统计:mypwd中,以:为分隔符,字段数量在3-5的行的数目

# cat mypwd  | awk 'BEGIN{FS=":"}NF>=3&&NF<=5{n =1}END{print n}'

5. ip

例子:统计IP

[root@ken]# cat url.txt | awk -F "/ " '{urls[$2] }END{for(key in urls)print key, urls[key]}’

www.baidu.com 12

haha.baidu.com 1

ftp.baidu.com 6

mail.baidu.com 7

来源:http://www./content-4-204601.html

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多