linux 上文本处理三剑客：
grep ，egrep, fgrep:文本过滤工具（模式：pattern）；
grep:基本正则表达式 -E支持扩展 ，-F
egrep：扩展正则表达式 -G支持基本 -F
fgrep: 不支持正则表达式
sed：steam editor, 流编辑器；文本编辑工具；
awk：linux上的实现为gawk，文本报告生成器（格式化文本）；
正则表达式：Regual Expression,REGEXP
由一类特殊字符及文本字符所编写的模式，其中有些字符不表示其字面意义，而是用于表示控制或通配的功能；
分两类：
基本正则表达式：BRE
扩展正则表达式：ERE
元字符：\(hello[[:space:]]\+\)\+
grep：Global search REgular expression and print out the line.
作用：文本搜索工具，根据用户指定的“模式（过滤条件）”对目标文件逐行进行匹配检查；打印匹配到的行；
模式：由正则表达式的元字符所编写的过滤条件
正则表达式引擎：
grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]
--color=auto:对匹配到的文本着色后高亮显示
-i：ignorecase，忽略字符的大小写；
-o：仅显示匹配到的字符本身
-v：--invert-match:显示不能被匹配的行
-E：支持使用扩展的正则表达式字符
-q：--quiet, --silent:静默模式，即不输出任何信息
-A#after,后#行
-B#before,前#行
-C#context,前后#行
基本正则表达式元字符：
字符匹配：
.：匹配任意单个字符
[]：匹配指定访问内的任意单个字符
[^]匹配指定访问外的任意单个字符
[:digit:] [:lower:] [:upper:] [:alpha:] [:alnum:] [:punct:] [:space:]
匹配次数：用在要指定其出现的次数的字符的后面，用于限制其前面字符出现的次数；默认工作于贪婪模式
*：匹配其前面的字符任意次：0,1，多次
.*：配置任意长度的任意字符
\?:匹配其前面的字符0次或1次，即其前面的字符是可有可无
\+:匹配其前面的字符1次或多次；即前面的字符要出现至少1次
\{m\}:匹配其前面的字符m次
\{m,n\}：匹配其前面的字符至少m次，至多n次
\{0,n\}:至多n次
\{m,\}：至少m次
位置锚定：
^：行首锚定；用于模式的最左侧；
$：行尾锚定；用于模式的最右侧；
^PATTERN$：用于PATTERN来匹配整行
^$:空白行；
^[[:space:]]*$：空行或包含空白字符的行
单词：非特殊字符组成的连续字符（字符串），都称为单词
\<或\b：词首锚定，用于单词模式的左侧
\>或\b：词尾锚定，用于单词模式的右侧
\<pattern\>：匹配完整 单词
练习：1、显示/etc/passwd文件中不以/bin/bash结尾的行
grep -v "\/bin/bash$" /etc/passwd
2、找出/etc/passwd文件中两位数或者三位数
grep "\<[0-9]\{2,3\}\>" /etc/passwd
3、找出/etc/rc.d/rc.syinit或/etc/grub.cfg文件 中，以至少一个空白字符开头，且后面非空白字符的行
grep "^[[:space:]]\+[^[:space:]]" /etc/grub.conf
4、找出“netstat -tan”命令的结果中以LISTEN后跟0、1或多个空白字符结尾的行；
netstat -tan | grep "LISTEN[[:space:]]*$"
分组及引用：
\(\)：将一个或多个字符捆绑在一起
\(xy\)*ab
Note：分区括号中的模式匹配到的内容会被正则表达式引擎自动记录与内部的变量中，这些变量为：
\1：模式从左侧起，第一个左括号以及与之匹配的右括号之间的模式所匹配的字符
\2：模式从左侧起，第二个左括号以及与之匹配的右括号之间的模式所匹配的字符
\3：
...
grep "\(r..t\).*\1" /etc/passwd
后向引用：引用前面的分组括号中的模式所匹配到的字符；
egrep:
支持扩展的正则表达式实现类似于grep文本过滤功能：grep -E
egrep [OPTIONS] PATTERN [FILE...]
选项-i,-o,-v,-q,-A,-B,-C
-G：支持基本正则表达式
扩展正则表达式的元字符：
字符匹配：
.：任意单个字符
[]：指定访问内的任意单个字符
[^]: 指定访问外的任意单个字符
次数匹配：
*：任意次，0,1，多次
？：0次或1次，其前的字符是可有可无的
+：其前字符至少1次
{m}: 其前的字符m次
{m,n}至少m次，至多n次
{0,n}
{m,}
位置锚定:
^:行首锚定
$:行尾锚定
\<,\b词首锚定
\>,\b词尾锚定
分组及引用：
()：分组；括号内的模式匹配到的字符会被记录于正则表达式引擎内部变量中；
后向引用：\1,\2,\3
或：
a|b ：a或者b
C|cat：C或者cat
(C|c)at：C或者c
练习：
1、找出/proc/meminfo文件中，所有大写或小写s开头的行；至少有三种实现方式。
grep "^[Ss]" /proc/meminfo
grep -i "^s" /proc/meminfo
grep -E "^(S|s)" /proc/meminfo
2、显示目前系统上root、centos或user1用户的相关信息
grep -E "^root|mysql|user3\>" /etc/passwd
3、找出/etc/rc.d/init.d/functions文件中某单词后面跟一个小括号的行
grep -E "[^[:punct:]]+\(\)" /etc/rc.d/init.d/functions
grep -E -o "[_[:alnum:]]+\(\)" /etc/rc.d/init.d/functions
4、使用echo命令输出一绝对路径，使用egrep取出其名
echo /www/mysql_data/mysql-bin.000001/ | grep -E -o "[^/]+/?$"
进一步；取其路径名；类似于对其之星dirname的结果。
5、找出ifconfig命令结果中的1-255之间的数值
ifconfig | grep -E "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\>"
6、课外作业：找出ifconfig命令结果中的IP地址
ifconfig eth0 | awk '/Mask/{split($2,ip,":");print ip[2]}'
ifconfig eth0 | cut -d: -f2 | awk '(NR==2){print $1}'
7、添加用户bash,testbash,basher以及nologin(其shell为/sbin/nologin);而后找出/etc/passwd文件中用户名为同shell名的行
grep -E "(^[^:]+\>).*\1$" /etc/passwd
fgrep：不支持正则表达式元字符；
当无需要用到元字符去编写模式时，使用fgrep性能更好
文本查看及处理工具：wc , cut ,sort , uniq ,diff ,patch
wc：word count
wc [OPTION]... [FILE]...
-l：lines
-w：words
-c：bytes
cut：
cut OPTION... [FILE]...
OPTION
-d CHAR：为指定的字符为分隔符
-f FIELDS：挑选出的字段
#：指定的单个字段
#-#：连续的多个字段
#,#：离散的多个字段
sort：
sort [OPTION]... [FILE]...
-n :基于数值大小排序
-t CHAR：指定分隔符；
-k #:用于排序比较的字段
-r：逆序排序
-f：忽略字符大小写
-u：重复的行只保留一份
重复行：连续且相同
uniq：报告或移除重复的行
uniq [OPTION]... [INPUT [OUTPUT]]
-c：显示每行的重复次数
-u：仅显示未曾重复过的行
-d：仅显示重复过的行
diff：逐行比较文本内容
diff [OPTION]... FILES
diff /path/to/oldfle /path/to/newfile >/path/to/patch_file
-u使用unfied机制，即显示要修改的行的上下文，默认为3行
patch：向文件打补丁
patch [OPTIONS] -i /path/to/patch_file/patch/to/oldfile
patch /path/to/oldfile < /path/to/patch_file
练习：取出ifconfig eth0 命令结果中的ip地址。
ifconfig eth0 | cut -d: -f2 | awk '(NR==2){print $1}
