Linux

[wxb]

积累Linux使用经验和心得

[wxb]

sed 流编辑器

sed 是 stream editor 的缩写，中文称之为“流编辑器”

• sed 命令是一个面向行处理的工具，它以“行”为处理单位，针对每一行进行处理，处理后的结果会输出到标准输出（STDOUT）。

• sed 命令是很懂礼貌的一个命令，它不会对读取的文件做任何贸然的修改，而是将内容都输出到标准输出中。

[wxb]

sed命令：替换、删除、更新文件中的内容

1. sed 的工作原理是什么

• sed 命令是面向“行”进行处理的，每一次处理一行内容
• sed 会把要处理的行存储在缓冲区中，接着用 sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。

2. sed 的命令格式：

sed [option] command [file | stdin]

• command 部分可以分为两块知识：

  • 一块是范围设定：

    • 指定行数：比如'3,5'表示第 3、第 4 和第 5行；而'5,$'表示第 5 行至文件最后一行。
    • 模式匹配：比如/^[^dD]/表示匹配行首不是以 d 或 D 开头的行。

  • 一块是动作处理：

    • s：通过正则匹配到的内容替换。

      s 的语法格式是 s/regexp/replacement/，表示通过正则匹配到的内容替换为 replacement 部分；
      s 支持 & 符号和预存储等特性，可以实现更多灵活的替换效果

    • y：是简单的逐字替换。

      y 的语法格式是 y/source/dest/，表示将 source 中的字符对位替换为 dest 中的字符；
      如果 source 部分出现了重复的字符，则只有第一次出现的对位替换会产生效果，后面的并不会起作用

    • d：表示删除行。
    • p：打印该行。
    • r：读取指定文件的内容。
    • w：写入指定文件。
    • a：在下面插入新行新内容。
    • i：在上面插入新行新内容。

• option 选项

  • -n 选项告诉 sed 命令：除非是明确表明要输出的行，否则不要输出。

    -n 选项经常和 p 配合使用，其含义就是，输出那些匹配的行。

  • -e 选项支持设置多个 command,

    -e 选项的后面要立即接 command 内容，不允许再夹杂其他选项
    -e 多个 command 之间，是按照在命令中的先后顺序来执行的

  • -f 选项来指定sed的 command 命令文件

3. & 符号的妙用

在sed中，我们可以用&指代模式所匹配到的字符串

#按照惯例, 先展示文件的内容
$ cat mysed.txt
Beijing
London
 
#我们使用到了&符号, 大家试着猜一猜它的作用
$ sed 's/B.*/&2008/' mysed.txt
Beijing2008
London

4. sed 的预存储技术

在sed命令中被“（”和“）”括起来的内容会被依次暂存起来，存储到 \1、\2 …里面。这样你就可以使用\N形式来调用这些预存储的内容了

$ echo "hello world" | sed 's/\(hello\).*/world \1/'
world hello

[wxb]

tldr sed

  sed

  Edit text in a scriptable manner.
  See also: awk, ed.
  More information: https://www.gnu.org/software/sed/manual/sed.html.

  - Replace all apple (basic regex) occurrences with mango (basic regex) in all input lines and print the result to stdout:
    command | sed 's/apple/mango/g'

  - Execute a specific script [f]ile and print the result to stdout:
    command | sed -f path/to/script.sed

  - Replace all apple (extended regex) occurrences with APPLE (extended regex) in all input lines and print the result to stdout:
    command | sed -E 's/(apple)/\U\1/g'

  - Print just a first line to stdout:
    command | sed -n '1p'

  - Replace all apple (basic regex) occurrences with mango (basic regex) in a specific file and overwrite the original file in place:
    sed -i 's/apple/mango/g' path/to/file


See also: awk, ed

[wxb]

Shell 使用sed替换文本

• sed 使用另一个字符串来替换匹配模式。模式可以是简单的字符串或正则表达式：
  $ sed 's/pattern/replace_string/' file

• 选项-i会使得sed用修改后的数据替换原始文件：

  推荐的做法是先使用不带i选项的sed命令，以确保正则表达式没有问题，如果结果符合要求，再加入-i选项将更改写入文件。

  $ sed -i 's/text/replace/' file

• g标记可以使sed执行全局替换：
  sed 's/pattern/replace_string/g' file

• /#g标记可以使sed替换第N次出现的匹配：

  $ echo thisthisthisthis | sed 's/this/THIS/2g'
  thisTHISTHISTHIS
  
  $ echo thisthisthisthis | sed 's/this/THIS/3g'
  thisthisTHISTHIS
  
  $ echo thisthisthisthis | sed 's/this/THIS/4g'
  thisthisthisTHIS

• sed命令会将s之后的字符视为命令分隔符。这允许我们更改默认的分隔符/：

  sed 's:text:replace:g'
  sed 's|text|replace|g'

• 使用\进行转义：
  sed 's|te\|xt|replace|g'

• 移除空行：用正则表达式 ^$ 进行匹配
  $ sed '/^$/d' file

• 替换并备份:
  sed -i.bak 's/abc/def/' file
  这时的sed不仅替换文件内容，还会创建一个名为file.bak的文件，其中包含着原始文件内容的副本。

• 已匹配字符串标记（&）

  在sed中，我们可以用&指代模式所匹配到的字符串，这样就能够在替换字符串时使用已匹配的内容：

  $ echo this is an example | sed 's/\w\+/[&]/g'
  [this] [is] [an] [example]

• 子串匹配标记（\1）

  使用#来指代出现在括号中的部分正则表达式（注：子模式）所匹配到的内容：

  $ echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
  this is 7 in a number

• 组合多个表达式

  以下表达式效果都是一样的

  • 利用管道组合多个sed命令: sed 'expression' | sed 'expression'
  • 用分号分隔: sed 'expression; expression'
  • 使用选项-e PATTERN: $ sed -e 'expression' -e 'expression'

• sed表达式通常用单引号来引用。不过也可以使用双引号。

  shell会在调用sed前先扩展双引号中的内容。如果想在sed表达式中使用变量，双引号就能派上用场了。

  $ text=hello
  $ echo hello world | sed "s/$text/HELLO/"
  HELLO world

[wxb]

awk

[wxb]

tldr awk

  awk

  A versatile programming language for working on files.
  More information: https://github.com/onetrueawk/awk.

  - Print the fifth column (a.k.a. field) in a space-separated file:
    awk '{print $5}' path/to/file

  - Print the second column of the lines containing "foo" in a space-separated file:
    awk '/foo/ {print $2}' path/to/file

  - Print the last column of each line in a file, using a comma (instead of space) as a field separator:
    awk -F ',' '{print $NF}' path/to/file

  - Sum the values in the first column of a file and print the total:
    awk '{s+=$1} END {print s}' path/to/file

  - Print every third line starting from the first line:
    awk 'NR%3==1' path/to/file

  - Print different values based on conditions:
    awk '{if ($1 == "foo") print "Exact match foo"; else if ($1 ~ "bar") print "Partial match bar"; else print "Baz"}' path/to/file

  - Print all lines where the 10th column value equals the specified value:
    awk '($10 == value)'

  - Print all the lines which the 10th column value is between a min and a max:
    awk '($10 >= min_value && $10 <= max_value)'

[wxb]

Shell 使用awk进行高级文本处理

1. awk命令结构

awk 'BEGIN{  print "start" } pattern { commands } END{ print "end" }' file
或
awk "BEGIN { statements } { statements } END { end statements }"

awk脚本通常由3部分组成：

这3个部分都是可选的

• BEGIN
• 带模式匹配选项的公共语句块
• END和

2. awk命令原理

• awk以逐行的形式处理文件
• awk命令的工作原理：
  • 首先执行BEGIN { commands } 语句块中的语句。

    BEGIN语句块在awk开始从输入流中读取行之前被执行。这是一个可选的语句块，诸如变量初始化、打印输出表格的表头等语句通常都可以放在BEGIN语句块中。

  • 接着从文件或stdin中读取一行，如果能够匹配pattern，则执行随后的commands语句块。重复这个过程，直到文件全部被读取完毕。

    和pattern关联的语句块。同样是可选的。如果不提供，则默认执行{ print }，即打印所读取到的每一行。awk对于读取到的每一行都会执行该语句块。

  • 当读至输入流末尾时，执行END { commands } 语句块。

    END在awk读取完输入流中所有的行之后被执行。像打印所有行的分析结果这种常见任务都是在END语句块中实现的

• awk命令也可以从stdin中读取输入
• awk脚本可以放在单引号或双引号中

3. awk可以使用的一些特殊变量

• NR：表示记录编号，当awk将行作为记录时，该变量相当于当前行号。
• NF：表示字段数量，在处理当前记录时，相当于字段数量。默认的字段分隔符是空格。
• $0：该变量包含当前记录的文本内容。
• $1：该变量包含第一个字段的文本内容。
• $2：该变量包含第二个字段的文本内容。

$ echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7" | \

awk '{
    print "Line no:"NR",No of fields:"NF, "$0="$0,
    "$1="$1,"$2="$2,"$3="$3
}'
Line no:1,No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3
Line no:2,No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5
Line no:3,No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7

4. awk应用示例

• 使用不带参数的print时，它会打印出当前行

  $ echo -e "line1\nline2" | awk 'BEGIN { print "Start" } { print } \
      END { print "End" } '
  Start
  line1
  line2
  End

• print能够接受参数。这些参数以逗号分隔，在打印参数时则以空格作为参数之间的分隔符

  $ echo | awk '{ var1="v1"; var2="v2"; var3="v3";  print var1,var2,var3 ; }'

• { }就像一个循环体，对文件中的每一行进行迭代

• 将外部变量值传递给awk（借助选项-v）

  $ VAR=10000
  $ echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'
  10000

• 变量以键-值对的形式给出，使用空格分隔（v1=$var1 v2=$var2），作为awk的命令行参数紧随在BEGIN、{}和END语句块之后

  $ var1="Variable1" ; var2="Variable2"
  $ echo | awk '{ print v1,v2 }' v1=$var1 v2=$var2
  Variable1 Variable2

• 设置字段分隔符

  • awk 默认的字段分隔符是空格
  • 可以用选项-F指定不同的分隔符：$ awk -F: '{ print $NF }' /etc/passwd
  • 在BEGIN语句块中可以用FS="delimiter"设置输出字段分隔符：awk 'BEGIN { FS=":" } { print $NF }' /etc/passwd

[wxb]

cut

[wxb]

Shell 使用cut按列切分文件