首页 > 技术文章 > Shell脚本之——管道命令(sort/tr/cut等)

ly159357 2021-07-26 10:14 原文

一、常见的管道命令

1.1 sort命令

1.1.1 概述Linux sort命令用于将文本文件内容加以排序。

sort命令可针对文本文件的内容,以行为单位来排序。

1.1.2 语法格式

sort [选项] 参数

1.1.3 常用选项

-f∶ 忽略大小写,会将小写字母都转换为大写字母来进行比较;
-b∶ 忽略每行前面的空格;
-n∶ 按照数字进行排序;
-r∶ 反向排序;
-u∶ 等同于uniq,表示相同的数据仅显示一行;
-t∶ 指定字段分隔符,默认使用 【Tab】键分隔;
-k∶指定排序字段;
-o <输出文件>∶ 将排序后的结果转存至指定文件;

1.1.3 实例

实例1:直接使用sort对文本文件内容排序,数字的话按照顺序来排序,不是按照数值大小。
字母的话是优先小写字母进行排序。

实例2:使用-f选择忽略大小写进行排序

实例3:去重复然后按照数值的大小进行排序。

实例4:按照/etc/passwd内的UID进行从打到小反向排序
cat /etc/passwd | sort -t ':' -k 3 -nr

1.2 uniq命令

1.2.1 概述

Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用。

uniq 可检查文本文件中重复出现的行列。

1.2.2 语法格式

uniq [选项] 参数

1.2.3 常用选项

-c∶ 进行计数,并删除文件中重复出现的行;
-d∶ 仅显示连续的重复行;
-u∶ 仅显示出现一次的行;

1.2.4 实例

实例1:直接使用的话连续重复的数字只显示一行

实例2:结合sort对文本进行排序,仅显示出现一次的行

 

实例3:统计文本中每种数字出现的次数

实例4:仅显示有重复的数字

1.3 tr命令

1.3.1 概述

Linux tr 命令用于转换或删除文件中的字符。

tr 指令从标准输入设备读取数据,经过字符串转译后,将结果输出到标准输出设备。

1.3.2 语法格式

tr [选项] 参数

1.3.3 常用选项和参数

选项

-c∶保留字符集1的字符,其他的字符(也包括换行符\n)用字符集2替换
-d∶ 删除所有属于字符集1的字符
-s∶ 将重复出现的字符串压缩为一个字符串;用字符集2替换 字符集1
-t∶ 字符集2 替换 字符集1,不加选项和结果

参数

字符集1:指定要转换或删除的原字符集,当执行转换操作时,必须使用参数“字符集2”指定转换的目标字符集,但是执行删除操作时,不需要参

数“字符集2”;

字符集2:指定要转换成的目标字符集

1.3.4 实例

实例1:将小写abcd转换为大写

实例2:测试换行符替换,不指定换行符,默认换行符也会被替换。

 

实例3:删除字符

实例4:删除空行

 

实例5:把路径边变量中的“ :”替换成换行符\n

实例6:删除Windows文件造成的“^M”字符。
Linux中遇到换行符("\n")会进行回车+换行的操作,回车符反而只会作为控制字符("^M")显示,不发生回车的操作。而windows中 要回车符+换行符("\r\n")才会回车+换行,缺少一个控制符或者顺序不对都不能正确的另起。

1.3.5 使用tr对数组进行排序

分析:
1.使用echo ${arr[*]}可以输出数组列表
2.结合| tr " " "\n" 可以将输出内容中的空格换成换行符
3.然后在使用| sort -n对输出的内容进行按数值从小到大排序即可。

1.4 cut命令

1.4.1 概述

Linux cut命令用于显示每行从开头算起 num1 到 num2 的文字。
使用说明:

cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

如果不指定 File 参数,cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

1.4.2 语法格式

cut [选项] 参数


1.4.3 常用选项

-f∶ 通过指定哪一个字段进行提取。cut命令使用"TAB"作为默认的字段分隔符。
-d∶ “TAB"是默认的分隔符,使用此选项可以更改为其他的分隔符。
- -complement∶ 此选项用于排除所指定的字段。
- -output-delimiter∶ 更改输出内容的分隔符。

1.4.4 实例

实例1:输出/etc/passwd中的所有用户名

实例2:显示/etc/passwd中包含/bin/bash的选项,然后显示第1到4、6和7的字段。

实例3:显示/etc/passwd 中的字段,第三第四字段不显示。

实例4:检索出/etc/passwd文件中的第一和第七字段,并使用空格隔开

 

推荐阅读