首页

在Linux的命令行中实现字符出现频率统计的方法

Linux 命令行有很多的乐趣,我们可以很容易并且完善地执行很多繁琐的任务。比如,我们计算一个文本文件中字和字符的出现频率,这就是我们打算在这篇文章中讲到的。

立刻来到我们脑海的命令,计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。

在使用的脚本来分析文本文件之前,我们必须有一个文本文件。为了保持一致性,我们将创建一个文本文件,man命令的输出如下所述。

代码如下:

$ man man > man.txt

以上命令是将man命令的使用方式导入到man.txt文件里。

我们希望能得到最平常的单词,对之前我们新建的文件执行如下脚本。

代码如下:

$ cat man.txt | tr ' ' '/012' | tr '[:upper:]' '[:lower:]' | tr -d '[:punct:]' | grep -v '[^a-z]' | sort | uniq -c | sort -rn | head

Sample Output

代码如下:

7557

262 the

163 to

112 is

112 a

78 of

78 manual

76 and

64 if

63 be

上面的脚本,输出了最常使用的十个单词。

如何看单个的字母呢?那就用如下的命令。

代码如下:

$ echo 'tecmint team' | fold -w1

Sample Output

[code] t

e

c

m

i

n

t

t

e

a

m

注: -w1只是设定了长度

现在我们将从那个文本文件中掰下来的每一个字母,对结果进行排序,得到所需的输出频率的十个最常见的字符。

$ fold -w1 < man.txt | sort | uniq -c | sort -rn | head

Sample Output

代码如下:

8579

2413 e

1987 a

1875 t

1644 i

1553 n

1522 o

1514 s

1224 r

1021 l

如何区分大小写呢?之前我们都是忽略大小写的。所以,用如下命令。

$ fold -w1 < man.txt | sort | tr '[:lower:]' '[:upper:]' | uniq -c | sort -rn | head -20

Sample Output

代码如下:

11636

2504 E

2079 A

2005 T

1729 I

1645 N

1632 S

1580 o

1269 R

1055 L

836 H

791 P

766 D

753 C

725 M

690 U

605 F

504 G

352 Y

344 .

请检查上面的输出,标点符号居然包括在内。让我们干掉他,用tr 命令。GO:

代码如下:

$ fold -w1 < man.txt | tr '[:lower:]' '[:upper:]' | sort | tr -d '[:punct:]' | uniq -c | sort -rn | head -20

Sample Output

代码如下:

11636

2504 E

2079 A

2005 T

1729 I

1645 N

1632 S

1580 O

1550

1269 R

1055 L

836 H

791 P

766 D

753 C

725 M

690 U

605 F

504 G

352 Y

现在,我们有了三个文本,那就让我们用如下命令查看结果吧。

代码如下:

$ cat *.txt | fold -w1 | tr '[:lower:]' '[:upper:]' | sort | tr -d '[:punct:]' | uniq -c | sort -rn | head -8

Sample Output

代码如下:

11636

2504 E

2079 A

2005 T

1729 I

1645 N

1632 S

1580 O

下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本:

代码如下:

$ cat man.txt | tr '' '/012' | tr '[:upper:]' '[:lower:]' | tr -d '[:punct:]' | tr -d '[0-9]' | sort | uniq -c | sort -n | grep -E '..................' | head

Sample Output

代码如下:

1 ──────────────────────────────────────────

1 a all

1 abc any or all arguments within are optional

1 able see setlocale for precise details

1 ab options delimited by cannot be used together

1 achieved by using the less environment variable

1 a child process returned a nonzero exit status

1 act as if this option was supplied using the name as a filename

1 activate local mode format and display local manual files

1 acute accent

注: 上面的.越来越多,其实,我们可以使用.{10} 得到同样的效果。

这些简单的脚本,让我们知道最频繁出现的单词和英语中的字符。

现在结束了。下次我会在这里讲到另一个有趣的话题,你应该会喜欢读。还有别忘了向我们提供您的宝贵意见。