|
大数据文摘作品 编译：汪小七、Katrine Ren、夏雅薇 本篇文章作者是Matthew Mayo，选自KDnuggets（一个著名的数据挖掘网站）。简要介绍了12种类Unix操作系统命令行工具，以及这些命令行工具对数据科学研究和数据科学家的价值。 这篇文章概述了十二个可以用于数据科学项目的类Unix操作系统命令行工具。 这一系列工具不包括任何基本的文件管理命令（pwd、ls、mkdir、rm……）和远程桌面管理工具（rsh、ssh……），但是从数据科学角度来看，这些命令行工具都是比较实用的，通常用来进行不同程度的数据检验和数据处理。 这一系列命令行工具都包含在一种特殊的类Unix操作系统中。 这些固然都是最基础的操作命令，但我还是鼓励你针对某些命令行自行查找更多的应用实例。 在本文中，工具名都可以直接链接到维基百科词条，而不是Linux的使用手册页面，我觉得前者对于新手来说更友好一点。 Linux的使用手册页面： https://linux./man/ wget wget是一个文件检索工具，用于从远程位置下载文件，其下载远程文件的基本用法如下： wget： https://en./wiki/wget ~$ wget https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv cat cat是将文件内容标准输出的工具，此名称来自连接（concatenate）这个词。它可以用于实现一些较复杂的文件处理，包括将文件合并在一起(也就是真正的文件连接)、将文件追加到另一个文件中、以及给文件行编号等功能。 cat： https://en./wiki/Cat_(Unix) ~$ cat iris.csv wc wc命令用于生成字数统计、行计数、字节计数以及与文本文件相关的内容。在没有设置其他选项的情况下，wc的默认输出是一行，由左到右依次是行数、字数统计（注意：每一行上没有空格中断的单个字符串被算作一个单词）、字符计数和文件名。 wc： https://en./wiki/Wc_(Unix) ~$ wc iris.cs head head命令是标准地输出文件的前n行（默认为10行），显示行数可以用-n项设置，如下。 Head： https://en./wiki/Head_(Unix) ~$ head -n 5 iris.csv tail 接下来猜猜看tail是用来实现什么功能的？ tail： https://en./wiki/Tail_(Unix) ~$ tail -n 5 iris.csv 运行命令行魔法 find find是用于搜索特定文件的文件系统工具。以下命令就是在树结构中搜索特殊文件的例子，即从当前目录(“.”)开始，搜索以“iris”开头，并以任意字符结尾，类型为普通文件类型(“-type f”)的文件: find： https://en./wiki/Find_(Unix) ~$ find . -name 'iris*' -type f cut cut命令用于文本分割，虽然cut用于分割文本可以在各种标准下进行，但是它对于CSV文件中列数据的提取尤其有用。以下命令即为输出使用逗号分隔符（'-d ',''）的iris.csv文件的第五列(“- f 5”): cut： https://en./wiki/Cut_(Unix) ~$ cut -d ',' -f 5 iris.csv uniq uniq是通过将文本中的重复行进行去重，从而将文本输出标准化的工具。就其本身而言，这似乎并没多大用处，但是当其用于构建pipelines时(将一个命令的输出连接到另一个命令的输入等等)将变得非常有用。 uniq： https://en./wiki/Uniq 以下命令结果是iris数据集的第五列中包含的不同类别及其计数: ~$ tail -n 150 iris.csv | cut -d ',' -f 5 | uniq -c 奶牛说了什么 awk awk实际上不是一个'命令',而是一套完整的编程语言。它用于处理和提取文本, 且可以从命令行中以单行命令的形式调用。 awk： https://en./wiki/AWK 完全掌握awk是需要一些时间的，但在此之前，这里有一个可以练习的例子。考虑到样本文件iris.csv相当有限的文本多样性，以下这行命令就可以调用awk，在给定的文件(“iris.csv”)中搜索字符串“setosa”，并将所有项(在$0变量中保存的)一个一个地标准输出如下: ~$ awk '/setosa/ { print $0 }' iris.csv grep grep是另一种文本处理工具，用来查找匹配字符串和正则表达式。 grep： https://en./wiki/Grep ~$ grep -i 'vir' iris.csv 当你需要花大量的时间进行文本处理时，grep无疑是你需要掌握的一个好工具，更多有用的信息请参考网站： https://www./2009/03/15-practical-unix-grep-command-examples。 sed sed是一个流编辑器，也是一个文本处理和转换工具，类似于awk。下面我们将用此命令把iris.csv文件中的“setosa”改为“irissetosa”: sed： https://en./wiki/Sed ~$ sed 's/setosa/iris-setosa/g' iris.csv > output.csv history history非常简单，但也非常有用，特别是当你需要用命令语句来完成一些重复性的数据准备工作时。 History： https://en./wiki/History_(Unix) ~$ history547 tail iris.csv 至此，这篇文章已经对这12个方便的命令行工具都进行了简单的介绍，这只是对数据科学(或其他任何目标)可能用到的命令行工具的一种粗浅的体验。现在，是时候让它们把你的生产力从鼠标中解放出来了。 原文链接： https://www./2018/03/top-12-essential-command-line-tools-data-scientists.html 【今日机器学习概念】 Have a Great Definition 志愿者介绍 回复“志愿者”加入我们 |
|
|
