当有人提到“清理数据”时，首先浮现在脑海中的往往是打开一个 Jupyter Notebook，开始使用 pandas 进行操作。但有一点很少有人记得：这项清理工作中有一部分非常强大的功能可以直接在终端中完成，利用系统中已经安装的工具。

在这里，你将看到如何使用基本的命令行工具来清理、转换和探索数据文件。不需要安装一堆东西：只需打开你的终端，并在文件夹中放置一些 CSV 文件，就像你在处理一个充满客户注册问题的电子表格一样。

在开始输入命令之前，了解一下这在日常工作中为何如此有用：

• 命令行工具简单易用，快速高效，尤其是在处理大型文件时，比如系统日志、巨型 CSV 摘要或 ERP 导出。
• 它们在 Linux 和 macOS 中自带，也有 Windows 版本。
• 在将所有数据加载到 Python 或其他语言之前，它们非常适合用来初步查看数据。
• 可以轻松将命令串联在脚本中，并将这套清理流程作为自动化的一部分重复使用，无论是在定时任务、数据管道还是维护脚本中。

让我们开始动手吧。

提示：想象一下，这段文字旁边有一个在GitHub上的Bash脚本。我们的想法是让你打开终端，把文件放在一旁，逐行复制命令，以便亲身体验它是如何工作的。

创建一个“脏”数据集

第一步：构建一个非常混乱的CSV文件来进行练习。它模拟了在HR登记、销售表格、学生名单等实际问题中出现的情况。

cat > messy_data.csv << 'EOF'
name,age,salary,department,email
John Lee,32,50000,Engineering,john@example.com
Jane Smith,28,55000,Marketing,jane@example.com
   Bob Davis    ,35,60000,Engineering,bob@example.com
Alice Williams,29,,Marketing,alice@example.com
Charlie Brown,45,70000,Sales,charlie@example.com
Dave Wilson,31,52000,Engineering,
Emma Davis,,58000,Marketing,emma@example.com
Frank Miller,38,65000,Sales,frank@example.com
John Lee,32,50000,Engineering,john@example.com
Grace Lee,27,51000,Engineering,grace@example.com
EOF

这个迷你数据集已经存在多个典型问题：一些名称前后有多余的空格、缺失的值、重复的行。这种情况通常出现在你合并来自不同系统的数据、导入多个人的电子表格或从不同平台下载报告时。这是一个很好的学习场景。

1. 使用 head、tail 和 wc 探索您的数据

在尝试修复任何内容之前，您需要了解自己正在处理的内容。这就像打开一个杂乱的橱柜，先看一眼，然后决定什么要扔掉，什么要捐赠，什么要放回架子上。

# 查看前5行（包括标题）
head -n 5 messy_data.csv

# 查看最后3行
tail -n 3 messy_data.csv

# 统计总行数（包括标题）
wc -l messy_data.csv

这里发生了什么？

• head -n 5 显示前5行，这是一个快速预览，用于查看文件格式是否符合预期。
• tail -n 3 显示最后3行，非常适合检查文件是否正确结束，或者最后是否有行被截断。
• wc -l 统计行数；减去1（标题行），你就可以知道实际有多少条记录。

示例输出:

name,age,salary,department,email
John Lee,32,50000,Engineering,john@example.com
Jane Smith,28,55000,Marketing,jane@example.com
   Bob Davis    ,35,60000,Engineering,bob@example.com
Alice Williams,29,,Marketing,alice@example.com
Frank Miller,38,65000,Sales,frank@example.com
John Lee,32,50000,Engineering,john@example.com
Grace Lee,27,51000,Engineering,grace@example.com
11 messy_data.csv

这就像在LibreOffice中快速查看一个电子表格，只是想确认数据“看起来”是否正确。

2. 使用 cut 查看特定列

并不总是想查看整个文件。有时，只想知道人名和他们工作的部门，比如当你的老板说“只给我发一份包含姓名和部门的列表，其他的无所谓”。

cut -d',' -f1,4 messy_data.csv

逐步理解：

• cut 是一个用于“剪切”每行部分内容的工具。
• -d',' 指定字段的分隔符；这里是逗号，和任何标准的CSV一样。
• -f1,4 表示你想要第1列和第4列（姓名和部门）。

你还可以使用列的范围：-f1-3 会获取从第1列到第3列的内容。

输出：

name,department
John Lee,Engineering
Jane Smith,Marketing
   Bob Davis    ,Engineering
Alice Williams,Marketing
Charlie Brown,Sales
Dave Wilson,Engineering
Emma Davis,Marketing
Frank Miller,Sales
John Lee,Engineering
Grace Lee,Engineering

这很像在电子表格中筛选列，只不过在这里你可以用一行命令来实现，并且可以将其嵌入到可重用的脚本中。

3. 使用 sort 和 uniq 移除重复行

注意到“John Lee”在文件中出现了两次吗？在真实的数据库中，这种情况很常见：客户重复注册、学生重复、员工在工资单中出现两次。

我们来处理一下这个问题。

# 首先保存表头
head -n 1 messy_data.csv > cleaned_data.csv

# 移除其余部分的重复项（不包括表头）
tail -n +2 messy_data.csv | sort | uniq >> cleaned_data.csv

每个部分的作用是什么？

• • head -n 1 只获取第一行，即表头，并保存到 cleaned_data.csv 中。

• • tail -n +2 从第二行开始获取所有内容，跳过表头。

• • sort 对行进行排序；这很重要，因为 uniq 只能删除相邻的重复项。

• • uniq 删除相邻的重复行。

• • >> 将结果追加到文件末尾（而不是像 > 那样覆盖）。

这就像拿一份点名单，按名字排序并划掉重复的，保持一切整齐有序。

4. 使用 grep 进行搜索和过滤

现在我们来谈谈搜索和过滤。想要只找到工程部门的人吗？或者找到空字段的行？解决这个问题的工具就是 grep，它可以直接在终端中使用。

# 查找所有包含“工程”的行
grep "Engineering" messy_data.csv

# 查找包含空字段的行（连续两个逗号）
grep ",," messy_data.csv

# 排除缺失数据的行
grep -v ",," messy_data.csv > no_missing.csv

工作原理：

• grep "模式" 用于查找包含该文本的行。

grep -v 的作用是相反的：只显示不符合模式的行。

• 在",,"的情况下，我们假设缺失的值变成了两个连续的逗号，这在CSV文件中某个字段为空时是很常见的。

这在你想要分离出一份“干净”的客户列表（所有字段都已填写）和一份只包含有问题记录的列表（以便后续修正）时，非常有用。

5. 使用sed去除多余空格

注意“Bob Davis”的记录：名字前后有多余的空格。这在比较、分组或在报告中美观地展示名字时会造成困扰。

我们来去掉这些多余的空格。

sed 's/^[ \t]*//; s/[ \t]*$//' messy_data.csv > trimmed_data.csv