什么是数据清洗，如何验证数据是否“干净”

数据清洗是为机器学习（ML）和商业智能（BI）应用程序准备原始数据的一个必不可少的过程。数据清洗的关键步骤包括修改和删除不正确和不完整的数据字段、识别和删除重复信息和不相关数据，以及更正格式、缺失值和拼写错误。

一、什么是数据清洗？

数据清洗是为机器学习（ML）和商业智能（BI）应用程序准备原始数据的一个必不可少的过程。原始数据可能会包含许多错误，这可能会影响 ML 模型的准确性，并导致预测不正确和出现负面的业务影响。 

数据清洗的关键步骤包括修改和删除不正确和不完整的数据字段、识别和删除重复信息和不相关数据，以及更正格式、缺失值和拼写错误。

二、为什么数据清洗非常重要？

当一家公司使用数据来推动决策制定时，使用相关、完整和准确的数据至关重要。但是，数据集通常包含一些错误，必须在分析之前将它们删除。可能包括格式错误，例如错误的日期和货币，以及其他可能对预测产生重大影响的计量单位。异常值是一个特别值得关注的问题，因为它们总是会使结果发生偏差。其他常见的数据错误包括数据点损坏、信息缺失和印刷错误。干净的数据有助于生成高度准确的 ML 模型。 

干净、准确的数据对于训练 ML 模型尤其重要，因为使用糟糕的训练数据集可能会导致部署模型做出错误预测。这是数据科学家花费大量时间为 ML 准备数据的主要原因。

三、如何验证您的数据是否“干净”？

数据清洗过程包含几个必需的步骤，旨在识别和修复问题条目。名列前茅步是分析数据以识别错误。这可能涉及通过使用规则、模式和约束来识别无效值的定性分析工具。下一步是删除或更正错误。 

常见的数据清洗步骤包括修复：

• 重复数据：删除重复信息
• 不相关数据：确定特定分析的关键字段并从分析中删除不相关数据
• 异常值：异常值会显著影响模型性能，因此请识别异常值并确定适当的操作
• 缺失数据：标记并删除或估算缺失数据
• 结构错误：纠正印刷错误和其他不一致，并使数据符合通用模式或约定