AI 数据清洗清单：分析前的 20 项检查

修改数值前，先约定转换与使用条件

首先明确下游要做什么。完整的每日数量报表、仅导入已验证记录的有限任务，以及模型训练集，对发布条件的要求并不相同。某个任务可以使用部分记录，另一个任务使用同样的子集却可能产生误导。

随源快照记录以下六项。即使规范化副本更便于分析，原始值也必须能够找回。

可以用20 项复核工作表记录上述决定。虚构源数据与处理依据包则列出下方案例的完整前提。两份资料都是教学辅助材料，不代表真实数据集已经获准使用。

AI 辅助数据清洗的 20 项检查

1. 原样保留收到的数据

在任何可能自动推断类型的工具中打开工作副本前，保存原文件并赋予稳定的来源标识。记录导出时间、负责人和保存位置。如果文件重新生成，应视为另一份输入，除非有证据证明内容一致。

只保留文件名并不够：两次导出可能同名却不同内容。保留原始内容，为各个候选版本分别编号。修正应发生在可追溯的副本中，不能覆盖唯一来源。

2. 记录导出的生成方式

记录查询或导出设置、上游转换及相关时区。某条记录缺失可能是筛选条件造成的，而不是清洗造成的。还应确认收到的是全量快照、增量更新，还是更正文件。

如果提取方法未知，就明确标记这一点。不能因为行数看起来合理，就推断文件已经完整。没有额外且获准使用的来源，转换程序无法找回从未提供的记录。

3. 确认总体与记录粒度

用一句话定义一行代表什么，例如一个作业、一次作业事件，或一个作业明细行。同时规定纳入的期间和状态。这些定义决定哪些键必须唯一，哪些重复值其实合理。

教学案例根据明确的导出清单，将同一记录的重复投递排除在候选数据之外。这与“作业编号第二次出现就删掉”不是一回事。修订版本和重复发生的活动，需要各自的处理规则。

4. 按字段字典检查列结构

对照约定，核查必需列的名称、含义和格式。字段从 completed_units 改名为 quantity 时，需要明确映射，不能假设两个名称天然等价。

处理前列出新增、缺失和改名字段。如果上游把单次事件数量改成累计数量，即使每个值仍然是数字，原来的求和方法也可能失去意义。应暂停受影响的输出，直到新定义得到确认。

5. 保留标识符，并分别验证数值解析

如果前导零有意义，0001 就应作为字符串标识符保存。数量字段则按照已声明的区域格式单独解析。本例明确规定 1,200 是美式英语千位分组整数，含义为 1200；不能把这一解释自动套到其他来源。

导入设置会影响结果。pandas read_csv 文档提供类型与缺失标记解释的控制参数。本地使用 pandas 3.0.1 进行的两行小测试中，默认读取把示例编号 0001 转成数值，将 NA 解释为缺失；显式控制字符串类型与缺失标记后，两者得以保留。这是教学输入上的库行为，不是 OpenMax 性能测试，也不是适用于所有数据的导入配置。

6. 补值之前先区分缺失状态

区分空白、未知、不适用、尚未采集和已遮蔽。有效的来源类别也可能看起来像常见缺失标记：本例的字段字典就明确把 NA 定义为合法类别。

未经逐字段核对，不要把所有“像缺失”的值都统一成一个空值状态。保留原始标记，并为规范化后的缺失状态附上原因。判定某值不存在，与决定是否允许估算，是两个不同步骤。

7. 应用有条件的必填规则

字段是否必填，往往取决于流程状态。尚未完成的作业可以没有完成日期，已完成作业则可能必须同时具备日期和数量。应直接表达这个条件，而不是把所有空白都算作缺陷。

示例中 R5 已完成但数量为空，因此保持暂缓。填入零会把“尚不知道完成了多少”改成“已经知道完成量为零”。待核实任务应向来源负责人索取测量值，而不是让 AI 给出看似合理的替代数。

8. 用书面优先规则解决键冲突

按声明的粒度检查唯一性，并保留所有冲突记录以供比较。如果两个版本互相矛盾，需要明确哪一个来源、版本或生效时间具有优先权。任意保留第一行或最后一行，不是业务规则。

排除已确认的重复投递时，保留被排除行的来源引用，以及它与保留行的对应关系。原始数据仍包含两行。这样既能解释候选行数减少的原因，也不会让证据像从未收到过一样消失。

9. 把相似实体当作候选，而不是已确认匹配

规范化名称、地址或联系方式有助于发现疑似重复，但相似不等于同一身份。不同的人可能同名，同一企业也可能有多个合法商业名称。

OpenRefine 聚类文档明确区分语法层面的聚类与具备语义判断的实体核对。复核合并建议时，应展示匹配依据和冲突字段，再由授权人员决定。不能仅为减少不同值的数量，就合并身份。

10. 核查父记录引用与无效键

外键是引用另一张表中记录的字段。确认每个外键是否能找到允许引用的父记录，并考虑时间差、停用状态和对应快照。把无法匹配的有效键，与格式无效或缺失的键分开。空键不能成为分配默认人员或账户的理由。

补充关联信息前，先规定空值键与空字符串键如何处理。如果它们都不能标识业务实体，就不要让它们进入连接输入，同时把原记录保留在例外台账中。否则，技术上成功的连接也可能附加无关信息。

11. 依据明确格式规范日期

保留来源日期文本，说明允许的格式、必要时的时区及截止规则。未声明格式时，03/04/2026 存在歧义。解析器能够产生一个有效日期，并不代表业务含义已经确定。

本例接受 ISO 格式日期，但 R8 的斜杠格式没有提供解释依据，因此继续暂缓。不能因为某种解释刚好落入想要的报表期间，就擅自选为 3 月 4 日或 4 月 3 日。

12. 统一度量时保留原始依据

为数值附上单位，并记录换算定义。箱、件和千克不能当作同一单位求和。百分比与小数形式也必须明确尺度。

分别保存原数量、标准化数量与转换规则。对于币种或其他随日期变化的换算，还应记录适用依据及来源。如果依据不存在，就将标准化值标记为不可用，而不是选一个方便的汇率或系数。

13. 用批准的映射表转换受控类别

类别映射表将允许的源标签对应到目标标准标签，需要注明版本和适用范围。本例允许去除首尾空格并把 Done 映射为 done，但没有为 BETA 提供映射。

未知标签进入待映射队列，不要分配给外观最接近的类别。同时检查映射碰撞：如果两个源状态具有不同业务含义，把它们合并成一个标签，可能抹掉下游仍然需要的区别。

14. 检查文本规范化是否改变含义

修复编码、去除空白与 Unicode 规范化不是同一种操作。应按字段定义选择，并对比前后值。不能仅因匹配算法偏好简单字符串，就全局删除名称或标识符中的标点和重音符号。

Python Unicode 文档区分标准等价与兼容等价的规范化形式。应记录实际使用的形式，而不是把所有文本规范化视为等价。保留原字符串；若简化形式只用于搜索，就另外保存为匹配用表示。

15. 转换后重新检查范围与字段关系

转换完成后，再次核查数量、区间和字段关系。来源即使通过表面字符串检查，解析规则也可能产生无效数值。记录允许范围、生效规则与可接受例外。

例如，在字段定义确实如此时，“数量必须是非负整数”是一条可执行规则。但不能悄悄把它套到冲销记录或允许小数的度量上。先校正规则范围，再判断哪些记录真正有问题。

16. 调查异常值，而不是抹平真实事件

选择相关的同类记录与时间窗口进行比较。异常大的交付量可能真实，普通大小的值也可能用了错误单位。保留标记原因，核实来源后再考虑修改。

如果分析方法有意对数值设上限或排除记录，应把它说明为分析处理，而不是发现了“真实值”。保留未处理数据，并展示结果对该决定的敏感性。不能仅因某种异常值处理产生更理想的结果就采用它。

17. 将估算值与观测事实分开

补值是在估算缺失内容，并不是恢复原始测量。应记录允许补值的字段、方法、参考总体、不确定性，以及区分估算和观测的标记。有些记录应保持不完整，直到负责人提供事实。

建模时，拟合预处理还存在另一类风险。scikit-learn 的数据泄漏指引把缺失值填补列为可能泄漏测试集信息的转换之一。此类预处理应在训练数据上拟合，而不是从合并后的训练集与测试集中学习。这项模型专用要求，并不意味着应在明确用途前把全部运营源数据先补满。

18. 不只检查连接基数，还要测试匹配语义

先声明预期关系是一对一、一对多还是多对一，再检查未匹配键与输出变化。连接基数检查只能验证结构条件，不能证明每一次匹配在业务上都有效。

pandas merge 文档提醒，两侧空值键可能互相匹配。本地两行测试中，即使通过多对一验证，空键行仍然从空键参考记录取得了负责人。将两侧无效键排除在连接输入之外后，这次错误匹配不再发生，而原记录继续暂缓。应测试实际使用的工具与版本，不能假设它们的行为相同。

19. 对账排除项、暂缓项与可用记录

说明每条源记录的去向。本例收到八行，最终对应一条重复投递排除、三条符合条件的候选记录、四条暂缓记录。这个划分解释了全部八行，但不表示八行都能使用。

已知数量与未知数量应分开对账。符合条件的子集合计 1,230 件；暂缓记录包含 42 件已知数量，以及一项未知数量。即使可获得数值的算术和确实为 1,272，也不能把它称为完整总量，否则等于暗中将缺失数量当作零。

20. 为指定用途发布指定版本

一起交付候选数据、规则版本、变更日志、例外台账与对账结果。说明输出是完整数据还是部分子集，以及哪些接收方可以使用。保留回滚引用与返回源记录的关联。

本例支持的是三条已验证记录组成的子集，而不是完整数据报表。只有下游用途明确接受其限制，才可能批准使用该子集。若要提供完整数量报表，数量、类别、编号与日期的未决问题仍是发布阻碍。“这些行通过了检查”不等于“数据集已经可以发布”。

将清单落实为五阶段复核

1. 不改源数据，先检查现状。 记录列结构、行数、键模式、缺失状态和未确认定义。此阶段的成果是附有证据的基线，而不是清洗后文件。
2. 写明拟议规则。 每项变更都注明字段、适用记录、来源依据、预期影响和例外处理。高影响或含义不明确的转换，应先由负责人批准再执行。
3. 构建候选数据和逐行日志。 保留原值，分开保存派生字段，并记录排除项与暂缓项。AI 的解释应与证据一起出现，不能替代证据；运行中也不要静默刷新来源。
4. 对账并主动寻找反例。 变更后重跑相关检查，加入已知正确案例、人为设置的错误和有效例外。检查行数、类别、合计和下游含义的变化，而不只统计通过了多少规则。
5. 批准具体版本，并复核下一次导出。 明确用途、接收人和未解决依赖。下次投递时，先比较列结构与来源定义，再重放相同转换。已批准的旧规则未必适合变化后的来源。

既要记录清洗消除的问题，也要记录它引入的新问题。猜填缺失值会让表面完整率提高，但事实可靠性可能下降。应依据下游决策及其证据定义成功，而不是只看空白数是否变少。

八条源记录：三条符合条件，四条暂缓

这是虚构案例。其字段字典规定了四位作业编号、有效的 NA 地区标记、美式整数分组、批准的状态映射与日期要求。导出清单明确指出 R3 是 R2 的重复投递。这些都是预先给定的条件，不是模型推断的结果。

来源资料包明确列出了所有未在表中展开的字段和完整行内容。行数关系是 8 = 1 + 3 + 4。排除重复投递后剩七条观测，其中一条没有编号，因此不能称为“七个有效且唯一的作业编号”。

三条符合条件记录包含 10 + 20 + 1200 = 1230 件。暂缓记录中有 5 + 7 + 30 = 42 件已知数量，另有一项数量未知。去重前，可获得数量的和为 1,292；排除重复的 20 后为 1,272。这些都只是已知值小计，不能证明来源完整总量。

如需报告符合条件的比例，必须写清分母。去重后的七条观测中有三条符合条件，约为 42.86%；收到的八条源行中有三条符合条件，则为 37.5%。两者都不是模型准确率。更重要的是，只要未决记录仍影响完整报表，这两个比例都不能授权发布完整总量。

原生规则、脚本与 AI 各自适合什么工作

人工或表格原生检查适合规模小、结构稳定、规则明确的数据。负责人无需复杂设置就能逐条看修改，但若过程只存在于个人记忆中，复现能力就很弱。类别映射和例外决定不应只留在临时聊天记录里。

脚本化转换适合规则能够反复测试的周期性结构。固定相关运行版本，保存输入输出版本，并加入边界案例。本页的两个 pandas 小测试说明：实际验证解析器和连接行为，比假设所有工具同样处理缺失值更有帮助。

交互式聚类工具适合需要人工判断的疑似拼写分组。工具可以提出候选，但值的含义是否相同仍由复核者决定。相似度阈值不能单独成为合并客户身份的授权。

AI 辅助适合起草规则解释、整理例外，以及针对含义不明的字段提出具体问题。要求它引用已提供的字典或源记录。规则明确时，用可执行检查完成计算；含义未知时，取得证据，而不是让模型说得更肯定。

OpenMax 可以参与哪一段复核

OpenMax 将产品定位为人类与智能体协作平台。因此，清洗复核是一个相关的协作场景：智能体可以参与准备例外摘要，责任人判断可接受的处理。不过，这一定位本身不能证明已有原生清洗引擎、特定连接器，或对数据集进行无损编辑的能力。

评估拟议方案时，应要求演示来源识别、访问范围、逐行证据、规则版本记录、负责人决定，以及候选数据和原件分离。这些是验收要求，不是对每一种 OpenMax 部署都已实现的功能承诺。

下一步可带着已妥善处理敏感信息的样本、字段字典和下游用途，与 OpenMax 团队核对方案。先检验教学案例中的 NA、前导零编号和暂缓记录是否被保留，再用有代表性且已获授权的样本试验。教学练习成功不等于获准写入生产系统，也不能证明真实环境的质量。

如果简单原生规则已经解决问题，就继续使用它。只有当反复交接、例外和多名负责人带来现有方法难以处理的协作问题时，才需要进一步评估产品能否发挥作用。

仍需人工决定的限制与边界

清洗本身不能把不可靠来源变成事实。它是在已声明的前提下检查和转换记录。发布说明应保留不可获得的记录、未知定义和不支持的格式。如果隐藏排除项，即使子集看起来整洁，也可能错误代表总体。

向工具提供个人、客户或其他受限信息前，应确认获准环境与处理规则。样本小并不自动意味着匿名化。身份合并、敏感属性推断和高影响决策，需要相应业务与数据处理责任人的复核；本文不提供这种批准。

若问题涉及公式引用、隐藏行或工作簿状态，可阅读电子表格异常复核指南。若数值最初来自文档，可先阅读PDF 提取验证流程。本清单负责后续转换与使用决定，不代替对这些工具全部行为的验证。

实际终点不是“所有单元格都有值”，而是一份有明确版本的输出：修改、排除和残留不确定性适合其指定用途，并且能够追溯到收到的来源。

常见问题：AI 数据清洗如何决策

AI 应自动删除重复记录吗？

只有明确且适用的规则，才能为排除或合并提供依据。重复投递、修订记录和第二次真实事件属于不同情况。保留原始记录，标明留存版本，并记录决定的授权依据。仅凭相似度不能确认同一身份。

清洗后，缺失值可以变成零吗？

除非来源定义明确规定这一含义，否则不能。缺失可能表示未知、未采集、已遮蔽或不适用。应保留原始状态，并区分观测到的零、估算值和不可获得值。跳过缺失值的求和结果，不自动等于完整总量。

通过多对一验证的连接，也会附加错误信息吗？

会。基数检查不是完整的身份验证。例如，pandas 文档说明的空键行为，可能让两侧缺失键互相匹配，即使参考侧唯一性满足要求。应验证键是否是可用业务标识符，检查未匹配情况，并测试工具实际语义。

清洗日志应包含什么？

记录来源版本、源行或字段、规则编号与版本、原值、拟议和接受的处理、证据、负责人决定、候选版本、验证结果与回滚引用。排除项与暂缓项也必须可追溯，不能只描述最后留下的记录。

其他行暂缓时，可以先用通过检查的记录吗？

只有下游用途明确接受清楚标注的部分子集时才可以。应说明排除了什么、仍有哪些未知。如果任务要求完整总体或完整总量，影响结果的未决记录仍会阻止发布，即使部分行通过了全部检查。

来源与编辑核验说明

本文由 OpenMax 内容团队为 OpenMax 自有资源页面编写，明确披露与产品的关系。20 项检查顺序与八行数据是编辑设计的教学材料，不是客户案例或检测准确率基准。

以下第一方资料于 2026 年 9 月 4 日核对：

• pandas read_csv：导入类型与缺失标记控制。
• pandas merge：空键行为与关系验证。
• OpenRefine 聚类方法：语法候选分组与语义核对的区别。
• Python unicodedata：规范化形式及其差异。
• scikit-learn 常见陷阱：拟合预处理与测试数据泄漏。
• OpenMax 公开产品说明：附归属的产品定位，不证明拟议清洗方案已具备全部能力。

两项内存中的解析与连接测试使用 pandas 3.0.1 执行；核对的在线 pandas 参考页面标示为 3.0.5。案例算术另外进行了验证。这些有限检查不测试 OpenMax、Excel、任意数据集或所有软件版本。真实字段含义与发布条件仍须由相应负责人提供。

如需纠错，请通过网站联系入口指出受影响的检查项、源记录或应用及版本。上游定义变化时，应重新审查规则与下游影响，而不只是修改文章措辞。