论文数据分析前清洗什么？缺失、异常、编码检查清单

论文工作流 · 更新日期：2026/07/11

直接答案：论文数据清洗不是“把不显著的数据修漂亮”，而是让每一列符合变量定义并留下可追溯记录。至少要检查原始备份、变量字典、数据类型、取值范围、缺失编码、重复个案、异常值、反向计分、派生变量和最终样本。每一步都要先定义规则，再操作，再用描述或频数复核。

一、先建立不可破坏的证据链

保留一份只读原始文件，不直接覆盖；创建带日期和版本号的工作副本；另建变量字典，记录变量名、标签、类型、单位、合法范围、值标签、缺失编码、量表维度和反向题。所有删除、重编码、填补、变换和派生列都写进变更日志。

ChatSPSS增强预处理支持计算新列、重命名和删除、反向计分、标准化/归一化、对数/平方根/Box-Cox变换、交互项、数据验证、模板、分类编码和分箱，并可写回源文件、启用备份撤销。能力可用不代表操作自动正确，尤其是公式、范围和新列含义必须人工复核。

1行列结构：一行是否代表一个观察单位，一列是否只表达一个变量；合并单元格、多层表头和空白说明行应在导入前处理。

2唯一标识：个案ID是否缺失或重复。重复可能是重复提交，也可能是同一对象不同时间点，不能仅凭相同姓名删除。

3变量类型：数值、类别、文本、日期和布尔是否识别正确。1=男、2=女是类别，不应因存储为数字就当连续变量。

4范围与单位：年龄、得分、金额、日期是否在定义范围内；厘米与米、元与万元混用会制造异常。

5类别和值标签：同一类别是否出现“男、男性、M”等多个写法；合并前保留原值映射，避免把不同含义错误合并。

6缺失值：区分空白、系统缺失、拒答、不适用和特殊编码。先统计比例与分布，再决定删除、保留或有依据的填补。

7异常值：核对录入、测量和业务背景。真实极端值可能正是研究对象，不能为改善正态性或P值自动删除。

8量表计分：按正式手册检查反向题、维度归属、总分或均分公式；不要看到负相关后临时决定反向。

9派生变量：分箱、标准化、交互项和总分使用什么公式、如何处理缺失，必须写入字典并抽查样本。

10最终样本流：记录原始行数、各规则排除数和最终有效样本；不同分析若样本量不同，要能解释原因。

红线：禁止根据最终显著性反推清洗规则。自动清洗也可能改变分布、关系和样本构成，因此“操作成功”不等于“研究结论未受影响”。

例：员工问卷含ID、年龄、部门、满意度Q1-Q8和月收入。约定年龄18—70，部门只允许四类，Q3与Q7按量表手册反向，999表示拒答而非收入。先让系统验证，不要让它自行猜测异常规则。

一句话指令示例

“请先启用备份，对员工问卷做数据质量检查：验证ID唯一性；年龄范围18到70；部门仅允许研发、销售、运营、职能；把月收入中的999标记为用户缺失；按1—5量尺反向计分Q3和Q7，并生成满意度均分新列。不要自动删除异常个案，输出操作摘要、新列、警告和处理前后有效样本，最后做描述与频数复核。”

查看操作摘要是否与指令逐项对应，检查新列公式、被标记缺失的数量、警告和最终样本。随机抽查数行手算反向分与均分；对范围异常列表回到原问卷或数据源核验。若任何步骤不可解释，恢复备份再修改规则。

论文方法部分说明原始样本、排除规则、缺失处理、异常值判断、量表计分和最终样本；附录可放变量字典或清洗流程。不要只写“使用软件进行数据清洗”，那无法让读者判断你改变了什么。

操作顺序也要固定：先校正结构与类型，再标记缺失和范围异常，之后处理量表计分与派生变量，最后才进入分析。若先计算总分再修正反向题，总分需要全部重算；若先删除行再检查重复ID，也可能丢掉本可核验的来源证据。

清洗结束后把数据冻结成一个分析版本，记录文件哈希或至少记录文件名、时间和行列数。后续发现问题时另建新版本，不在已经生成论文表格的文件上静默修改。这样可以解释为什么两次分析的样本量不同，也能让复核者重现当时的输入。

数据清洗可以直接覆盖唯一原文件吗？

不建议。应保留只读原始文件、工作副本、变量字典和变更日志；ChatSPSS预处理支持写回与备份撤销，但研究者仍需核对每项操作。

所有缺失值都用均值填补可以吗？

不可以。处理方式取决于缺失原因、比例、变量类型和后续模型；简单填补可能压低变异并改变关系，必须说明依据并比较影响。

异常值一定要删除吗？

不一定。先区分录入错误、测量异常与真实极端观测；删除要有预先规则或明确证据，并保留处理前后结果与披露记录。

清洗完成后为什么还要先做描述统计？

描述和频数能暴露范围、类别、缺失、样本量与分布异常，是核对清洗结果是否符合变量定义的最后质量门。

上传受支持的数据文件，用自然语言发起 ChatSPSS 当前支持范围内的分析