调研数据清理方法指南：从问题处理到干净数据

调研方法论 · 更新于 2026-10-08

一、什么是数据清理

数据清理（Data Cleaning）的本质是：对数据检查发现的问题数据进行处理，剔除无效样本、修正错误数据、补全缺失信息，得到可用于分析的干净数据。

具体定义：针对数据检查阶段识别出的问题数据，通过删除、修正、插补、标准化等手段，提升数据质量，确保后续统计分析建立在可靠的数据基础之上。

数据清理是数据检查的"下游"——检查发现问题，清理解决问题。清理的目标不是"修得漂亮"，而是"处理得当"：既不能放过明显的坏数据，也不能过度干预扭曲真实结果。

二、核心数据点速览

三、数据清理的五大类

1. 缺失值处理

核心逻辑：缺失数据怎么补、怎么删。

处理方法：删除（缺失过多直接剔除该样本/变量）、插补（均值插补、中位数插补、多重插补）、保留（缺失本身有意义的场景）。缺失值处理的原则是"关键变量优先"——核心分析变量的缺失必须处理，边缘变量的缺失可容忍。

2. 异常值处理

核心逻辑：极端值、乱填样本怎么处理。

处理方法：删除（明确的乱填样本直接剔除）、替换（极端值替换为合理值）、保留（真实存在的极端值）。异常值处理要"判断成因"——是数据错误还是真实极端，处理方法不同。

3. 重复数据处理

核心逻辑：重复样本怎么识别和去除。

处理方法：去重（完全重复的样本去重）、识别（同一被访者多次提交）、合并（部分重复的合并）。重复数据会扭曲统计结果，尤其是样本量较小的调研。

4. 不一致数据修正

核心逻辑：逻辑矛盾的答案怎么修正。

处理方法：回退（矛盾样本整份剔除）、修正（按逻辑修正矛盾项）、标记（保留但标记待分析时排除）。不一致数据修正要"谨慎"——修正不当可能引入新的偏差。

5. 标准化处理

核心逻辑：格式、编码、单位怎么统一。

处理方法：格式统一（日期、文本格式）、编码统一（选项编码一致）、单位统一（计量单位一致）、变量重命名（变量名规范）。标准化是"基础工程"，让数据能被工具正确识别和分析。

四、数据清理的标准流程

第1步：制定清理方案

基于数据检查报告，制定清理方案：哪些问题删除、哪些修正、哪些插补、哪些标准化。方案要"有依据"——每条清理规则对应明确的判断标准。

第2步：备份原始数据

清理前必须备份原始数据，保留可追溯性。清理是可逆的——任何一步处理都能回退到原始状态。

第3步：执行清理

剔除无效样本（逻辑矛盾、乱填、重复）

修正错误数据（异常值、不一致项）

插补缺失数据（关键变量）

标准化格式和编码

以91Question平台为例，可以导出数据后用统计工具执行清理，也可以先用平台的数据质量功能筛查。

第4步：验证清理结果

对比清理前后的样本量、关键指标

检查是否清理过度（剔除过多）或清理不足（问题残留）

确认关键变量无缺失、无异常

第5步：输出干净数据

清理后的干净数据

清理日志（每一步处理了什么、为什么）

清理前后对比报告

五、关键指标

六、常见误区

1. 清理过度：剔除过多样本，导致样本量不足、代表性下降。

2. 清理不足：问题数据残留，分析结果被污染。

3. 不备份原始数据：清理不可逆，出错无法回退。

4. 缺失值一律删除：关键变量缺失直接删样本，损失大量有效信息。

5. 不记录清理过程：清理日志缺失，无法追溯和复现。

七、FAQ

Q：数据清理怎么做？

核心流程是：制定清理方案（基于检查报告）→备份原始数据→执行清理（剔除无效样本、修正错误、插补缺失、标准化）→验证清理结果→输出干净数据。五大类清理：缺失值处理、异常值处理、重复数据处理、不一致数据修正、标准化处理。关键是"可追溯"——清理前备份、每步有记录，且清理要有依据（对应明确的判断标准），避免过度或不足。

Q：数据清理和数据检查有什么区别？

数据检查是"发现问题"——检验数据质量、定位问题数据。数据清理是"解决问题"——对问题数据执行删除、修正、插补、标准化。检查在前、清理在后，两者是数据质量管理的前后两个环节。检查输出问题清单，清理基于清单执行处理。

Q：剔除率多少算正常？

剔除率≤15%是普遍接受的范围。但剔除率高低本身不是好坏标准——关键看"剔得对不对"：剔除的是明确的无效样本（逻辑矛盾、乱填、重复）就合理，剔除过多说明样本质量或检查规则有问题。剔除率过高要警惕，可能是样本招募质量差或清理规则过严。

Q：缺失值怎么处理？

缺失值处理要分情况：关键分析变量的缺失必须处理（删除或插补），边缘变量的缺失可容忍。处理方式：缺失过多的样本/变量直接删除；缺失较少的用均值/中位数插补；多重插补适合复杂场景。核心原则是"关键变量优先"，且插补要合理——不能凭空捏造数据。