概念与方法

异常值处理:先标记核查,再决定修正或保留

异常值是相对于当前数据与分析背景显得明显不同的观察。一个非常高的得分、极慢请求或极端测量可能是真实事件,也可能由采集错误造成。仅因为它偏离平均水平就删除,会改变分析对象。较稳妥的流程是先标记、查看原始来源、核对单位与时间,再记录判断依据。算法给出的标记应当触发调查,而不是替人自动宣布这条记录没有价值。

首次发布 2026-11-16 · 更新 2026-11-16

异常不等于错误

关于「异常值处理」,下文从「异常不等于错误」与「从单位和录入开始检查」展开说明,并结合后续章节梳理相关概念。

异常值是相对于当前数据与分析背景显得明显不同的观察。一个非常高的得分、极慢请求或极端测量可能是真实事件,也可能由采集错误造成。仅因为它偏离平均水平就删除,会改变分析对象。较稳妥的流程是先标记、查看原始来源、核对单位与时间,再记录判断依据。算法给出的标记应当触发调查,而不是替人自动宣布这条记录没有价值。

从单位和录入开始检查

假设耗时通常在100毫秒附近,其中一条为120000。先核对原始接口到底返回毫秒、微秒还是字符串,以及换算是否被重复执行。再检查是否把日期、累计总量或另一项指标写入了耗时列。体育比分异常也可能来自赛制差异或主客字段错位,需要回到该场记录。把每一次转换写清楚,能防止所谓修复只是用另一个未经证实的值覆盖原始事实。

明确区分三种处理动作

已确认录入错误且有可靠原值时,可以修正并保留更改记录;确认不属于本次研究范围时,可以按预先说明的规则排除;真实性尚不明确时,可以保留并做敏感性比较。三者需要不同理由。不能因为删除后图形更平滑就判定处理正确。若使用截尾、缩尾或稳健统计,也应公开方法和阈值,不让读者把经过转换的数据误认为原始观察。

比较包含与不包含时的结论

若一条记录对结果影响很大,可并列展示包含和排除该条时的主要指标,并解释排除依据是否成立。若结论完全反转,恰好说明结果需要更谨慎,而不是只选择喜欢的版本。分析阈值依赖数据分布与用途,没有一个固定规则适合所有领域。在很偏斜的分布中,远离多数观察的值可能并不少见,机械套用针对另一分布设计的规则会产生误判。

为后续复核保存一张处理表

处理表至少包含记录ID、原值、来源、标记原因、核查证据、处理方式和新值。不要删掉原始导出文件后只留下“清洗后”的表。多个平台数据互补时,记录采用哪个来源及为什么,避免把冲突简单当成异常剔除。异常调查的目标是提高可信度,而不是让数字整齐;遇到真实极端事件,保留它及其背景往往比移除更能说明系统发生了什么。

参考资料

返回分类

相关阅读