大数据预处理方法有哪些：实操分类

大数据预处理方法有哪些，主流分为数据清洗、数据集成、数据变换、数据规约、数据离散化、数据降噪六大类，数据清洗用来修正缺失、重复、异常值，适合原始日志、业务埋点这类脏数据占比高的数据集；数据集成合并多源异构数据表，需要统一字段编码与主键；数据变换完成归一化、标准化、类型转换，适配机器学习模型输入；数据规约在保留数据分布特征的前提下压缩数据量，降低算力开销；数据离散化把连续数值转为分段标签，适配决策树等算法；数据降噪过滤随机扰动，适合传感器时序数据，这套组合更适合结构化与半结构化业务数据，纯非结构化文本、图像数据优先使用专项预处理链路，不直接套用这套流程。

大数据预处理方法之数据清洗

你处理缺失值时，可以选用删除法、填充法、预测补全法，删除法直接丢掉缺失样本，缺失占比低于5%时使用较为稳妥；填充法用均值、中位数、众数填补数值与类别字段；预测补全法借助K近邻模型估算空缺数值，耗时更长但对数据分布的破坏更小。重复值依靠主键匹配或者多字段哈希比对剔除，异常值可以用箱线图3倍四分位距规则、Z分数判定，判定之后选择剔除或者做截断处理，不要直接修改原始业务库，所有清洗操作都在副本上执行。

异常值直接修改原始数值，会抹除真实业务信号，这是高频错误操作。

大数据预处理方法之数据集成与数据变换

多源数据合并时要解决模式冲突、实体识别两个问题，模式冲突指同含义字段名称、单位不统一，实体识别用来识别不同数据源里指向同一个对象的记录，比如不同系统里的用户编号。数据变换里，min-max归一化把数值映射到0到1区间，适合梯度下降类模型；Z-score标准化让数据均值为0、方差为1，对存在离群点的场景稳定性更好；哑变量编码把类别字段转为0和1，让线性模型可以读取分类信息。

大数据预处理方法之数据规约

数据规约分为维规约和数值规约，维规约的代表是主成分分析PCA，提取数据核心特征，减少特征数量，它会丢失原始特征的可解释性；数值规约使用抽样、直方图、聚类近似代表原始数据集，抽样分为简单随机抽样、分层抽样，分层抽样可以保留样本内部类别比例，分类任务里使用收益明显。规约不是简单删减数据，它的核心目标是维持原始数据集统计规律，保证后续建模结果不会出现明显偏移。

大数据预处理方法之离散化与降噪

离散化分为无监督离散化和有监督离散化，无监督包含等宽分箱、等频分箱，操作简单，适合快速探索数据；有监督离散化依托信息熵、卡方值划分区间，和分类标签联动，模型效果通常更好。时序传感器数据常用移动平均降噪、小波变换降噪，移动平均适合平稳序列，小波变换可以区分信号和高频噪声，保留突变点信息。

该方法的适用边界是：当数据集样本总量少于一千条时，不建议使用PCA维规约，少量样本经过降维后很容易丢失关键区分特征，模型泛化能力会下滑。

预处理完成之后，必须留存处理脚本和参数记录，方便复现实验，避免不同批次数据处理口径不一致。