相关性分析有哪些方法:按数据类型选用
相关性分析有哪些方法,主流分为参数类、非参数类、分类变量专用、控制干扰变量四类;Pearson、Spearman、Kendall是基础三选一,连续正态线性数据优先选Pearson,有序等级、偏态数据选Spearman,小样本多并列数据选Kendall;二元分类用φ系数,多分类用Cramer'sV,想要剔除混杂因素用偏相关;所有方法都只能识别关联,不能直接判定因果,当数据存在明显曲线关系时,这三类基础系数都会低估关联强度,不适合直接使用。
相关性分析主流方法对比
| 分析方法 | 适用数据类型 | 检测关系 | 抗异常值能力 | 适用边界限制 |
|---|---|---|---|---|
| Pearson皮尔逊 | 两个连续数值变量 | 线性相关 | 较弱 | 必须满足正态分布,仅能识别直线关系,曲线关联会失效 |
| Spearman斯皮尔曼 | 连续数据、有序等级数据 | 单调增减关系 | 较强 | 只看排名次序,无法区分线性与曲线单调关系,样本量少于10时结果波动偏大 |
| Kendall肯德尔 | 有序分类、少量连续数据 | 等级一致性 | 较强 | 更适合样本量偏小、存在大量并列排名的场景,大样本下计算效率偏低 |
| φ系数 | 两个二元分类变量 | 类别关联 | 中等 | 仅适用于0-1二分类数据,多分类场景不能直接使用 |
| Cramer'sV | 两个多分类变量 | 类别关联性 | 中等 | 仅能给出关联强弱,无法区分正相关与负相关 |
| 偏相关分析 | 任意连续变量 | 剔除混杂后的净相关 | 随基础方法变化 | 控制变量数量不宜过多,变量超过5个后统计结果稳定性会明显下降 |
参数类相关性分析方法
参数方法依赖数据分布假设,计算结果精度更高。
Pearson相关是最常用的参数方法,你需要先检验数据是否符合正态分布,再用散点图确认变量呈直线趋势,计算得到的r值区间在-1到1之间,绝对值越靠近1,线性关联越强。
偏相关属于衍生参数方法,你可以把年龄、收入这类干扰变量设为控制项,剥离干扰因素后,得到两个变量之间真实的关联程度,避免出现虚假相关,该方法在社科调研数据处理中使用较多。
非参数类相关性分析方法
非参数方法不要求数据服从正态分布,依靠数据排名计算关联,适配范围更广。
斯皮尔曼等级相关只把原始数值转换成排名,不关注实际数值大小,哪怕数据存在少量极端异常值,也不会大幅改变分析结论,适合满意度评分、产品排名这类有序数据,也能处理单调上升或下降的曲线关系。
肯德尔相关重点比对每一对样本的排名是否一致,更适合小样本调研场景,当样本里出现大量并列名次时,它的结果会比斯皮尔曼更加稳定。
分类变量专用相关性分析方法
两个变量都是离散分类数据时,不能直接使用上述三种相关系数。
两个二元变量(比如性别、是否购买)选用φ系数,衡量两类事件的关联强度;如果是三个及以上类别的变量,就选用Cramer'sV系数,衡量多组别之间的关联程度,该系数只能判断关联强弱,无法区分正负方向。
非线性关系的补充分析方法
如果散点图呈现U型、抛物线等非线性非单调形态,前面所有基础方法都会低估关联性,这时可以选用距离相关或者最大信息系数,这类方法可以捕捉任意曲线关联,不受线性与单调条件约束。
方法选用实操步骤
第一步先判定变量类型:连续数值、有序等级、无序分类;第二步查看数据分布与散点趋势,确认是线性还是曲线关系;第三步对照表格选定方法,同时用散点图辅助验证结论,避免只依靠系数数值做出判断。
