评价回归线拟合程度的好坏


一、判定系数R^2

我们画出的拟合直线只是一个近似,因为肯定很多的点都没有落在直线上,那么我们的直线拟合程度到底怎么样呢?在统计学中有一个术语叫做R^2(coefficient ofdetermination,中文叫判定系数、拟合优度,决定系数,由于数学公式不好描述,这里是R^2是“R的平方”),用来判断回归方程的拟合程度。

总偏差平方和(又称总平方和,SST,Sum of Squaresfor Total)

是每个因变量的实际值(给定点的所有Y)与因变量平均值(给定点的所有Y的平均)的差的平方和,即,反映了因变量取值的总体波动情况。如下:

回归平方和(SSR,Sum of Squares forRegression):

因变量的回归值(直线上的Y值)与其均值(给定点的Y值平均)的差的平方和,即,它是由于自变量x的变化引起的y的变化,反映了y的总偏差中由于x与y之间的线性关系引起的y的变化部分,是可以由回归直线来解释的。

残差平方和(又称误差平方和,SSE,Sum of Squaresfor Error):

因变量的各实际观测值(给定点的Y值)与回归值(回归直线上的Y值)的差的平方和,它是除了x对y的线性影响之外的其他因素对y变化的作用,是不能由回归直线来解释的。

也就是说影响总平方和的因素有两部分,一部分是线性回归所涉及到的因素影响导致的偏差,一部分是非线性回归因素影响导致的偏差。就拿广告费和销售额的例子来说,其实广告费只是影响销售额的其中一个比较重要的因素,可能还有经济水平、产品质量、客户服务水平等众多难以说清的因素在影响最终的销售额,那么实际的销售额就是众多因素相互作用最终的结果,由于销售额是波动的,所以用上文提到的每个月的销售额与平均销售额、的差的平方和(即总平方和)来表示整体的波动情况。

回归线只表示广告费一个变量的变化对于总销售额的影响,所以必然会造成偏差,所以才会有实际值和回归值是有差异的,因此回归线只能解释一部分影响

那么实际值与回归值的差异,就是除了广告费之外其他无数因素共同作用的结果,是不能用回归线来解释的。

因此:

SST(总偏差)=SSR(回归线可以解释的偏差)+SSE(回归线不能解释的偏差)

那么所画回归直线的拟合程度的好坏,其实就是看看这条直线(及X和Y的这个线性关系)能够多大程度上反映(或者说解释)Y值的变化,定义

R^2=SSR/SST 或 R^2=1-SSE/SST, R^2的取值在0,1之间,越接近1说明拟合程度越好

假如所有的点都在回归线上,说明SSE为0,则R^2=1,意味着Y的变化100%由X的变化引起,没有其他因素会影响Y,回归线能够完全解释Y的变化。如果R^2很低,说明X和Y之间可能不存在线性关系

二、相关系数R和判定系数R^2的区别

判定系数来判断回归方程的拟合程度,表示拟合直线能多大程度上反映Y的波动。

在统计中还有一个类似的概念,叫做相关系数R(这个没有平方,学名是皮尔逊相关系数,因为这不是唯一的一个相关系数,而是最常见最常用的一个),用来表示X和Y作为两个随机变量的线性相关程度,取值范围为【-1,1】。

当R=1,说明X和Y完全正相关,即可以用一条直线,把所有样本点(x,y)都串起来,且斜率为正,当R=-1,说明完全负相关,及可以用一条斜率为负的直线把所有点串起来。如果在R=0,则说明X和Y没有线性关系,注意,是没有线性关系,说不定有其他关系。

就如同这两个概念的符号表示一样,在数学上可以证明,相关系数R的平方就是判定系数。

在实际使用中,判定系数使用较多,其它方面的知识就不再过多介绍,有兴趣的,可以详细下述链接地址,本文也是参照该文章:https://www.jianshu.com/p/fcd220697182#。同时关于该部分还可以参考文章:https://www.wenji8.com/p/3cbCi2d.html

results matching ""

    No results matching ""