[科普中国]-非参数化回归

非参数化回归是指并不需要知道总的分布的情况下进行的一种统计推断回归方法。

评价优点(1)回归函数形式自由，受约束少，对数据的分布一般不做任何要求；

(2)适应能力强，稳健性高，回归模型完全由数据驱动；

(3)模型的精度高；

(4)对于非线性、非齐次问题，有非常好的效果。

缺点(1)不能进行外推运算；

(2)估计的收敛速度慢；

(3)一般只有在大样本的情况下才能得到很好的效果，而小样本的效果较差；

(4)高维诅咒, 光滑参数的选取一般较复杂。1

参数的选取理想的情况是希望选择合适的光滑参数h，使得通过样本数据拟合的回归曲线能够最好的逼近真实的回归曲线(即达到风险最小)，这里真实回归函数m(x)一般是未知的。

但是这并不是一个好的估计，会导致过拟合（欠光滑），原因在于两次利用了数据，一次估计函数，一次估计风险。我们选择的函数估计就是使得残差平方和达到最小，因此它倾向于低估了风险。

相关标准(1)直接插入法(Direct Plug-In , DPI)；

(2)罚函数法(penalizing function) ；

(3)单边交叉验证(One Sided Cross Validation，OSCV)；

(4)拇指规则(Rule Of Thumb)。2

本词条内容贡献者为:

李斌 - 副教授 - 西南大学