最小二乘法知识
在估计方法中,最大似然和最小二乘是经常被使用到的,其中的最小二乘更是回归的基础。这就让小编带你回归小二乘法。
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的'平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发明“最小二乘法”,但因不为世人所知而默默无闻。
二乘法(2张) 勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。
1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,因此被称为高斯-马尔可夫定理。(来自于wikipedia)
以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢?监督学习中,如果预测的变量是离散的,我们称其为分类(如决策树,支持向量机等),如果预测的变量是连续的,我们称其为回归。回归分析中,如果只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。对于二维空间线性是一条直线;对于三维空间线性是一个平面,对于多维空间线性是一个超平面。
对于一元线性回归模型, 假设从总体中获取了n组观察值(X1,Y1),(X2,Y2), …,(Xn,Yn)。对于平面中的这n个点,可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看,这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。有以下三个标准可以选择:
(1)用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
(2)用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
(3)最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外,得到的估计量还具有优良特性。这种方法对异常值非常敏感。
最常用的是普通最小二乘法( Ordinary Least Square,OLS):所选择的回归模型应该使所有观察值的残差平方和达到最小。(Q为残差平方和)- 即采用平方损失函数。
-
【推荐】特别礼物的作文300字合集8篇
在平凡的学习、工作、生活中,大家都跟作文打过交道吧,写作文可以锻炼我们的独处习惯,让自己的心静下来,思考自己未来的方向。那么,怎么去写作文呢?下面是小编为大家收集的特别礼物的作文300字8篇,供大家参考借鉴,希望可以帮助到有需要的朋友。特别礼物的作文300字篇1从...
-
交通安全知识观后感200字(精选8篇)
中国每一分钟有一人因车祸伤残,每五分钟有一人因车祸死亡。可见交通安全教育尤为重要。下面是小编为大家整理的交通安全知识观后感200字,仅供参考,欢迎大家阅读。交通安全知识观后感200字篇1安全事故时有发生。很多人安全感不强。事故发生后,轻的影响他人或自己的...
-
【推荐】珍贵礼物的作文400字五篇
在学习、工作乃至生活中,大家都不可避免地要接触到作文吧,作文是通过文字来表达一个主题意义的记叙方法。相信写作文是一个让许多人都头痛的问题,下面是小编整理的珍贵礼物的作文400字5篇,仅供参考,大家一起来看看吧。珍贵礼物的作文400字篇1我收到过很多生日礼物,有...
-
礼物的作文300字【锦集6篇】
在平时的学习、工作或生活中,大家都有写作文的经历,对作文很是熟悉吧,作文是从内部言语向外部言语的过渡,即从经过压缩的简要的、自己能明白的语言,向开展的、具有规范语法结构的、能为他人所理解的外部语言形式的转化。相信很多朋友都对写作文感到非常苦恼吧,以下是...