普通最小二乘法（OLS）方法的原理是：
利用最小二乘法可以简便地求得未知的数据，并使得所选择的回归模型应该使所有观察值的残差平方和达到最小。具体验证如下：
样本回归模型：
其中ei为样本（Xi,Yi）的误差。
平方损失函数：
则通过Q最小确定这条直线，即确定β0和β1，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：
根据数学知识我们知道，函数的极值点为偏导为0的点。
解得：
这就是最小二乘法的解法，就是求得平方损失函数的极值点。
扩展资料
最小二乘法来源于19世纪意大利天文学家朱赛普·皮亚齐的一次发现，后由勒让德或高斯发明。
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可夫定理。
参考资料来源：百度百科-最小二乘法
稥油菋精
