最小二乘方法最早是有高斯提出的,他用这种方法解决了天文学方面的问题,特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定,原则上,只要对它的位置做5次测量就足以确定它的整个轨迹。但由于存在测量误差,由5次测量所确定的运行轨迹极不可靠,相反,要进行多次测量,用最小二乘法消除测量误差,得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百次的观察所产生的高维空间问题降到了椭圆轨迹模型的五维参数空间。假如想了解某个地方的月降雨量,一个月的观测当然不够,任何一个月都可能是异常晴朗或异常多雨。相反,人们应该研究几个月或至少一年甚至十年,并将所有数据加以平均。平均的结果对任何一个具体的月份并不一定能完全符合,但凭直觉,这个结果所给我们的标准降雨量图形将比只研究一个月所得到的结果要准确得多。这个原理在观察和实验科学领域是通用的。它是通过多次测量消除测量误差及随机波动。木匠的格言“量两次,再下手”也正是这个常识的一个例子。在降雨的例子中,我们用一个数来代表或一定程度地近似整个测定数据的效果。更一般的,鉴于各种理论和实际的原因,常用低维来近似说明高维的对象。在下面几种工作中都可以采用这个方法,象消除误差或忽略无关细节,从干扰数据中提取信号或找出趋势,将大量数据降低到可管理的数量或用简单的近似来代替复杂函数。我们并不期望这个近似值多么精确,事实上,在许多时候它也不用很精确。但尽管如此,我们还是希望它能保持对原始数据的相似之处。在线性代数领域,我们希望将一个高维空间的向量投影到低维子空间,完成这个工作的最普遍和最便于计算的方法之一就是最小二乘法。