2。1 基本概念论文网

    定义2。1最小二乘法（又称为最小平方法）是一种数字优化技术。它是通过最小化误差的平方和寻找数据的最佳函数来进行匹配。利用最小二乘法可以简单方便的求得未知的数据，并使得这些求得的数据与实际数据之间的误差的平方和为最小。最小二乘法还可以用于曲线拟合。其他一些优化问题也可以通过最小化量能或最大化熵用最小二乘法来表示。

定义2。2 Householder矩阵是指形式为的矩阵,其中,通常记作H。

根据定义知H 有性质: 对称性(),正交性()和对合性 ()。

定义2。3 一般地,非线性观测方程可写为:L=f(X)+Δ(1)。相应的误差方程为

     V=f()-L                              (2-1)

于是，残差平方和为 

      V′V===( f ()-L ) ′ ( f ()-L )             (2-2)对于非线性模型式(2-1)中参数 X的一个估计量,若满足 V′V=min，则称是 X的一个非线性最小二乘估计,用表示(在不引起混淆的地方把它简记为),其中V由式(2-1)确定。

定义2。3  称

                               （2-3）为最小二乘问题，其中是的函数。当是的线性函数时，式（2-3）就称为线性最小二乘问题。通常线性最小二乘问题用以下的矩阵向量表示：，其中。当是的非线性函数时式（2-3）就称为非线性最小二乘问题。

2。2 基本定理

    定理2。1设 u≠ 0,令，则 是一个 Householder矩阵

定理2。2 设 ≠∈,,且假定,则可找到一个 Householder矩阵H，使,其中=。

证明 令，求出，则即为所求的Householder矩阵。因为，所以 。

定理2。3 设，：，考虑常微分方程处置问题

                                        （2-4）的积分曲线，可得，设F：，F=在开域D上有连续的G-导数，。若存在，使的水平集为有界闭集，则沿（2-4）的曲线积分是下降的，且存在，使，且。

证  由

                                   （2-5）知沿（2-4）的积分曲线）是下降的。由的定义知。因为为有界闭集，故有极限点，即，使得。对，当时，有，故，于是。是的下确界，即。由（2-5）式可知，当且仅当是（2-5）取等号，否则严格下降。因此是梯度系统的平衡点。

定理2。4  设,，为有界闭集，则以为初始近似总存在，使迭代序列满足且是的极小点。

定理2。5  设F：在D上二阶连续可微，，为有界闭集，若，则 

        （2-6）

适当选取，可使，且是的极小点。

证明 由（2-6），当时，对按公式展开，得

因，且,故总有，使得。因为有界闭集，故且为的极小值。证毕。

2。3 算法简介

     最小二乘问题是一门属于应用数学领域的问题，它在数据拟合、参数估计和函数逼近等方面有着广泛的应用。文献综述

    最小二乘问题创立于十九世纪初，它一直与实际问题紧密相连，在社会的不断发展中，人们一直在不断的研究并将其广泛的应用到实验学科里，在解决实际问题时，应用最小二乘法可以减少与实际问题之间的误差，到如今有许许多多的最小二乘法可应用于实际问题中，如移动最小二乘法、偏最小二乘法等，现在最小二乘法在系统辨识、预测等众多领域中都有着广泛的应用。