1、最小二乘法在解决实际问题中的应用摘 要最小二乘法是从拟合方面入手，多用于参数估计系统检测等多个地方。 然而，最小二乘法通常由于其抽象而无法准确理解。 在本文中，讨论了最小二乘法的基本原理及其各种拟合方法，这其 中 有 ： 一 元 线 性的 最 小 二 乘 法 拟 合，多 元的 线 性 拟 合， 多项 式的拟 合， 非 线 性的拟 合 和 可 转 化 成为 线 性 拟 合 的 非 线 性 拟 合。关键词：数据拟合；数学工具；分析应用；误差项；层次分析法AbstractThe least squares method is used to estimate or identify the regr
2、ession model from the perspective of error fitting. It is widely used in many fields such as parameter estimation, system identification and forecasting and forecasting. However, the least squares method is usually not easily understood due to its abstraction. In this paper, the basic principle of l
3、east squares method and its various fitting methods are discussed. There are one linear linear least squares fitting, multiple linear fitting, polynomial fitting, nonlinear fitting and Can be transformed into linear fitting of linear fitting, and the application of least squares method in practice i
4、s shown by examples. On this basis, the design principle of several least squares procedures is given.Keywords: Least square method; Weighted least square method; Linear fitting; Curve fitting ;Application example1引言最小二乘法第一次出现的时间是1805年，天文学家勒让德是出书的人，而且附录里边是计算彗星的轨道的新方法，并且它作为计算方法，它也处于应用数学的初级阶段。现如今，最小二乘
5、法的理论研究变得很成熟了，慢慢分为多种专业方向。而且最小二乘法所应用的地方非常多，这就是为什么要研究最小二乘法的原因。1.1研究意义与现状：最小二乘法最早是在十九世纪初创立的，是最重要的统计方法。他延伸出了许多知识，例如：加权最小二乘法，一元线性拟合等等。所以研究最小二乘法是有必要的。朱赛普皮亚齐发现了被命名为“谷神星”的小行星，这个科学家进行了长达40多天的观察研究，但是因为这颗小行星运转到了太阳的背面，皮亚齐找不到它的位置了。然后有非常多的科学家来找寻这颗小行星，结果没有一个人能根据计算找到，最后海因里希奥尔伯斯利用高斯的方法找到了。经过二百多年的发展，最小二乘法在科学的实验中还有工程技术
6、里面得到了非常广泛的应用，随着现代电子计算机的应用和发展，这种方法就显得非常强大。利用最小二乘法所得到的观测值在各领域的应用还不完善，观测的精确度从始至终都是极限值，假如超过了这个极限的值，那么就会引起失效，或者数学模型的表达和测量仪器的分辨力都失效。超过这个精度极限，反复观察的结果将不会相互重合。例如，如果我们用眼睛去看和用米尺去测量工作台的长度，那么极限的精确度可能就是毫米了。如果我们把结果记录到最接近0的0.1，那么它们就会不一致。我们想要的精度通常超过我们观察到的精度极限值。在这种情况下，我们无法知道我们观察到的物理量的真实数值。 我们只能估计真实数值是多少。我们希望这个估值是独一无二
7、的（即使用一种标准方法来确定估值，当给出相同的观察值时，这种方法得到的是相同的估值），我们想知道估值的优度怎么样。处理不一致数据的科学方法称为统计学，我们除了用最小二乘法让不符合的值的平方之和最小这个方法，还可以用别的方法来确定唯一的估计值。1.2最小二乘法的定义：定义1.1(残差)：。要使尽可能的小，我们比较常见的方法有：（1）有，偏差最大绝对值最小，（2）有，偏差绝对值之和最小，（3）有，偏差平方和最小，则称（3）为最小二乘法原则。1.3主要性质和定理y与变量之间的关系式为:。其中个待定参数是 ,记， 是测量值, 是由已经求解得到的和实验点集而得到的函数值。用最小二乘法转换过的方程组叫做正
8、规方程组，其中方程式数等于待定参数的数目。我们可以通过正规方程组得到。1.4最小二乘法的优点和缺点优点：最小二乘法可以有效处理大量数据，提高运算的效率，将混乱的数据你合成一条直线来反映出数据的趋势。缺点：在使用过程中应需注意下面几个问题：在解决实际问题中一定要非常谨慎的选择拟合关系，我们一定要借助现有的知识以及经验，选择最合适的拟合关系。2运用2.1 曲线性拟合2.1.1一元线性拟合假设变量与之间是有线性关系的,就是：.现在已知个实验点 ,求解两个未知的参数.方法一 从最小二乘法原理得到,参数应该使得取得极小值.根据极小值的求解方法,和必须满足,解得,即(1)其中,线性的相关系数,该式中,方法
9、二 把代入中得矛盾方程组(2)令,则（2）式可写成,则有,所以.称为结构矩阵,称为数据矩阵, 称为常数矩阵. 称为信息矩阵,为了量化实验数据与线性关系的一致程度，我们可以使用相关系数进行测量。 它被定义为.时，越接近1，之间的线性关系就很好。为正数，直线的斜率就是正的，就叫做正相关;对于是负数时，直线的斜率就是负的，就叫做负相关;当接近0时，测量的数学点分散就称作为非线性。称之为最小值的相关系数和测量次数，如图所示：3 1.000 9 0.798 15 0.6414 0.990 10 0.765 16 0.6235 0.959 11 0.735 17 0.6066 0.917 12 0.708
10、 18 0.5907 0.874 13 0.684 19 0.5758 0.834 14 0.661 20 0.561应该先求出的值，再来进行一元线性的拟合,最后与相比较,如果,那么和则具有线性的关系,就可以求回归直线；否则则不行。2.1.2多元线性拟合个变量与有线性关系，,假如第个是,对应的是，偏差平方和是：为了让得到极小的值,那么正规方程组为:,即,.将实验数据转化为上述形式的方程里,我们可以得到未知参数.2.1.3指数函数拟合此时的拟合函数具有以下形式：（是未确定的系数）。式子的两端取自然对数有令则（*）式化成线性形式为则可以求出。从而有。所以2.1.4 非线性最小二乘法拟合把非线性关系
11、代入偏差平方和表达式中，然后展开成泰勒级数，忽略高次项，化成线性形式后按线性拟合的方法求出参数,经多次逼近可得到满足精度要求的结果。计算步骤:(1) 假设我们需要求得的参数的真值是,然后另外取一个初值,它的差值就是,那么.(2) 将函数在处展开成为泰勒级数。由于初始值和真值应该非常接近,所以可以省略高阶项的泰勒展开式,以获得一阶近似展开式:,式中(3) 令,那么展开式可以写成:,这是线性关系式的特殊形式。(4)将拟合的多元线性最小二乘法的正规方程应用于上述式子以获得其正规方程组2：令,那么上式成为:。(5)利用高斯消元法或其他方法来求解出正规方程，我们可以得出结论就是,然后求解出,该式是一个近
12、似式, 也是近似的值。将第一次获得的值分配给作为新的初始值，重复该过程，并获得新的值，并且获得新的初始值直到得到的精度足够准确为止。2.1.5 可化为线性拟合的非线性拟合对于实际的曲线拟合问题，我们通常根据观察值绘制笛卡尔坐标平面上的散点图，看看哪一类曲线类型与散点图近似。下表列出了几种经过适当转换为线性拟合求解的拟合方程和变换关系：曲线拟合方程 变换关系 变换后线性拟合方程图3-1显示了几种常见的数据拟合。 图，数据接近于直线，适合使用线拟合；图接近抛物线的数据分布，适合使用拟合;图数据分布的特点是曲线开始上升迅速上升然后逐渐的减速，适合使用或；图数据分布的特点是曲线开始迅速下降，然后逐渐减
13、速，适合使用或或其他函数拟合。2.2 加权最小二乘法2.2.1加权最小二乘法定义该方法适用的拟合方法是在实验测量值不等精度的情况下，误差因素消除程度的不同，结果会趋向于准确。令拟合函数为,当值取时的实测值为,取，加权偏差平方之和：,是个实验点的权重因子.选取合适的权重因子可以获得高精度的拟合参数22。2.2.2加权最小二乘法原理根据实际需要，经常对于更高的精确度或更重要的数据，应给予更大的权利。对于给定的一组测试数据，需要在中，查找一个函数使是中的任一函数是正数，称作为权，大小反映的地位强弱，显然：求可归结为求多元函数的极小点同理可求。但其中：特例：如果选用的拟合曲线为则，相应的方法方程组为=
14、。2.3一元线性拟合实例例如：铜导体在温度（）下的电阻如表6-1所示，求解电阻R与温度T之间的近似函数关系。表4-1i 0 1 2 3 4 5 6() 19.1 25.0 30.1 36.0 40.0 45.1 50.076.30 77.80 79.25 80.80 82.35 83.90 85.10解：画出散点图，数据接近一条直线，让n=1，拟合函数就为列表如下表4-2i0 19.1 76.30 364.81 1457.3301 25.0 77.80 625.00 1945.0002 30.1 79.25 906.01 2385.4253 36.0 80.80 1296.00 2908.80
15、04 40.0 82.35 1600.00 3294.0005 45.1 83.90 2034.01 3783.8906 50.0 85.10 2500.00 4255.000245.3 565.5 9325.83 20029.445正规方程组为解方程组得故得R与T的拟合直线为例如，当R = 0时T = -242.5，就是预测温度T = -224.5的时候，铜线没有电阻。2.4用最小二乘法分析国民经济的增长趋势2.4.1.问题背景通过GDP的发展我们可以大致分析近几年我国的经济发展趋势，估计国内的经济发展趋势以及 GDP 的增长速率。2.4.2大致数据大致下面是我国的近十年的 GDP 数据：表中单位：亿元2012 2011 2010 2009 2008 2007 2006 2005 2004 200378，894.0 78，579.0 78，388.0 77，510.0 77，046.0 76，531.0 76，315.0 76，120.0 75，290.0 74，911.02.4.3问题求解横轴代表年份纵轴代表 GDP，单位：亿元拟合曲线如