1、工程数学第 22讲本文件可从网址http:/上下载(单击 ppt讲义后选择 工程数学 子目录 )13 一元线性回归2在客观世界中普遍存在着变量之间的关系 . 变量之间的关系一般来说可分为确定性的与非确定性的两种 . 确定性关系是指变量之间的关系可以用函数关系来表达的 . 另一种非确定性的关系即所谓相关关系 . 例如人的身高与体重之间存在着关系 , 一般来说 , 人高一些 , 体重要重一些 , 但同样高度的人 , 体重往往不相同 . 人的血压与年龄之间也存在着关系 , 但同年龄的人的血压往往不同 . 这些变量关系都是非确定性的 . 回归分析是研究相关关系的一种数学工具 . 能够帮助我们从一个变量
2、取得的值估计另一变量所取的值 .3(一 )一元线性回归 设随机变量 Y与 x之间存在着某种相关关系 . 这里 , x是可以控制或可以精确观察的变量 , 如年龄 , 试验时的温度 , 施加的压力 , 电压与时间等等 . 即可以随意指定 n个值x1,x2,.,xn. 因此干脆不把 x看成随机变量 , 而将它当作普通的变量 .若 Y的数学期望 E(Y)存在 , 其值随 x的取值而定, 是 x的函数 , 将此函数记为 mY|x 或 m(x), 称为 Y关于 x的回归函数 , 讨论 E(Y)=m(x)与 x的函数关系 .4对 x取定一组不完全相同的值 x1,x2,.,xn, 设Y1,Y2,.,Yn分别是
3、在 x1,x2,.,xn处对 Y的独立观察的结果 , 称(x1,Y1),(x2,Y2),.,(xn,Yn) (3.1)是一个样本 , 对应的样本值记为(x1,y1),(x2,y2),.,(xn,Yn).现希望知道 m(x)的形式 , 在一些问题中 , 可由专业知识知道 , 否则 , 可将每对观察值 (xi,yi)在直角坐标系中描出它的相应的点 , 这种图称为散点图 .5例 1 为研究某一化学反应过程中 , 温度 x(C)对产品得率 Y(%) 的影响 , 测得数据如下 .温度 x(C) 100 110 120 130 140 150 160 170 180 190得率 Y(%) 45 51 54
4、 61 66 70 74 78 85 896这里自变量 x是普通变量 , Y是随机变量 . 由散点图大致看出 m(x)具有线性函数 a+bx的形式 .设 Y关于 x的回归函数为 m(x). 利用样本来估计m(x)的问题称为求 Y关于 x的回归问题 . 特别 , 若 m(x)为线性函数 : m(x)=a+bx, 此时估计 m(x)的问题称为求一元线性回归问题 .7假设对于 x(在某个区间内 )的每个值有YN(a+bx, s2),其中 a,b及 s2都是不依赖于 x的未知参数 . 记e=Y-(a+bx), 对 Y作这样的正态假设 , 相当于假设Y=a+bx+e, eN(0,s2), (3.2)其中
5、未知参数 a,b及 s2都不依赖于 x. (3.2)称为一元线性回归模型 , 其中 b称为回归系数 .则 Y由两部分组成 , 一部分是 x的线性函数a+bx, 另一部分 eN(0,s2)是随机误差 , 是人们不可控制的 .8(二 )a,b的估计 取 x的 n个不全相同的值x1,x2,.,xn作独立试验 , 得到样本(x1,Y1),(x2,Y2),.,(xn,Yn). 由 (3.2)式Yi=a+bxi+ei, eiN(0,s2), 各 ei相互独立 , (3,3)于是 YiN(a+bxi,s2), i=1,2,.,n. 由 Y1,Y2,.,Yn的独立性知 Y1,Y2,.,Yn的联合密度为9现用最大似然估计法来估计未知参数 a,b. 对于任意一组观察值 y1,y2,.,yn, (3.4)式就是样本的似然函数 . 显然 , 要 L取最大值 , 只要 (3.4)右端方括弧中的平方和部分为最小 , 即只需取最小值 . 令 Q关于 a,b的偏导数等于零 :10
