›
›

Bài giảng Hồi qui bội - Chương 3: Mô hình hồi qui bội - Nguyễn Thị Minh Hiếu

pdf 38 trang phuongnguyen 2010
Download
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Hồi qui bội - Chương 3: Mô hình hồi qui bội - Nguyễn Thị Minh Hiếu", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

  • pdfbai_giang_mo_hinh_hoi_qui_boi_nguyen_thi_minh_hieu.pdf

Nội dung text: Bài giảng Hồi qui bội - Chương 3: Mô hình hồi qui bội - Nguyễn Thị Minh Hiếu

  1. CH ƯƠ NG 3. MƠ HÌNH H I QUI B I Hi qui b i Nguy n Th Minh Hi u 1
  2. I. MƠ HÌNH H I QUI 3 BI N I.1. D ng mơ hình Hàm h i qui t ng th (PRF): β β β E(Y|X 2i ,X 3i ) = 1 + 2X2i + 3X3i β β β Yi = E(Y|X 2i ,X 3i ) + u i = 1 + 2X2i + 3X3i + u i Y: bi n ph thu c X2, X 3: bi n gi i thích u: sai s ng u nhiên i th t c a quan sát Hi qui b i Nguy n Th Minh Hi u 2
  3. I.1. D ng mơ hình β 1 : h s ch n β 1 = E(Y|X 2=X 3=0): cho bi t tác đ ng trung bình ca các bi n khơng cĩ trong mơ hình lên bi n ph thu c và đư c th hi n b ng giá tr trung bình c a Y khi X 2 = X 3 =0 β β 2 , 3 : g i là h s h i qui riêng. ∂ β = E( Y ¦ X ) 2 ∂ X 2 cho bi t s thay đ i trung bình c a bi n ph thu c Y khi X 2 thay đ i 1 đơ n v v i điu ki n X 3 khơng đ i. Hi qui b i Nguy n Th Minh Hi u 3
  4. 2. Các gi thi t OLS 1. Các bi n gi i thích là phi ng u nhiên 2. Kỳ v ng c a sai s ng u nhiên u b ng 0, E(u|X i) = 0 3. Ph ươ ng sai c a u thu n nh t (b ng nhau) σ2 ∀ var(u|X i) = (v i i) 4. Khơng cĩ t t ươ ng quan gi a các y u t ∀ ≠ ng u nhiên Cov(u i ,u j|X i,X j) = 0 (v i i j) 5. u và X khơng t ươ ng quan v i nhau Cov (u i, X i) = 0 6. Gi a các bi n X 2, X 3 khơng cĩ quan h tuy n tính chính xác ( đa cơng tuy n hồn h o) σ2 7. u cĩ phân b chu n, u~N (0, ) 4 Hi qui b i Nguy n Th Minh Hi u
  5. 3. Ưc l ư ng các tham s c a mơ hình hi qui 3 bi n b ng ph ươ ng pháp OLS = βˆ + βˆ + βˆ + Yi 1 2 X i2 3X i3 ei = − βˆ − βˆ − βˆ ei Yi 1 2 X 2i 3X3i n n 2 2 = −−βˆ β ˆ − β ˆ ∑ei ∑ () Y i1 22 XX ii 33 ⇒ min i=1 i = 1 5 Hi qui b i Nguy n Th Minh Hi u
  6. 3. Ưc l ư ng các tham s c a mơ hình hi qui 3 bi n b ng ph ươ ng pháp OLS ∂ e2 n ∑ i = −−βˆ β ˆ − β ˆ () −= ∑ 2()Yi1 22 X i 33 X i 1 0 ∂βˆ = 1 i 1 ∂ e2 n ∑ i = −−βˆ β ˆ − β ˆ ( −=) ∑ 2(Yi1 22 X iii 33 XX) 2 0 ∂βˆ = 2 i 1 ∂ e2 n ∑ i = −−βˆ β ˆ − β ˆ () −= ∑ 2()Yi1 22 X iii 33 XX 3 0 ∂βˆ = 3 i 1 Hi qui b i Nguy n Th Minh Hi u 6
  7. 3. Ưc l ư ng các tham s c a mơ hình hi qui 3 bi n b ng ph ươ ng pháp OLS  n n n βˆ + βˆ + βˆ = n 1 2 ∑ X i2 3 ∑ X i3 ∑ Yi  i=1 i=1 i=1  n n n n βˆ + βˆ 2 + βˆ =  1 ∑ X i2 2 ∑ X i2 3 ∑ X i2 X i3 ∑ Yi X i2  i=1 i=1 i=1 i=1  n n n n βˆ + βˆ + βˆ 2 =  1 ∑ X i3 2 ∑ X i2 X i3 3 ∑ X i3 ∑ Yi X i3  i=1 i=1 i=1 i=1 Hi qui b i Nguy n Th Minh Hi u 7
  8. 3. Ưc l ư ng các tham s c a mơ hình hi qui 3 bi n b ng ph ươ ng pháp OLS βˆ = − βˆ − βˆ 1 Y 2 X 2 3 X 3  n  n   n  n  2 − ∑ yi x2i ∑ x3i  ∑ yi x3i ∑ x2i x3i  βˆ =  i=1  i=1   i=1  i=1  2 n n  n 2 2 2 − ∑ x2i ∑ x3i ∑ x2i x3i  i=1 i=1  i=1   n  n   n  n  2 −  ∑ y i x3i  ∑ x 2 i   ∑ y i x 2 i  ∑ x 2 i x3i  βˆ =  i=1  i=1   i=1  i=1  3 n n  n  2 x 2 x 2 −  x x  Hi qui b i ∑ 2 i ∑ 3i ∑ 3i 3i 8 i=1 i=1  i=1 
  9. 3. Ưc l ư ng các tham s c a mơ hình hi qui 3 bi n b ng ph ươ ng pháp OLS = − yi Yi Y = − = − x i2 X i2 X 2 x i3 X i3 X3 n 1 n = 1 = X ∑ X i Y ∑ Yi n i=1 n i=1 βˆ β ˆ β ˆ • 1, 2 , 3 đư c g i là các ư c l ư ng bình ph ươ ng nh nh t 9 Nguy n Th Minh Hi u
  10. 4. Ph ươ ng sai và đ l ch chu n c a các ư c l ư ng bình ph ươ ng nh nh t n 2 ∑ x i3 ()βˆ = i=1 σ 2 var 2 n n  n  2 2 2 − ∑ x 2 i ∑ x 3i  ∑ x 2 i x 3i  i=1 i=1  i=1  σ 2 = 2− 2 ∑ x2i (1 r 23 ) Hi qui b i Nguy n Th Minh Hi u 10
  11. 3. U c l ư ng các tham s c a mơ hình hi qui 3 bi n b ng ph ươ ng pháp OLS Khơng cĩ σ2 nên s d ngσˆ 2 thay th ∑e2 σˆ 2 = i n − 3 Hi qui b i Nguy n Th Minh Hi u 11
  12. II. Mơ hình h i qui k bi n t ng quát 1. Mơ hình h i qui k bi n β β β β • PRF:E(Y|X 2 ,X 3, ,X k) = 1+ 2X2i + 3X3i + + kXki β β β β • Giá tr cá bi t: Y i = 1+ 2X2i + 3X3i + + kXki + u i ui : yêú t ng u nhiên β 1: H s ch n β β β 2 , 3 , , k: các h s h i qui (h s gĩc) β k cho bi t s thay đ i trung bình c a bi n ph thu c, Y, khi X k thay đ i 1 đơ n v , các bi n đ c lp khác khơng đ i. Hi qui b i Nguy n Th Minh Hi u 12
  13. Mơ hình h i qui k bi n Bi u di n hàm h i qui d ư i d ng ma tr n β U  1 X X ⋯ X  Y1   1  1 21 31 k1        ⋯  β U 1 X 22 X 32 X k2 Y2 2  2  =   Y =   β =   U = X ⋮  ⋮  ⋮  ⋮          ⋯ β U 1 X 2n X3n X kn  Yn   k   n  ⇒ Y = X β + u Hi qui b i Nguy n Th Minh Hi u 13
  14. 2. Ư c l ư ng các tham s b ng ph ươ ng pháp OLS • e = Y – X βˆ • Ph ươ ng pháp OLS ư c l ư ng giá tr c a βˆ β ˆ β ˆ các tham s 1, 2 , , k sao cho: n =2 = ′ RSS∑ ei ee ⇒ min i=1 Hi qui b i Nguy n Th Minh Hi u 14
  15. 2. Ư c l ư ng các tham s b ng ph ươ ng pháp OLS ′ RSS=()() Y − Xβˆ Y − X β ˆ = Y′Y − βˆ′X′Y − Y′Xβˆ + βˆ′X′Xβˆ = Y′Y − 2βˆ′X′Y + βˆ′X′Xβˆ ∂RSS =−2XY′ + 2 XX ′ βˆ = 0 ∂βˆ − − (X′X) 1 ≠ 0 ⇒ βˆ = (X′X) 1 X′Y βˆ là ma tr n h s ư c l ư ng OLS 15
  16. 3. Gi thi t OLS trong mơ hình k bi n t ng quát 1. X2,X 3, ,X k là các bi n xác đ nh, hay ma tr n X xác đ nh E( u )  u1  1 0        u E() u  0 2. E( u ) = E 2  = 2 =   ⋮  ⋮  ⋮        u ()  0 u  E u u    Hi qui b i Nguy n Th Minh Hi u 16
  17. 3. Gi thi t OLS trong mơ hình k bi n t ng quát 3. var(u) = E(u’u) = σ2I = 4. cov(ui , u j ) 0 ∀i ≠ j 5. cov (X, u) = 0 6. Khơng cĩ đa c ng tuy n gi a các bi n đ c l p hay h ng c a ma tr n X b ng k ∼ σ2 7. u i phân b chu n. u N(0, I) Hi qui b i Nguy n Th Minh Hi u 17
  18. 4. Ma tr n hi p ph ươ ng sai c a βˆ  var (βˆ ) cov (βˆ ,βˆ ) ⋯ cov (βˆ ,βˆ )  1 1 2 1 k  cov ()()()βˆ ,βˆ var βˆ ⋯ cov βˆ ,βˆ cov ()βˆ =  2 1 2 2 k   ⋮    (βˆ βˆ ) (βˆ βˆ ) ⋯ (βˆ ) cov k , 1 cov k , 2 var k  cov(βˆ ) = [X’X] -1σ2 Hi qui b i Nguy n Th Minh Hi u 18
  19. 4. Ma tr n hi p ph ươ ng sai c a βˆ • σ2 khơng quan sát đư c nên σ ˆ 2 đư c s dng thay th n 2 ∑ei RSS σˆ 2 = i=1 = n − k n − k vi k là s h s cĩ trong hàm h i qui Hi qui b i Nguy n Th Minh Hi u 19
  20. III. Phân tích các h s c a mơ hình 1. Kho ng tin c y và ki m đ nh gi thi t các h s h i qui - Ki m đ nh T β β β β Yi = 1 + 2X2i + 3X3i + + kXki + u i βˆ phân ph i chu n v i kì v ng β , đ l ch i σ i chu n βˆ i βˆ − β ⇒ t=i i ~ Tnk ( − ) i βˆ se ()i Hi qui b i Nguy n Th Minh Hi u 20
  21. a. Kho ng tin c y • Kho ng tin c y đ i x ng: ββˆˆ−()nk− βˆ − β ˆ ()n− k i ise( i ) t α 21 Hi qui b i Nguy n Th Minh Hi u
  22. b. Ki m đ nh gi thi t β β •H0 : i = i* (v i i=1,2, ,k) Lo i ki m đ nh Gi thi t H 1 Mi n bác b β ≠ β (n-k) Hai phía i i* |ti| > t α/2 β β (n-k) Phía ph i i > i* ti > t α β β (n-k) Phía trái i < i* ti <- tα Hi qui b i Nguy n Th Minh Hi u 22
  23. 2. Ki m đ nh s phù h p c a hàm hi qui •H s xác đinh b i, R 2 ESS R2 = TSS TSS− RSS RSS R2 = =1 − TSS TSS n n n βˆ+ β ˆ +⋯ + β ˆ 2∑yxii 23 ∑ yx ii 3 k ∑ yx iki 2 = i=1 i = 1 i = 1 R n 2 Hi qui b i ∑ yi 23 Nguy n Th Minh Hi u i=1
  24. 2. Ki m đ nh s phù h p c a hàm hi qui (ti p) •H s xác đinh b i, R 2 =2 = =′ − βˆ ′ ′ RSS∑ ei ee' YY XY =22 = + +=− 2 2 TSS∑ yi ∑ Y i2 ∑ YYnY i YYnY ' ESS=− TSS RSS =βˆ′ XY ′ − nY 2 βˆ′XY ′ − nY 2 R2 = YY′ − nY 2 Hi qui b i Nguy n Th Minh Hi u 24
  25. 2. Ki m đ nh s phù h p c a hàm hi qui (ti p) • R = R 2 đư c g i là h s t ươ ng quan b i, đo s k t h p tuy n tính đ ng th i c a bi n ph thu c Y v i t t c các bi n gi i thích X • R2 đư c g i là h s xác đ nh b i, cho ta bi t % s thay đ i c a bi n ph thu c đư c gi i thích bi các bi n đ c l p trong mơ hình •R2 tăng theo s bi n đ c l p đư c đư a vào mơ hình, ngay c khi bi n đ c l p đư c đư a thêm vào khơng gi i thích s bi n đ ng c a Y Hi qui b i Nguy n Th Minh Hi u 25
  26. 2. Ki m đ nh s phù h p c a hàm hi qui (ti p) • Cân nh c vi c đư a m t bi n gi i thích m i vào mơ hình, ng ư i ta s d ng h s xác đ nh b i đã hi u ch nh, R 2 RSS/() n− k RSS n − 1 n − 1 R 2 =−1 =− 1 =−− 1 (1R 2 ) TSSn/(− 1) TSSnk − nk − • k↑ ⇒ R 2 ↑ (do R 2 ↑) ⇒ R 2 ↓ (theo cơng th c) ⇒nu đư a thêm 1 bi n vào mơ hình mà làm R 2 gi m thì khơng nên đư a thêm bi n đĩ vào mơ hình Hi qui b i Nguy n Th Minh Hi u 26
  27. 2. Ki m đ nh s phù h p c a hàm hi qui (ti p) • Tính ch t c a R 2 •Nu k>1, R 2 ≤ R 2 ≤ 1 , cĩ ngh ĩa là n u t ăng s bi n gi i thích thì R 2 cĩ th t ăng nh ưng luơn t ăng ch m hơn R 2. •R2 khơng âm nh ưng R 2 cĩ th âm •R 2 là m t trong hai tiêu chu n (k thu t) đ xét cĩ nên đư a thêm bi n vào mơ hình hay khơng. + R 2 tăng + H s ng v i bi n m i đư a vào cĩ ý ngh ĩa v mt th ng kê Hi qui b i Nguy n Th Minh Hi u 27
  28. Ki m đ nh s phù h p c a hàm h i qui β β β ⇔ 2 •H0: 2 = 3 = = k = 0 R = 0 ⇔ hi qui khơng phù h p ∃β ≠ ⇔ 2 •H1: i 0 R > 0 ⇔ hàm h i qui phù h p ESS/( k− 1) ESS n − k R2 n − k F = = ⋅=⋅ RSS/( n− k ) TSS − ESS k −−− 1 1 R2 k 1 • F ∼ Fα(k-1,n-k) Hi qui b i Nguy n Th Minh Hi u 28
  29. III.3. Ki m đ nh s thu h p h i qui β β β β Yi = 1 + 2X2i + 3X3i + + kXki + U i (UR) β β β H0: 2 = 3 = 0 = = r+1 = 0 ∃β ≠ H1: i 0, (i = 2, 3, , r+1) Gi thi t H 0 cho r ng r h s b ng 0 ⇒ bao gm r ràng bu c β β β Yi = 1 + r+2 Xr+2i + + kXki + U i (R) (R): hàm h i qui thu h p (r h s ) 29
  30. 3. Ki m đ nh s thu h p h i qui (ti p) • Các b ư c ki m đ nh + Hi qui (UR) và (R), thu đư c t ng bình ph ươ ng các ph n d ư, RSS UR và RSS R RSS UR cĩ df UR = n – k RSS R cĩ df R = [n – (k – r)] RSS− RSS n− k F=R UR ⋅~(, Frnk − ) RSSUR r Hi qui b i Nguy n Th Minh Hi u 30
  31. 3. Ki m đ nh s thu h p h i qui (ti p) • Do (UR) và (R) cĩ cùng bi n ph thu c ⇒ TSS UR =TSS R = TSS (TSS− ESS) −( TSS − ESS ) n− k F =R UR ⋅ − TSSESSUR r R2− R 2 n− k F=UR R ⋅~(, Frnk − ) − 2 1 RUR r Hi qui b i Nguy n Th Minh Hi u 31
  32. V.1. D báo giá tr trung bình ˆ = ′βˆ •Y0 X 0 là ư c l ư ng c a E(Y|X 0) v i kì v ng là' β và ph ươ ng sai là: X 0 ˆ =′βˆ = ′ β ˆ var(Y0) var( XX 00) cov ( ) X 0 ′−1 ′ − 1 =σ2()()′ = σ 2 ′ X0 XX X 00 XXX X 0 • σ2 khơng bi t, s d ng σ ˆ 2 thay th ′ −1 ˆ = σ ()′ ⇒ seY(0 ) ˆ X 0 XX X 0 Hi qui b i Nguy n Th Minh Hi u 32
  33. V.1. D báo giá tr trung bình (ti p) Vi m c ý ngh ĩa α, giá tr trung bình c a bi n ph thu c t ươ ng ng v i vecto các bi n đ c l p X 0 đư c d báo n m trong kho ng: − ()n− k Yˆ− t()n k seYY( ˆˆ), + t seY( ˆ )  0α /2 00 α /2 0  Hi qui b i Nguy n Th Minh Hi u 33
  34. V.2. D báo giá tr cá bi t ˆ = ′βˆ •Y0 X 0 là ư c l ư ng c a Y 0 vi kì ' β vng làX 0 và ph ươ ng sai là: −ˆ =′βˆ + σ 2 var(Y0 Y 0) var ( X 0 ) ′ −1 =σ 2 1 + X() XX′ X  0 0  • σ2 khơng bi t, s d ng σ ˆ 2 thay th ′ −1 −ˆ =σ + ()′ ⇒ seYY(00 )ˆ 1 XXX 0 X 0 Hi qui b i Nguy n Th Minh Hi u 34
  35. V.2. D báo giá tr cá bi t (ti p) •Vi m c ý ngh ĩa α, giá tr cá bi t c a bi n ph thu c t ươ ng ng v i vecto các bi n đ c l p X 0 đư c d báo n m trong kho ng − − Ytˆ−()nk seYYYt( −+ ˆˆ), () nk seYY( − ˆ )  0α /2 000 α /2 00  Hi qui b i Nguy n Th Minh Hi u 35
  36. Mt s d ng hàm h i qui • Hàm Cobb-Douglas (log - log) β β β = β 2 3 k Y1 XX 2 3 X k ⇔=+ββ + β + β lnY ln12 ln XX 23 ln 3 k ln X k ∂ X εY =Y i = β Xi ∂ i Xi Y Hi qui b i Nguy n Th Minh Hi u 36
  37. Mt s d ng hàm h i qui • Hàm log – lin t VD: Yt = Y 0(1 + r) ln(Y t) = ln(Y 0) + t*ln(1 + r) ⇔ β β ln(Y t) = 1 + X t* 2 dY β = Y 2 dX Hi qui b i Nguy n Th Minh Hi u 37
  38. Mt s d ng hàm h i qui • Hàm lin – log β β VD: Y = 1 + 2ln(X) β = dY 2 dX X Hi qui b i Nguy n Th Minh Hi u 38